메모리 8, 16, 32 GB에서 쓰는 Humanizer 12B: 어떤 GGUF 파일을 받을까

로컬 모델을 쓰는 대부분이 마주치는 선택

메모리 16 GB 노트북으로 로컬 리라이터를 써 보고 싶다고 하자. 모델 페이지를 열면 내려받을 파일이 하나가 아니라 여섯 개이고, 크기는 3.9 GB에서 23.8 GB까지, 이름은 Q6_K, IQ2_XS-QAT 같은 식이다. 가정한 상황이지만, 양자화된 모델을 처음 만나는 거의 모든 사람이 놓이는 처지다. humanizer 카드는 이 점에서 대부분보다 친절하다. 파일마다 크기, 실측 최대 메모리, 충실도 점수, 사실 검증 건수를 적고 각 파일이 누구를 위한 것인지 분명히 밝힌다. 이 글은 그 표를 읽고 각 열의 의미를 설명한다. 모델 자체와 헤드라인 주장을 얼마나 믿을지는 humanizer 수치가 실제로 말하는 것을 참고하면 된다.

표

Top-1 일치율은 파일의 가장 유력한 다음 토큰이 전체 bf16 모델과 일치하는 비율이며 영어와 중국어의 평균이다. Flagged는 영어 리라이트 420건 중 엄격한 LLM 심사자가 사실 문제를 찾은 건수다. 최대 메모리는 작성자가 M5 Max의 Metal에서 llama-server를 앱 설정으로 돌리며 리라이트하는 동안 측정한 값이다. 수치는 모두 작성자의 것이다.

작은 파일이 단순히 쥐어짠 복사본이 아닌 이유

카드는 한 가지 구분을 두는데, 표의 중간과 아래쪽이 예상보다 잘 버티는 이유가 여기서 설명된다. 대부분의 GGUF 파일은 llama-quantize를 한 번 거쳐 모든 가중치를 목표 타입으로 반올림한 것이라고 한다. 2비트, Q3, Q4_K_M 파일은 그보다 더 나아간다. 2비트와 Q3 파일에서는 작성자가 가중치 텐서마다 압축했을 때 모델이 얼마나 나빠지는지 측정해, 민감한 텐서에는 비트를 더 주고 튼튼한 텐서에는 덜 주었다. 그런 다음 세 파일 모두 층별로 전체 모델을 재현하도록 학습시켰다. 이것이 양자화 인식 학습이며, 영어와 중국어 리라이팅 데이터로 전체 bf16 모델에서 증류도 했다. Q6_K와 Q8_0은 표준 빌드다. 이 크기에서는 되찾을 것이 거의 남지 않는다고 카드는 말한다.

카드에 따르면 효과는 측정할 수 있다. 2비트 파일에서 같은 크기의 표준 빌드가 bf16과 같은 다음 토큰을 고르는 비율은 70%다. 추가 단계를 거치면 이 수치가 81%, 85%, 87%로 올라간다. KL 발산과 파일별 사실 검증을 포함한 세부 내용은 카드가 링크한 양자화 문서에 있으며, 우리는 검증하지 않았다.

결과물은 최신 llama.cpp라면 돌릴 수 있는 평범한 GGUF 파일이다. 작성자의 앱에 의존하고 싶지 않을 때 이 점이 중요하다. 카드는 파일이 별도 저장소에 있어서 기존 내려받기 명령이 그대로 동작한다고도 적었다.

메모리별 추천

카드의 추천은 구체적이며 표와 맞아떨어진다. 32 GB 이상이면 Q8_0이며, 카드는 이를 권장 및 최고 품질이라 부른다. 16 GB라면 Q6_K이고, 카드는 측정 가능한 손실이 없다고 한다. 14 GB 안팎이거나 디스크가 빠듯하면 Q4_K_M으로, 손실이 약간 있고 양자화 인식 학습을 거쳤다. 12 GB에서는 Q3-QAT로, 손실이 작고 영어에서 사실 실수가 조금 늘어난다. 8 GB라면 가장 작은 IQ2_XS-QAT다. 앱이 알아서 맞춰 준다. 처음 실행할 때 메모리에 맞는 다섯 가지 크기 중 하나를 제안하며 8 GB 기기까지 지원하고, 한 번 내려받으면 이후에는 오프라인으로 동작한다.

목록 옆에 주의할 점이 둘 있다. 첫째, 메모리 열은 시스템 몫을 남겨 둔 Mac 측정값이다. 카드에 따르면 앱은 약 4 GB를 비워 둔다. 외장 GPU가 있는 Windows나 Linux에서는 비디오 메모리가 관건이고, 확실한 답은 직접 시험해 보는 것뿐이다. 둘째, 두 행은 측정이 아니라 추정이다. Q6_K와 bf16의 최대 메모리다. 16 GB 선택지를 고른다면 Q6_K의 약 11 GB라는 추정치에 기대는 셈이다.

품질 열을 속지 않고 읽기

지적 건수는 일직선으로 줄어들지 않으며 카드가 그 이유를 설명한다. bf16이 52건, Q8_0이 44건인데 카드는 이를 오차 범위 안이라고 본다. Q8_0, Q6_K, Q4_K_M은 bf16과 오차 범위 안이고, Q3와 2비트는 실수가 조금 더 늘어난다. 솔직하게 요약하면 위쪽 세 파일은 사실 면에서 구별하기 어렵고, 아래쪽 두 파일은 건수에서 보이는 무언가를 내준다. 420건 중 64건에서 70건이다.

탐지기 열에는 반전이 있고 카드도 조심스럽게 다룬다. 별도 측정으로 같은 영어 초안 60건을 Originality.ai 가장 엄격한 설정에 돌렸더니, Q8_0은 60건 중 7건, Q3-QAT는 4건, 2비트 파일은 0건, bf16은 4건이 지적됐다. 가장 작은 파일의 점수가 가장 좋았고, 카드는 이를 탐지기 점수는 가장 낮지만 사실 실수가 조금 더 있다고 정리한다. 탐지기 점수와 사실 충실도가 반대 방향으로 움직일 수 있다는 점을 일깨운다. 카드 스스로도 탐지기는 바뀌며 이는 특정 날짜의 한 번 측정이라고 말한다. 숫자와 이름을 다루는 작업이라면 따져 볼 것은 사실 열이다.

파일 크기가 메모리 청구서의 전부도 아니다. 최대 메모리 열은 모든 행에서 파일 크기보다 크다. 실행 시에는 가중치 외에 컨텍스트와 버퍼를 위한 공간이 필요하기 때문이다. 카드는 지시문, 초안, 리라이트를 합쳐 8192토큰 컨텍스트를 쓰고 긴 문서는 문단 경계에서 나누라고 권한다. 어떤 로컬 모델이든 파일 크기는 예산이 아니라 하한으로 보고 여유를 두는 것이 좋은 습관이다.

더 빠르게 돌리는 다른 방법

카드에는 앱 말고도 여러 경로가 적혀 있다. 권장 경로는 llama.cpp이며 내려받기 명령, 서버 명령, 짧은 Python 클라이언트가 딸려 있다. Apple 실리콘에는 가중치를 로컬에서 8비트로 변환하는 MLX 경로가 있다. Ollama는 파일에 저장된 채팅 템플릿을 무시하고 자체 템플릿을 적용해 이 모델이 망가진다고 경고하며, 올바른 템플릿이 든 Modelfile을 제공한다. 긴 문서를 명령줄에서 처리하는 흐름에는 동반 도구가 있어서, 글을 조각별로 고쳐 쓰고 제목·코드·표·링크를 유지하며 숫자가 빠진 조각을 표시한다.

커뮤니티 프로젝트도 하나 언급할 만하다. 다만 카드의 단서대로 우리는 벤치마크하지 않았다. 한 기여자가 humanizer용 추측 디코딩 초안 모델을 학습시켰고, M5 Pro의 MLX에서 약 1.5배 빠른 초당 34.5토큰 대 22.8토큰을 보고했다. 그의 시험에서 출력은 humanizer만 돌린 것과 토큰 단위로 동일했다. 메인 모델과 함께 돌리며, 자체 모델 카드에 적힌 MLX 환경이 필요하다.

우리의 판단

내 컴퓨터가 여유 있게 담을 수 있는 가장 큰 파일을 고르자. 작성자 본인의 측정으로 Q8_0에서 Q6_K로 내리면 리라이트 420건 중 지적이 12건 늘고, Q4_K_M이면 14건, 2비트면 26건 늘어난다. 숫자와 이름을 다루는 작업에서 따져야 할 것은 이 차이이지 파일 크기가 아니다. 중간 어딘가에 있다면 이 표에서는 16 GB 추천인 Q6_K가 적정선으로 보인다. 충실도와 사실 검증이 bf16에 가깝고, 크기는 bf16의 절반도 안 된다.

이어서 읽기

모든 글은 최신순으로 Front 블로그 목록에 있습니다.

• Humanizer 12B: 공개된 주장 읽기: 로컬 모델 Humanizer 12B의 주장 중 출처로 뒷받침되는 것.
• Ling 3.1 Flash: 돌리려면 무엇이 필요한가: Ling 3.1 Flash를 돌리는 데 필요한 하드웨어.
• DeepSeek V4.1 Flash 1017 타임라인: DeepSeek V4.1 Flash 출시와 10월 17일 업데이트, 가격, 파라미터 수.
• Meta Muse Spark Open 타임라인: Meta Muse Spark Open 출시를 날짜순으로 정리.
• Reflection Beam 501B 타임라인: Reflection Beam 501B 가중치 공개를 날짜순으로 정리.

자주 묻는 질문

출처

• jialinyyzz/humanizer model card
• jialinyyzz/humanizer-GGUF