Skip to content
FrontierDot

Meta Muse Spark Open: Hugging Face에 올라온 816B 가중치와 ‘Mac Studio 두 대’ 주장

업데이트

계속 갱신되는 타임라인 · 마지막 업데이트 · 업데이트 기록 2건

Meta는 미국에서 가장 뛰어난 오픈 웨이트 모델이며 Mac Studio 두 대로 돌릴 수 있다고 말한다. 페이지로는 두 번째 주장을 일부 확인할 수 있고, 첫 번째 주장은 전혀 확인할 수 없다.

10월 15일 Meta는 Muse Spark Open 가중치를 공개했다. 총 파라미터 816B, 활성 42B의 멀티모달 모델이며 컨텍스트는 1M 토큰, 라이선스는 맞춤형 Muse Model License다. 10월 22일 Paradigm, Meta, Andromeda는 이 가중치를 둘러싼 총상금 10만 달러의 H200 커널·서빙 챌린지를 열었다.

가중치 공개는 2026-10-17에, 커널 챌린지는 2026-10-24(UTC+8)에 다시 확인했다: Meta 공지, Hugging Face 모델 카드와 론칭 글, Transformers 문서, Paradigm 챌린지 글, openkernelchallenge.dev, Daniel Gross의 10월 22일 X 게시물. Meta 페이지의 벤치마크 차트는 이미지라 점수를 읽지 못했고 보고하지 않는다. 모델을 실행하지 않았다.

타임라인

  1. 이후 모델에 관한 Hugging Face 공개 글에 따르면 Meta가 같은 Muse 시리즈의 소형 밀집 모델 Muse Glimmer를 공개했다. 글은 Glimmer가 로컬 실행에 이상적이며 Muse Spark Open과 토크나이저와 어휘를 공유한다고 밝힌다. 이 릴리스의 날짜를 알려 주는 공식 페이지는 찾지 못해 이 항목에는 월만 적었다.

    Hugging Face: Welcome Muse Spark Open

  2. Transformers 문서의 이 모델 페이지에 따르면 Muse Spark Open 지원이 가중치 발표 하루 전에 Hugging Face Transformers에 기여됐다. 페이지는 62층 언어 백본이 토큰마다 전문가 256개 중 8개로 라우팅하며 BF16과 NVFP4 체크포인트가 있다고 설명한다.

    Transformers docs: Muse Spark Open

  3. Meta가 릴리스를 발표한다. Muse Spark Open은 총 파라미터 816B, 활성 42B, 컨텍스트 윈도 1M 토큰이며 코딩과 에이전트 작업을 위해 만들어졌다. 가중치는 Hugging Face, Amazon SageMaker AI, Google Cloud Model Garden, Microsoft Foundry Models에서 제공되고, 호스팅 API는 Baseten, Fireworks AI, Groq, Modal, Nebius, OpenRouter, Together AI에서 쓸 수 있다. 라이선스는 Muse Model License이며 Meta는 상업적 조건에 제한이 있다고 설명한다.

    Meta AI Research: Introducing Muse Spark Open

  4. Paradigm이 Meta, Andromeda와 함께 Muse Spark Open Kernel Challenge를 시작한다. 총상금 10만 달러로 Muse Spark Open을 NVIDIA H200 GPU에서 더 빠르게 돌리는 것이 목표다. 대회는 직렬 두 트랙으로 11월 19일에 끝난다. 먼저 SGLang 기준선에 대한 커널 문제 다섯 개, 이어서 전체 8×H200 노드에서 SGLang을 수정하는 서빙 트랙이다. 1등은 5만 달러와 Meta 팀이 서명한 H200을 받는다. 제출물은 Apache 2.0 라이선스다.

    Paradigm: Muse Spark Open Kernel Challenge

무엇이 어느 날 공개됐나

Meta의 발표 날짜는 2026년 10월 15일이며 Hugging Face 모델 카드도 같은 릴리스 날짜를 적었다. 모델 카드는 핵심을 몇 줄로 밝힌다. 총 파라미터 816B, 활성 42B, 컨텍스트 윈도 1M 토큰, 네이티브 멀티모달, 코딩과 에이전트 작업용, 라이선스 이름은 Muse Model License. 저자로는 Meta Superintelligence Labs가 올라 있다.

모델 카드에는 놓치기 쉽고 취지를 인용해 둘 만한 대목이 있다. 오픈 웨이트 버전에는 시스템 안전장치 없이 단독 모델로 쓰일 때의 오용에 더 강하도록 추가 안전 후학습이 들어갔으며, Meta는 용도에 맞는 안전장치를 갖춘 더 큰 시스템의 일부로 배포하라고 권한다. PyTorch 블로그 글은 이 오픈 버전이 Muse Spark 1.3과 같은 기반 모델을 공유한다고 덧붙인다. 가중치보다 먼저 존재한 제품 라인에 이번 릴리스가 이어진다는 뜻이다.

Meta 페이지는 모델이 Meta Superintelligence Scaling Framework가 릴리스에 요구하는 기준을 충족했고, 상세 결과는 모델 카드에 있으며, 전체 평가 보고서가 곧 공개된다고도 말한다. 우리가 읽은 시점에 그 보고서는 링크가 아니라 약속이었다.

문서로 본 아키텍처

Hugging Face 공개 글이 가장 자세하다. 언어 모델은 62층에 은닉 차원 8192, 쿼리 헤드 128개, 키-값 헤드 16개다. 전문가 혼합 블록마다 전문가 256개가 있고 라우터가 토큰당 8개를 고른다. 글에 따르면 전문가가 전체 파라미터의 약 97%를 차지하며, 모델에는 이미지와 영상 프레임용 1.8B 파라미터 지각 인코더와 80밀리초마다, 곧 초당 12.5토큰씩 토큰 하나를 내보내는 합성곱 오디오 인코더도 있다. 텍스트, 이미지, 오디오, 영상을 입력받아 텍스트를 생성한다.

글은 모든 대형 전문가 혼합 모델에 해당하는 메모리 이야기를 같은 식으로 짚는다. 토큰당 전문가는 8개만 돌아가므로 각 토큰은 약 42B 파라미터로 계산되지만 256개 전문가가 모두 메모리에 남는다. 배포에는 816B 모델의 메모리가 필요하고 속도는 42B 모델 수준이다. 캐시도 계산해 두었다. BF16에서 토큰당 약 250 KB, 100만 토큰 컨텍스트를 가득 채우면 약 266 GB이며 이는 가중치에 더해진다.

체크포인트 형식은 BF16과 NVFP4다. 글에 따르면 BF16 체크포인트는 약 1.5 TB로 Transformers에서는 H200 GPU 8장짜리 노드 네 개에 걸쳐 돌아가고, NVFP4 버전은 B200 노드 하나에서 돌아간다. 모델 카드는 하한을 더 직설적으로 적었다. NVFP4에는 VRAM 최소 700 GB, BF16에는 2 TB의 GPU 구성이 필요하다.

데스크톱에서 돈다는 주장

Meta가 이번 릴리스에 내건 헤드라인은 최신 MLX 프레임워크를 이용해 Apple M5 Ultra Mac Studio 두 대로 선도적인 에이전트 기능을 처음으로 데스크톱에 가져온다는 것이다. 페이지는 그 근거가 되는 산술을 설명한다. Mac Studio 한 대의 통합 메모리는 내장 GPU가 최대 512 GB까지 쓸 수 있어 두 대면 모델 전체를 담을 수 있고, 칩의 1.2 TB/s 메모리 대역폭은 Meta의 표현으로 각 토큰이 필요로 하는 작은 조각을 읽기에 충분히 빠르다.

Hugging Face 글에서 확인할 수 있는 것은 다른, 더 작은 구성이다. 작성자들은 512 GB Mac M3 Ultra에서 양자화 버전을 시험했다. llama.cpp의 2비트 양자화는 304 GB를 쓰며 초당 18토큰으로 돌았다. 3비트 MLX 양자화는 약 344 GB를 차지했고, 1024토큰 프롬프트와 128토큰 생성에서 프리필이 초당 약 225토큰, 생성이 약 21토큰이었다. 같은 글은 3비트 양자화조차 256 GB가 넘는 RAM이 필요하다고 적었다.

이는 Meta 헤드라인과 다른 기기에서 나온 실제 수치이며, 타협이 어떤 모습인지 보여 준다. 공격적인 양자화, 아주 큰 Mac 한 대, 쓸 만하지만 소박한 속도다. M5 Ultra 두 대 구성 자체의 측정치는 이 페이지들에서 찾지 못했다. 주장이 맞을 수도 있지만 확인 가능한 증거는 M3 Ultra에 대한 것이다.

라이선스와 입수 방법

Meta는 가중치를 Muse Model License로 “많은 개발자가 모델을 무료로 쓸 수 있는 제한적인 상업적 조건”과 함께 공개한다고 말한다. Apache 2.0이나 MIT가 아니며 우리는 라이선스 본문을 요약하지 않았으므로, 제품을 만들기 전에 읽어 보자. 배포처 목록은 출시 시점으로는 이례적으로 넓다. 가중치는 Hugging Face, Amazon SageMaker AI, Google Cloud Model Garden, Microsoft Foundry Models에서, 호스팅 이용은 API 제공자 일곱 곳에서 얻을 수 있다.

추론 지원도 문서상으로는 폭넓다. 모델 카드는 SGLang, vLLM, Hugging Face, TensorRT-LLM, Unsloth, llama.cpp를 거론하고, 공개 글은 llama.cpp, SGLang, vLLM의 서빙 레시피를 보여 준다. 그 레시피에는 단서가 하나 있다. vLLM 참조 통합은 NVFP4 체크포인트로 텍스트와 이미지 입력을 지원하며 Blackwell 계열 GPU가 필요하므로, 완전한 멀티모달은 엔진마다 같지 않다.

확인하지 못한 것

  • ‘지금까지 가장 뛰어난 미국 오픈 웨이트 모델.’ Meta 자신의 표현이며 Hugging Face 글이 되풀이한다. Meta의 벤치마크 차트는 이미지여서 점수를 읽거나 재현하지 않았다.
  • M5 Ultra Mac Studio 두 대 구성. 측정치는 M3 Ultra에 대한 것만 찾았다.
  • 안전성 평가. Meta는 전체 보고서가 나온다고 하는데, 우리는 보지 못했다.

우리의 판단

이번 공개는 규모가 크고 출시 지원도 탄탄하다. 최상급 표현은 Meta의 것이고 라이선스는 맞춤형이라, 개발자가 실제로 묻는 문제는 늘 두 가지다. 메모리를 감당할 수 있는가, 이 라이선스로 제품을 낼 수 있는가. 대부분에게 첫 번째 답은 Meta가 나열한 호스팅 API이지 책상 위 머신이 아니다. 10월 22일 커널 챌린지는 다른 내기이다. 커뮤니티가 Hopper 서빙을 SGLang 기준선 너머로 밀어 올릴 때 공개 가중치가 더 쓸모 있어진다는 것이다. 이 페이지는 살아있는 타임라인이다. 평가 보고서, 챌린지 결과, 새 양자화나 라이선스 설명이 나오면 날짜 노드와 업데이트 로그가 추가되고, 맨 위 한 줄 결론도 그에 맞춰 바뀐다.

같은 주에 나온 또 하나의 대형 오픈 웨이트 릴리스는, 허용적인 라이선스에 하드웨어 사정이 다른 Reflection Beam 타임라인을 참고하면 된다.

이어서 읽기

모든 글은 최신순으로 Front 블로그 목록에 있습니다.

자주 묻는 질문

Meta는 Muse Spark Open을 언제 공개했나요?

Meta의 발표와 Hugging Face 모델 카드에 따르면 2026년 10월 15일이다.

Muse Spark Open의 라이선스는 무엇인가요?

Muse Model License이며 Meta는 상업적 조건에 제한이 있다고 설명한다. 독자적인 라이선스이므로 상업적으로 쓰기 전에 본문을 읽어야 한다.

Muse Spark Open을 Mac에서 돌릴 수 있나요?

Meta는 MLX를 이용해 Apple M5 Ultra Mac Studio 두 대에서 돌아간다고 말한다. Hugging Face의 시험은 512 GB M3 Ultra에서 2비트와 3비트 양자화 버전으로 진행했다.

업데이트 기록

  • — 2026년 10월 22일 Muse Spark Open Kernel Challenge(Paradigm, Meta, Andromeda) 노드를 추가했다.
  • — 최초 게시.

출처