284B 에이전트 모델이 128GB 맥북 안으로 들어왔다: DeepSeek-V4-Flash-0731, 재훈련만으로 자사 플래그십을 이겼다

지난주 이 사이트에서 다룬 Kimi K3는 세계 최대 오픈 모델이면서도 혼자선 못 돌리는 물건이었다. 이번 소식은 그 반대편이다. DeepSeek가 7월 31일 내놓은 DeepSeek-V4-Flash-0731은 파라미터 284B짜리 MoE인데도 개인의 노트북 안으로 들어온다.

숫자부터 보자. 2비트 양자화 빌드는 MLX 기준 96.5GB, GGUF 기준 96.8GB다. 둘 다 128GB 통합 메모리 맥북 프로의 천장 아래로 떨어진다. M5 Max 128GB에서 생성 속도는 초당 34.27토큰으로 측정됐다. 클라우드 API 없이 손에 든 기계에서 284B 에이전트 모델이 돈다는 뜻이다.

한 줄 정리

재훈련만으로 플래그십을 넘었다

이번 릴리스에서 눈에 띄는 대목은 아키텍처를 손대지 않았다는 점이다. 크기도 구조도 그대로다. 그런데 재사후훈련만으로 자사 상위 모델인 V4-Pro 프리뷰를 아홉 개 에이전트 벤치마크 전부에서 앞섰다. DeepSWE 점수는 7.3에서 54.4로 뛰었고 Terminal Bench 2.1은 61.8에서 82.7로 올랐다.

이 방향성이 중요하다. 성능을 끌어올리는 레버가 더 큰 모델이 아니라 같은 모델을 더 잘 훈련하는 쪽으로 옮겨 가고 있다. 활성 파라미터는 13B뿐이라 추론 비용도 가볍다. 입력 100만 토큰에 $0.14, 지금 시장 중앙값이 입력 100만 토큰당 약 $1.00인 걸 감안하면 자릿수가 하나 다른 가격이다.

빌린 인프라와 소유한 인프라

대부분의 1인 개발자와 AI 우선 팀은 모델을 API로 빌려 쓴다. 편하고 대개 그게 맞다. 하지만 빌린 인프라에는 세 가지 대가가 따라온다. 요청마다 붙는 종량 과금, 벤더의 정책 변경 위험, 그리고 내 데이터가 남의 서버를 거친다는 사실이다.

V4-Flash-0731은 그 셋을 동시에 흔든다. MIT 라이선스라 상업 제약이 없고, 2비트로 줄이면 개인 장비에서 돌고, 데이터는 기계 밖으로 나가지 않는다. 물론 2비트 양자화는 정밀도를 깎는다. 풀 정밀도 대비 손실이 있고 초당 34토큰이 프런티어 API의 응답 속도를 대체하지도 않는다. 그래도 "이 정도 규모의 에이전트 모델은 클라우드에만 있다"는 전제가 깨졌다는 사실 자체가 신호다.

anyAX 관점

핵심 질문은 "빌릴까 소유할까"가 아니라 "어느 작업을 어디에 둘까"다. V4-Flash-0731은 그 선을 다시 긋게 만든다. 고객의 민감한 데이터를 다루는 파이프라인, 예컨대 병원 기록이나 계약서 초안 검토는 초당 34토큰이라도 내 맥북 안에서 돌리는 편이 낫다. 데이터가 기계를 떠나지 않으니 벤더 약관도 유출 통보 의무도 신경 쓸 일이 줄어든다. 반대로 속도가 생명인 실시간 사용자 응답은 프런티어 API에 맡기면 된다.

이건 규모의 문제가 아니라 배치의 문제다. $0.14짜리 초저가 API와 96.5GB 로컬 빌드가 같은 모델에서 나온다는 건, 1인 팀도 이제 민감도에 따라 워크로드를 두 갈래로 나눠 설계할 수 있다는 뜻이다. 데이터 주권을 큰 조직의 온프레미스 예산 문제로만 여기던 시절은 지나갔다. 128GB 노트북 한 대면 그 논의가 개인 책상 위로 내려온다.

참고

• DeepSeek Upgrades DeepSeek-V4-Flash-0731 with Major Agentic and Coding Gains (MarkTechPost)
• DeepSeek-V4-Flash 0731: 284B Agent Fits a 128GB MacBook (ModelFit)
• DeepSeek V4 Flash: 284B MoE, 1M Context, Benchmarks, Pricing (Morph)