중앙값 38.8ms, Apache 2.0

AI 에이전트가 하루에 수천 번 내리는 결정의 대부분은 글쓰기가 아니라 분류다. 이 문의는 환불인가, 급한가, 어느 팀으로 보낼까. 그 질문 하나에 큰 언어 모델을 부르던 관행이 이번 주 흔들렸다. Cloudflare가 판단 전용 모델 Clef와 Clef-flash를 Apache 2.0 라이선스로 공개했고 Amazon도 같은 주에 Strands Decider 2B를 풀었다.

한 줄 정리

글을 쓰는 모델 대신 고르기만 하는 작은 모델이 에이전트의 분기 지점을 맡기 시작했고, 그 모델이 무료에 가깝게 널린 한 주였다.

한눈에 보기

판단 모델이 하는 일

판단 모델은 문장을 쓰지 않는다. 문맥과 질문을 받아 예/아니오, 여러 선택지 중 하나, 점수 중 하나를 확률과 함께 돌려준다. Cloudflare의 예시는 고객 지원 메시지를 급함으로 분류해 알맞은 팀에 넘기는 일이다. Amazon 엔지니어 마크 브루커는 워크플로의 한 단계에서 "지금 위치에서 다음에 뭘 할까"를 정하는 용도라고 설명했다.

이 범주의 출발점은 TypeSafe의 Jev다. 9월 중순에 나온 뒤 비슷한 모델이 수십 개 생겼고 OpenAI도 9월 30일에 유사한 제품을 발표했다. 이름 Jev는 비용이 내려가면 수요가 늘어난다는 제번스 역설에서 따왔다. 이름값을 하는 중이다.

숫자로 본 Clef

Cloudflare가 밝힌 중앙값 지연은 Clef-flash 38.8ms, Clef 209.3ms, 비교 대상 Jev 524.1ms다. 품질 쪽은 Jev 의사결정 지표 여러 항목에서 앞섰다고 하며 BFCL 98.47%, ToolRet 69.19%, API-Bank 91.93%가 제시됐다. 벤치마크는 만든 쪽이 고른 숫자라 우리 데이터로 다시 재 봐야 한다. 그래도 지연이 0.04초대라는 점은 사용자가 기다리는 화면에 판단 단계를 끼워도 된다는 뜻이다.

Clef는 이미지도 분류한다. 영수증 사진이 환불 요청인지, 상품 사진이 규격에 맞는지 같은 판단을 텍스트로 옮기지 않고 바로 맡긴다. 맞춤 학습용 강화학습 파인튜닝 서비스도 함께 나왔는데 지금은 Cloudflare 엔지니어가 붙는 방식이고 셀프서비스는 나중이다. 가격과 일반 공개 일정은 아직 없다.

비용 구조가 바뀌는 자리

에이전트 한 번 돌릴 때 큰 모델 호출이 열 번이면 그중 일곱 번은 분기 판단일 때가 많다. 이 일곱 번을 2B나 9B로 내리면 같은 결과에 청구서 자릿수가 달라진다. 2B급은 노트북에서도 돌아서 고객 데이터를 밖으로 내보내지 않는 구조도 가능하다.

공급 쪽에서 보면 진입 장벽이 낮다. TypeSafe 대표는 소규모 시장용 모델을 만드는 비용이 수백에서 수천 달러 수준이라고 했다. 모델이 흔해지면 경쟁은 모델 성능이 아니라 어떤 판단 기준을 어떤 데이터로 맞췄는지로 옮겨 간다.

anyAX 관점

콘텐츠 팀이 문의 메일 하루 200통을 사람이 분류하고 있다면 이번 주 소식은 직접적이다. 분류 한 건에 쓰는 비용이 글 한 편 쓰는 모델의 몇 분의 일로 내려가고 Laya는 10월 31일까지 아예 무료다. 일단 한 달 동안 공짜로 실험해 볼 수 있다는 뜻이다.

다만 모델이 공짜가 되면 남는 건 라벨이다. 무엇을 급함이라 부를지, 어떤 요청을 환불로 칠지는 모델이 정해 주지 않는다. 같은 Clef를 쓰는 두 가게의 차이는 기준표를 얼마나 다듬었느냐에서 난다. 직원 열 명 팀이라면 분류 기준을 문서 한 장으로 먼저 적어 보는 일이 모델 선택보다 앞선다. 지난 한 달 문의 100건을 사람이 직접 분류해 정답지로 만들어 두면 어떤 모델이 와도 바로 비교할 수 있다.

참고

• Cloudflare: Clef 판단 모델과 강화학습 파인튜닝 플랫폼 발표
• Vercel: Laya 판단 모델을 AI Gateway에서 10월 31일까지 무료 제공
• Amazon releases its own Jev clone as decision models flood the web (TechCrunch)