Supabase가 코딩 에이전트 채점표를 오픈소스로 풀었다: 진짜 백엔드에 붙여 Claude Code·Codex·OpenCode 점수를 매긴다

Supabase가 8월 1일 코딩 에이전트 벤치마크 supabase/evals를 오픈소스로 공개했다. 라이선스는 Apache-2.0, pnpm으로 로컬에서 바로 돌아간다. 하는 일은 단순하다. Claude Code, Codex, OpenCode 같은 에이전트에게 실제 Supabase 과제를 시키고 결과에 점수를 매긴다.

핵심은 목업이 아니라는 점이다. 각 시나리오는 진짜로 컨테이너에 올린 Supabase 스택 위에서 돈다. 스키마를 짜고 깨진 Edge Function을 디버깅하고 잘못된 RLS 정책을 고치는 식의, 실무에서 매일 나오는 일감이다. 채점은 결정적 검사와 LLM-as-a-judge를 섞고 재시도는 한 번만 허용한다.

한 줄 정리

리더보드는 supabase.com/evals에 공개돼 있고 내부 회귀 테스트로 매일 돌린다. 즉 마케팅용 일회성 숫자가 아니라 라이브로 갱신되는 계측기다.

벤치마크가 실제로 드러낸 것

숫자보다 흥미로운 건 에이전트마다 성격이 다르다는 사실이다. Codex는 시나리오당 문서를 약 8쪽 읽는 반면 Claude Code는 약 2쪽만 본다. Claude Code는 스킬을 로드해 줘도 전체 시나리오의 40% 미만에서만 문서를 확인했다. 문서를 덜 읽고도 풀어내는 쪽과 근거를 많이 참조하는 쪽, 어느 쪽이 내 코드베이스에 맞는지는 취향이 아니라 측정의 문제가 됐다.

만점 구간도 갈렸다. Opus 5와 Kimi K3는 아무 도움 없이 100%를 찍었다. 반면 Sonnet 5는 그냥 붙이면 78%에 그쳤고 Supabase가 만든 컨텍스트 파일을 넣어 주자 100%까지 올라갔다. 같은 과제라도 모델에 회사 고유의 규칙과 문서를 얼마나 먹여 주느냐가 22%포인트를 갈랐다는 뜻이다.

왜 지금 이게 중요한가

에이전트 코딩은 이미 1인 SaaS 개발자와 AI 우선 팀의 기본 도구가 됐다. 문제는 "어느 에이전트가 우리 스택에서 더 잘하나"를 그동안 감으로 골랐다는 것이다. 트위터 데모와 벤더 자체 발표는 자기 유리한 과제만 보여 준다. supabase/evals는 그 판단을 내 손으로 재현할 수 있게 만들었다. 리포를 클론해 내 프로젝트 시나리오를 추가하고 후보 에이전트를 돌리면 끝이다.

벤더가 아니라 인프라 제공자가 채점표를 내놓았다는 점도 눈여겨볼 만하다. Supabase는 특정 모델을 팔지 않는다. 자기 플랫폼 위에서 에이전트가 얼마나 잘 도는지가 곧 자기 제품 경험이라 중립적으로 계측할 유인이 있다. 모델 제조사가 낸 벤치마크와는 이해관계가 다르다.

anyAX 관점

에이전트를 "써 본다"와 "워크플로에 박는다"는 다른 일이다. supabase/evals가 던지는 실전 질문은 후자에 있다. Sonnet 5의 78% → 100% 격차가 말해 주는 건, 벤치마크 상단 모델을 고르는 것보다 내 규칙과 문서를 컨텍스트로 얼마나 잘 먹이느냐가 결과를 더 크게 흔든다는 사실이다. 무보조로 100%를 찍은 Opus 5나 Kimi K3를 부러워하기 전에, 내 프로젝트의 RLS 정책과 스키마 컨벤션을 에이전트가 읽을 수 있는 파일로 정리해 뒀는지부터 물어야 한다.

여기서 1인 개발자에게 실질적인 레버리지가 나온다. supabase/evals는 로컬 pnpm으로 돈다. 큰 팀의 QA 조직 없이도, 배포 전에 후보 에이전트 셋을 내 실제 마이그레이션 과제에 붙여 어느 쪽이 덜 깨뜨리는지 하루면 측정할 수 있다. 에이전트 선택을 신뢰가 아니라 재현 가능한 숫자 위에 올리는 것, 그게 무인에 가까운 배포 파이프라인을 굴리는 1인 팀이 리스크를 관리하는 방식이다.

참고

• Introducing Supabase Evals (Supabase Blog)
• Supabase Releases Evals: an Open Source Benchmark That Scores Claude Code, Codex and OpenCode on Real Supabase Tasks (MarkTechPost)
• Supabase launches open benchmark for AI coding agents building backends (RuntimeWire)