Field notes
소프트웨어를 어떻게 만들고 운영하는지 적습니다. 방법만 적고 고객 이름은 적지 않습니다.
티가 나는 말은 갈린다
2024년에 모델이 쓴 한국어를 가리키던 말들이 2026년에는 내려가고, 다른 말들이 올라온다. 고정된 목록 위에 세운 것은 전부 반감기가 있다.
ai · llm · research
위약 바닥부터 계산해라
추세를 외삽하는 계산은 무엇이든 값을 내놓는다. 아무 일도 없던 해에 같은 계산을 돌려 보는 것이 우리가 아는 가장 싼 시험이고, 주장을 가장 자주 죽이는 시험이다.
research · statistics · method
한국 학술지 초록은 2024년 하반기에 바뀌었다
초과 어휘 측정법을 한국어 형태론에 맞게 고쳐 초록 398,296편에 돌렸다. 2024년 하반기에 시작해 2026년 중반에 평평해지는 문체 이동이 나왔다.
ai · llm · research
다국어 캐시 세금
현장 노트 두 편이 알고 보니 같은 부등식이었다. 그래서 논문으로 정리해 데이터까지 공개하고, 우리 주장 중 검증을 못 넘긴 것도 그대로 적었다.
ai · llm · research
프롬프트에 쓰레기를 채워서 값을 낮췄다
캐시 바닥 아래 프롬프트는 길게 만들면 싸진다. 채워 넣은 쓰레기가 정확도를 깎는지 500문항으로 확인했다. 안 깎였고, 쓸모 있는 걸로 채우면 두 번 남는다.
ai · llm · evals
디자인 QA는 1:1로
레이아웃을 눈대중하면 눈이 나를 속인다. 우리는 살아 있는 DOM에서 computed style을 읽어 오고, 스크린샷을 풀해상도로 잘라 대조하고, 논쟁의 심판은 숫자에게 맡긴다.
design · qa
캐시 할인에는 바닥이 있다
같은 프롬프트인데 한국어 트래픽 청구액이 영어의 10분의 1로 찍혔다. 파이프라인은 멀쩡했다. 영어만 캐시가 안 걸릴 만큼 짧았을 뿐이다.
ai · llm · performance
작은 모델이 이기는 자리
프론티어 모델은 데이터셋에 라벨을 한 번만 붙인다. 트래픽은 작은 모델이 계속 받아낸다. 진짜 어려운 7%를 누구한테 보낼지는 신뢰도 라우터가 정한다.
ai · llm · performance
믿되, 검증하고, 또 검증하라
생성 시스템은 점잖게 실패한다. 유창하고, 그럴듯하고, 틀렸다. 이들과 바깥세상 사이에 우리는 증거 게이트와 반박 전용 검토자, 3,900건짜리 회귀 방벽을 세워 둔다.
ai · qa
우리 AI 동료는 파일로 돌아간다
벡터 데이터베이스도, 메모리 서비스도 없다. 에이전트의 기억은 프런트매터를 단 마크다운과 40줄짜리 인덱스, 빡빡한 줄 수 상한이 전부다. 지루한 건 일부러 그런 거다.
ai · agents
우리 야간조는 모델 부대다
기획자는 계획을 짜고, 일꾼은 실행하고, 검증자는 공격한다. 그리고 화이트리스트와 장부를 쥔 게이트 하나가 이들 전부와 바깥세상 사이를 막고 선다.
ai · agents · ops
eval은 프롬프트의 단위 테스트다
프롬프트를 바꿀 때마다 골든 세트에 대고 내보낸다. 사고가 날 때마다 케이스가 하나 늘어난다. 그리고 출력을 채점하는 LLM은 편향된 증인 취급을 한다. 실제로 그러니까.
ai · evals
검색은 일단 grep부터, 임베딩은 제값 할 때
우리 스택에서 검색은 정반대 방식 두 가지로 돌아간다. 에이전트 메모리는 그냥 파일과 grep, 손님용 검색은 하이브리드 임베딩. 둘 다 유행이 아니라 측정으로 정한 결정이다.
ai · search
프롬프트는 독자가 아니라 캐시를 위해 써라
프리픽스 캐싱은 반복되는 토큰을 헐값에 청구한다. 이걸 알고 나면 프롬프트 배치는 더 이상 글쓰기 문제가 아니라 시스템 문제가 된다.
ai · llm · performance
에이전트는 안목 있는 while 루프다
프레임워크를 걷어내면 프로덕션 에이전트는 여든 줄 남짓이다. 우리 것은 구조를 한 번도 안 바꾸고 모델 4세대를 살아남았다.
ai · agents
구조화 출력은 부탁이 아니라 계약이다
언어 모델은 산문을 내놓고, 프로덕션 시스템은 JSON을 먹는다. 그 사이 경계에는 AI라는 걸 들어본 적도 없는 검증기가 서 있다.
ai · llm