Field notes
Cách chúng tôi xây dựng và vận hành phần mềm. Chỉ nói về phương pháp, không nêu tên khách hàng.
The tells turn over
The words that marked model-written Korean in 2024 are falling in 2026 while a different set rises. Anything built on a fixed list of tells has a half-life.
ai · llm · research
Compute the placebo floor first
Any estimator that extrapolates a trend will return something. Running it on years where nothing happened is the cheapest test we know, and the one that most often kills the claim.
research · statistics · method
Korean journal abstracts changed in late 2024
We adapted excess-vocabulary measurement to Korean morphology, ran it over 398,296 abstracts, and found a register shift that starts in late 2024 and flattens in mid-2026.
ai · llm · research
Thuế cache đa ngôn ngữ
Hai ghi chú hiện trường hóa ra là cùng một bất đẳng thức. Vậy nên chúng tôi viết hẳn bài báo, công bố dữ liệu, và ghi rõ luôn những luận điểm của chính mình đã không trụ được.
ai · llm · research
Cả một hành tinh gói trong tab trình duyệt
Ảnh vệ tinh thật, bốn mươi sáu nghìn điểm sáng đô thị, và đúng một dòng lượng giác cầu để trị dứt điểm cái camera, gói gọn trong khoảng 1.5 megabyte.
webgl · graphics
Chúng tôi độn rác vào prompt để nó rẻ hơn
Prompt nằm dưới sàn cache sẽ rẻ đi nếu bạn làm nó dài ra. Chúng tôi chạy 500 bài chấm điểm để xem phần độn có làm giảm độ chính xác không. Không hề, và độn bằng thứ có ích thì lãi hai lần.
ai · llm · evals
QA thiết kế ở tỉ lệ 1:1
Đánh giá layout bằng mắt là tự lừa mình. Chúng tôi đọc computed style ngay trên DOM đang chạy, cắt screenshot ở độ phân giải gốc, và để những con số làm trọng tài cho cuộc tranh luận.
design · qa
Ưu đãi cache có một cái sàn
Cùng một prompt, nhưng lưu lượng tiếng Hàn bị tính tiền chỉ bằng một phần mười lưu lượng tiếng Anh. Pipeline không hỏng. Chỉ là tiếng Anh ngắn tới mức không đủ điều kiện cache.
ai · llm · performance
Đặt mô hình nhỏ vào đúng chỗ nó thắng
Mô hình frontier gán nhãn dữ liệu một lần. Mô hình nhỏ gánh hết traffic mãi về sau. Một router theo độ tự tin quyết định ai xử lý 7% ca thật sự khó.
ai · llm · performance
Tin, rồi kiểm, rồi kiểm lại lần nữa
Hệ generative hỏng một cách lịch sự: trôi chảy, hợp lý, và sai. Giữa chúng với thế giới bên ngoài, chúng tôi dựng evidence gate, các bộ phản biện đối kháng, và một bức tường regression 3,900 case.
ai · qa
Đồng nghiệp AI của chúng tôi chạy bằng file
Không vector database, không memory service. Bộ nhớ của agent là markdown kèm frontmatter, một index 40 dòng, và giới hạn số dòng cứng rắn. Nhàm chán có chủ ý.
ai · agents
Ca đêm là việc của cả một đội model
Planner lên kế hoạch, worker thực thi, verifier tấn công, còn đứng chắn giữa tất cả bọn chúng với thế giới bên ngoài là một cái gate có whitelist và ledger.
ai · agents · ops
Eval là unit test cho prompt
Mọi thay đổi prompt đều phải vượt qua một bộ golden set mới được lên. Mỗi sự cố lại thành một case mới. Còn con LLM ngồi chấm kết quả thì bị đối xử đúng như bản chất của nó: một nhân chứng thiên vị.
ai · evals
Chưa có ảnh chụp là chưa xong
Build xanh không có nghĩa là xong. Với chúng tôi, xong là khi có ảnh chụp full độ phân giải của trang đã deploy, được model thị giác sàng lọc và có người thật duyệt cuối.
qa · ai
Grep trước, embedding tính sau
Chúng tôi làm retrieval theo hai hướng trái ngược: file thuần với grep cho bộ nhớ của agent, còn embedding lai cho tìm kiếm phía người dùng. Cả hai lựa chọn đều đến từ đo đạc, chứ không phải chạy theo trào lưu.
ai · search
Viết prompt cho cache, đừng viết cho người đọc
Prefix caching tính tiền token lặp lại chỉ bằng một phần nhỏ giá gốc. Nắm được điều này rồi thì cách bố trí prompt thôi không còn là chuyện viết lách, mà thành chuyện hệ thống.
ai · llm · performance
Agent chẳng qua là một vòng while có gu
Bóc hết framework ra, một agent production chỉ còn tầm tám chục dòng. Agent của chúng tôi sống dai qua bốn thế hệ model mà không đổi một nét cấu trúc.
ai · agents
Structured output là hợp đồng, không phải lời đề nghị
Language model trả về văn xuôi. Hệ thống production thì ăn JSON. Ranh giới giữa hai bên là một validator chưa từng nghe đến AI.
ai · llm
Một con server, gánh cả production
Vì sao chúng tôi chạy hàng chục site production trên đúng một dedicated server, và ba khối config giúp nó sống sót.
infra · ops