Chúng tôi độn rác vào prompt để nó rẻ hơn

Khi đã biết ưu đãi cache có một cái sàn, cách sửa tự nó hiện ra: nếu prefix quá ngắn để được cache, hãy làm nó dài ra. Nghe như trò lách công tơ, nhưng làm phép tính thì khoản lợi không hề mong manh.

Chính xác thì khi nào độn có lợi

Gọi F là sàn, r là hệ số giá cache và p là độ dài prefix hiện tại. Độn lên tới sàn nghĩa là mỗi lệnh gọi trả F·r thay vì p. Vậy độn có lợi đúng khi

F · r < p        // 1024 × 0.1 = 102 tokens

p < 102      pay full price, the floor is irrelevant
102 .. 1024  below the floor, but padding to it strictly wins
p >= 1024    already caching

Dải ở giữa đó là chỗ trú của gần như mọi system prompt production mà chúng tôi từng viết. Một prompt 900 token đang trả gần gấp chín lần so với khi được độn. Từ đó chỉ còn đúng một câu hỏi: phần độn thêm có làm model tệ đi không?

Thí nghiệm

Các nghiên cứu trước đó không hề trấn an. Model bị phân tâm bởi thông tin không liên quan, đánh rơi chi tiết ở giữa ngữ cảnh dài, và nhiễu từ khâu truy hồi làm câu trả lời kém đi. Nên chúng tôi chạy thật thay vì phỏng đoán.

500 bài có đáp án cố định, chấm bằng khớp chính xác, chia làm bốn nhóm: số học, sắp xếp, trích xuất từ, và đọc hiểu. Nhóm cuối mới là nhóm đáng kể, vì nó buộc model phải đọc một đoạn văn được cung cấp, tức là chỗ phần độn có khả năng gây hại nhất. Ba system prompt cùng phần lõi chỉ dẫn, chỉ khác độ dài.

Phần rác là một nghìn token lịch sử hải đăng, cố tình gài sẵn những con số và khoản tiền riêng của nó để một model dễ phân tâm có thứ mà bám vào. Không có gì thay đổi. Con số gộp nhích 0.2 điểm, đó là nhiễu, mà dù sao đọc theo kiểu gộp cũng là cách đọc yếu nhất. Ghép cặp lại thì 489 trên 500 bài cho kết quả y hệt nhau ở cả hai prompt, 5 bài lật về phía prompt sạch và 6 bài lật về phía prompt rác, McNemar χ² = 0.0.

Công bố cận trên, đừng công bố p-value

p-value lớn không phải bằng chứng rằng không có hiệu ứng, và một kết quả rỗng mà không nêu được giới hạn thì chưa phải kết quả. Nên con số chúng tôi thật sự đưa ra là khoảng tin cậy của chênh lệch theo cặp: mọi mức giảm chính xác lớn hơn 1.1 điểm phần trăm đều bị loại ở độ tin cậy 95%. Nhóm đọc hiểu còn chặt hơn: 113 trên 130 bài giống hệt nhau, đúng một bài lật theo mỗi chiều, chênh lệch theo cặp 0.0 điểm [-2.1, +2.1].

Nhánh thứ ba mới là nhánh thú vị về mặt vận hành. Độn bằng ví dụ giải mẫu thay vì rác thì độ chính xác tăng 4.2 điểm (p=0.001), và mức tăng dồn gần hết vào nhóm trích xuất từ vốn nhạy với định dạng, nhóm này đi từ 39% lên 56%. Đó là few-shot prompting bình thường làm đúng việc bình thường của nó. Nó không chứng minh rằng độ dài giúp ích, và chúng tôi nói rõ điều đó, vì nhánh này trộn lẫn việc thêm độ dài với việc thêm ví dụ. Nhưng nó có nghĩa là phiên bản hữu ích của mẹo này lãi hai lần: ví dụ làm đúng phần việc của ví dụ, còn tư cách được cache thì đến kèm miễn phí.

Quy tắc chúng tôi chốt lại

if (tokens(prefix) < FLOOR) {
  // never with filler. examples, schema notes, edge cases,
  // anything a reviewer would defend in a code review.
  prefix = prefix + examples(FLOOR - tokens(prefix));
}
assert(tokens(prefix) % 128 === 0);   // do not donate the remainder

Dòng assert cuối không phải để trang trí. Phần dư không được cache trung bình 57 đến 69 token trên các prompt của chúng tôi và cao nhất chạm 125, tức khoảng 6% của một prefix 2,000 token, bị tính giá đầy đủ ở từng lệnh gọi suốt vòng đời prompt đó. Kết thúc đúng ngay biên khối là khoản tiền rơi mà chẳng ai buồn nhặt.

Nói thẳng về phạm vi: bốn nhóm bài ngắn chấm được bằng máy, một nhà cung cấp, một model. Chúng tôi không chứng minh rằng độn luôn an toàn, và các nghiên cứu dẫn ở trên là lời cảnh báo thật cho việc làm với ngữ cảnh dài. Cái chúng tôi chứng minh là vượt qua đúng cái sàn này không tốn gì trên khối lượng công việc của mình, và chừng đó đủ để biến cái sàn từ một định luật tự nhiên thành một sự tùy tiện trong cách tính tiền.