위약 바닥부터 계산해라

엄밀해 보이지만 아닌 분석의 모양이 있다. 옛 자료로 추세를 맞추고, 목표 연도까지 외삽하고, 빼고, 남은 것을 초과라고 부르고 쓴다. 이 방법은 절대 아니라고 말하지 않는다. 뺄셈은 언제나 숫자를 내놓고, 그 숫자는 언제나 발견처럼 보인다.

해법은 지루하고, 우리는 이제 그것부터 돌린다. 찾으려는 일이 아직 일어나지 않은 해로 같은 계산을 통째로 겨누고, 무엇이 나오는지 본다.

바닥을 재고 잃은 것

한국어 초록 연구에서 2020, 2021, 2022년을 같은 계산으로 겨눴다. 기준 창의 모양도, 나머지도 전부 같게 했다. 바닥은 단어 하나 통계에서 0.1~2.2포인트, 반분 집합 통계에서 최대 2.9로 돌아왔다.

그다음에 우리 2023년 값을 봤다. 그 띠 안에 들어 있었다. 그래서 논문은 2023년에 대해 아무것도 보고하지 않고, 초록에 그렇게 적었다. 이 작업의 값어치는 그게 전부다. 안 했으면 주장했을 1년을 연표에서 덜어냈다.

바닥은 하나의 숫자가 아니다

두 가지에 따라 움직이고, 둘 다 자료의 성질이 아니라 우리가 고른 선택이다.

외삽 거리다. 기준 5년으로 1년 뒤를 맞히는 것과 기준 2년으로 4년 뒤를 맞히는 것은 다른 일이다. 우리는 칸 하나를 고르는 대신 격자를 전부 돌렸고, 바닥은 그 위를 따라 단조롭게 커진다. 격자 없이 적힌 바닥 하나는 방법의 성질이 아니라 설정 하나의 바닥이다.

고르는 규칙이다. 모든 단어로 잰 바닥은 아무도 주장하지 않는 이유로 흔들리는 고빈도 기능동사가 지배한다. 표지어로 세려면 기대값의 1.5배는 넘어야 한다는 조건을 걸면 바닥이 어느 거리에서든 3분의 1쯤으로 떨어진다. 흔들림이 재미없는 단어들이 바로 그 조건에서 빠지기 때문이다.

군집이 신뢰구간을 먹는다

두 번째 싼 시험은 재표집 단위가 무엇이냐를 묻는 것이다. 한 학술지 안의 초록들은 저자와 주제와 편집 관행과 편집자를 공유한다. 문서를 재표집하면 그것들을 독립으로 보게 되고, 학술지를 재표집할 때보다 신뢰구간이 40%쯤 좁게 나온다. 점추정값은 하나도 안 바뀐다. 바뀌는 것은 우리가 가져도 되는 확신뿐이다.

고르는 자료와 재는 자료를 나눠라

표지어를 고른 자료에서 그 표지어를 재면, 잰 것은 자기 선택이다. 학술지를 해시로 갈라 A에서 고르고 B에서 재는 데는 몇 줄이면 되고, 그 몇 줄이 발표할 수 있는 통계와 없는 통계를 갈랐다. 같은 분할을 위약 연도에 돌리면 집합 하한이 0 근처로 돌아온다. 선택 편향이 작다는 것을 가정하는 대신 그렇게 확인한다.

이게 각주가 아니라 글인 이유

여기 적은 것 전부가, 심사자가 아니라 자기 자료한테 먼저 아니라는 말을 듣는 방법이다. 비싼 것도 없다. 논문의 위약 격자는 15칸이고 몇 분이면 돈다. 우리는 그 몇 분을 쓰고 머리기사에서 1년을 잃는 쪽을 고른다. 애초에 잡음 위로 올라온 적 없는 숫자를 방어하는 것보다 낫다.