기준선과 공정한 예산 비교

1. 비교에서 고정할 자원 정하기

모형을 비교할 때는 예측 작업, 사용할 정보, 데이터 분할, 품질 지표를 맞춥니다. 자원을 어떻게 배분할지도 명시합니다. 학습 FLOP, 실제 시간, 메모리, 매개변수 탐색 횟수는 서로 다른 비용입니다. 주장에 맞는 자원을 고정하고 해석에 필요한 다른 비용도 보고합니다. Dodge 외, 실험 결과 보고

2. 제안한 원인을 검증할 기준선 포함하기

직전 상태를 유지하는 예측기는 최근 상태 정보의 가치를 보여 줄 수 있습니다. 전통적인 통계 모형으로 새 구조가 개선에 필요한지 검사할 수 있습니다. 크기를 맞추고 물리 항만 뺀 모형은 그 항의 효과를 살핍니다. 충분히 조정한 참고 방법은 경쟁력 있는 성능을 비교합니다. 각 기준선이 뒷받침하는 주장을 정합니다.

3. 예산에 따라 순위가 바뀌는 예 만들기

양의 예산 $b$에 대해 합성 학습 곡선을 $L_A(b)=0.3+0.4/\sqrt b$, $L_B(b)=0.2+0.8/\sqrt b$로 둡니다. 예산 4에서 A의 손실은 0.5, B는 0.6입니다. 예산 64에서 A는 0.35, B는 0.30입니다. 두 식을 같게 두면 교차점은 예산 16입니다. 점수 하나로는 이 예산 의존성을 알기 어렵습니다.

4. 모형 선택과 최종 비교 나누기

선언한 탐색 예산 안에서 개발 데이터로 초매개변수를 고릅니다. 선택한 모형과 평가 방법을 고정한 뒤 최종 시험을 합니다. 실패하거나 버린 탐색도 자원을 사용했다면 그 예산에 포함합니다. 정보 조건을 맞추고 의미 있는 예산 범위에서 비교를 반복합니다.

같은 예산에서 두 곡선을 빼면

입니다. 같아지는 조건은 $\sqrt b=4$이므로 $b=16$입니다. 손실 차이가 양수이면 B가, 음수이면 A가 유리합니다. 예산 4, 16, 64의 차이는 각각 $-0.10$, $0$, $0.05$입니다. 예산 4의 A와 예산 64의 B를 비교하면 알고리즘 선택과 자원 배분이 함께 바뀝니다. 예산의 한 단위가 시간·연산 수·탐색 횟수 중 무엇인지 명시하세요. 이 합성 곡선의 계수는 선택한 예산 단위와 손실 척도에 속합니다.

5. Python으로 교차점 검산하기

from math import isclose, sqrt

loss_a = lambda budget: .3+.4/sqrt(budget)
loss_b = lambda budget: .2+.8/sqrt(budget)
assert loss_a(4) < loss_b(4)
assert isclose(loss_a(16), loss_b(16))
assert loss_b(64) < loss_a(64)
for budget in [4, 16, 64]:
    print(budget, round(loss_a(budget), 3), round(loss_b(budget), 3))

이 곡선은 가능한 순위 역전을 설명합니다. 실제 구현의 곡선을 측정한 뒤 경험적 주장을 합니다.

6. 배포 조건의 비용도 보고하기

같은 출력 품질에서 추론 지연, 메모리, 에너지를 비교하거나 품질 차이를 밝힙니다. 선언한 경계에 따라 전처리와 전송을 포함합니다. 큰 탐색 후에 우세한 모형도 개발 비용이 클 수 있으며, 작은 기준선이 더 적은 비용으로 운영 요구를 만족할 수 있습니다.