검증할 수 있는 연구 가설

1. 관측할 수 있는 실패에서 출발하기

온도 예측기가 정상 운전에서는 정확하지만 장치 재시작 이후에는 오차가 커진다고 가정합니다. 대상 재시작 집단, 사용할 입력, 예측 시간 범위, 예측으로 내릴 결정을 명시합니다. “물리 정보를 넣으면 AI가 좋아진다”는 문장에서 어떤 변경이 어떤 결과를 바꿀지 정하면 검증할 수 있습니다. Nosek 외, 연구 사전등록

2. 실질적으로 의미 있는 차이 정하기

같은 관측을 사용한 기준선과 열수지 항을 포함한 예측기를 비교합니다. 재시작 사건 $i$ 이후 30분간의 절대 온도 오차 평균을 각각 $L_{Bi}$와 $L_{Ci}$라고 하면 개선량은 다음과 같습니다.

대상 집단에서 $\Delta>0.10$ K라고 주장할 수 있습니다. 최종 결과를 보기 전에 운영 결정이나 계측 요구를 근거로 0.10 K 기준을 정합니다.

3. 어떤 결과가 결론을 바꿀지 정하기

추정한 개선량이 0에 가까우면 실용적인 효과가 있다는 주장에 의문이 생깁니다. 0.10 K보다 높더라도 불확실성이 크면 결론을 내리기 어렵습니다. 사건별 차이 평균의 단측 신뢰 하한을 쓰는 판단 규칙을 미리 정할 수 있습니다. 한 사건의 연속 시간 표본은 같은 관측 단위에 속합니다. 같은 장치의 사건들이 상관되어 있다면 장치나 적절한 군집 단위로 분할하고 분석합니다.

4. 평가를 진행하는 동안 질문 고정하기

비교 방법이 사용할 정보, 학습 예산, 사건 또는 장치의 분할, 판단 규칙을 정합니다. 개발 데이터로 조정한 선택은 기록합니다. 선택을 고정한 다음 최종 데이터로 평가합니다. 예상하지 못한 하위집단 결과는 새 관측으로 검사할 후속 가설이 될 수 있습니다.

5. Python으로 쌍별 기술 통계 계산하기

from statistics import mean
from math import isclose

baseline = [.65, .52, .44, .60, .55, .50]
candidate = [.52, .38, .36, .42, .48, .47]
differences = [a-b for a, b in zip(baseline, candidate)]
effect = mean(differences)
assert isclose(effect, .105)
print("observed mean improvement:", round(effect, 3), "K")
print("observed mean above practical threshold:", effect > .10)

합성 데이터의 점추정값은 기준을 조금 넘습니다. 대상 집단에 대한 주장을 평가하려면 불확실성도 필요합니다.

6. 예상과 다른 결과도 기록하기

열수지 항이 일반적인 오차를 줄이면서 극단적인 재시작에서 오차를 키우면, 처음 계획에서 정한 역할에 따라 두 결과를 모두 기록합니다. 처음의 가설, 검증 결과, 후속 질문을 구분합니다. 다른 연구자가 판단을 재현할 수 있도록 데이터와 분석 정보를 남깁니다.