관측 잔차와 방정식 잔차

1. 각 잔차의 비교 기준 정하기

관측 잔차는 예측과 측정값의 차이입니다. 시각 $t_i$의 측정값 $y_i$에 대해 $r_i^{\rm obs}=x(t_i)-y_i$로 둡니다. 방정식 잔차는 후보가 제안된 미분 법칙을 얼마나 만족하는지 나타냅니다. $\dot x=-kx$에서는 $r^{\rm eq}(t)=\dot x(t)+kx(t)$입니다. 관측 잔차의 단위는 $x$의 단위이며, 방정식 잔차의 단위는 시간당 $x$입니다. Raissi, Perdikaris, Karniadakis의 물리 정보 신경망 연구

2. 같은 관측을 지나는 여러 후보 만들기

$k=1$이고 $t=0,1,2$에서 정확한 관측이 $y_i=e^{-t_i}$라고 가정합니다. 다음 후보를 살펴봅니다.

정수 시각에서 사인 항이 0이므로 어떤 실수 $b$를 선택해도 세 관측 잔차는 0입니다. 관측 사이에 측정값을 추가하면 후보를 구별할 수 있습니다.

3. 후보를 미분해 방정식 잔차 구하기

방정식 잔차는 다음과 같습니다.

$t=0$에서는 $\pi b$입니다. $b=0.2$이면 그 시각의 관측을 정확히 맞추면서도 방정식 잔차는 단위 시간당 약 0.628입니다. $[0,2]$에서 잔차의 제곱평균제곱근은 $|b|\sqrt{(\pi^2+1)/2}$입니다. 한 주기 전체에서 교차항의 적분이 0입니다.

4. 적합, 물리 검산, 예측 검증 구분하기

학습 관측으로 매개변수를 맞춥니다. 기록한 별도 점들에서 방정식 잔차를 확인합니다. 적합에 사용하지 않은 관측으로 예측과 물리 법칙을 점검합니다. 초기 조건이나 물리 법칙 자체가 잘못되면 방정식 잔차가 정확히 0이어도 예측이 부정확할 수 있습니다.

5. Python으로 두 잔차 검산하기

import numpy as np

b = .2
t_obs = np.array([0., 1., 2.])
x = lambda t: np.exp(-t) + b*np.sin(np.pi*t)
assert np.allclose(x(t_obs) - np.exp(-t_obs), 0.)
t = np.linspace(0, 2, 4096, endpoint=False)
equation_residual = b*(np.pi*np.cos(np.pi*t) + np.sin(np.pi*t))
rms = np.sqrt(np.mean(equation_residual**2))
assert np.isclose(rms, abs(b)*np.sqrt((np.pi**2 + 1)/2))
print("equation RMS:", rms, "held-out error at t=0.5:", x(.5)-np.exp(-.5))

6. 해석 가능한 척도로 잔차 비교하기

잔차를 하나의 손실에 넣을 때는 무차원화하거나 물리적·통계적 근거가 있는 척도를 사용합니다. 예를 들어 관측 잔차를 센서 표준편차로, 방정식 잔차를 대표 변화율로 나눌 수 있습니다. 두 손실 성분, 잔차를 검사한 점, 독립 데이터에서의 결과를 기록합니다. 가중치에 따라 선택되는 해가 달라질 수 있습니다.