비정칙 역문제와 특이 모드

1. 존재성, 유일성, 안정성 확인하기

아다마르의 의미에서 역문제가 적절하게 설정되려면 허용 데이터에서 해가 존재하고, 유일하며, 선택한 노름에서 데이터에 연속적으로 의존해야 합니다. 이 조건 중 하나라도 실패하면 비정칙 역문제입니다. 유한 차원에서 역행렬이 존재하더라도 작은 관측 오차가 큰 복원 오차를 만들면 조건이 나쁩니다. Hansen, 이산 역문제

2. 관측 강도가 다른 두 방향 살펴보기

$0\le s\le1$에서 두 모드의 순방향 사상을 $A_s=\operatorname{diag}(1,s)$로 둡니다. 첫째 매개변수는 그대로 관측되고 둘째는 $s$배로 나타납니다. $s>0$이면 둘째 관측을 $s$로 나누어 복원합니다. 특잇값은 1과 $s$이므로 유클리드 노름에서 역연산자 노름은 $1/s$입니다. 이 정규화에서는 조건수도 $1/s$입니다.

3. 크기를 정한 교란 넣기

참값이 $(1,1)$이면 잡음이 없는 관측은 $(1,s)$입니다. 둘째 관측에 오차 $\delta$를 더하면 복원한 값은 다음과 같습니다.

같은 오차 $0.01$을 더해도 $s=0.5$에서는 복원 오차가 $0.02$, $s=0.01$에서는 1입니다. 첫째 관측에 같은 크기의 오차를 넣으면 첫째 복원값만 $0.01$만큼 변합니다.

4. 계수가 0일 때 해의 조건 확인하기

$s=0$이면 순방향 모형이 만드는 데이터의 둘째 성분은 항상 0입니다. 관측의 둘째 성분이 0이 아니면 정확한 해가 없습니다. 0이면 $x_2$가 어떤 값이든 같은 데이터를 얻습니다. 정확히 맞출 수 없는 데이터에도 최소제곱 문제는 세울 수 있습니다. 최소 노름 해에서 $x_2=0$으로 두는 것은 데이터 적합도가 같은 해 중 하나를 고르는 규칙입니다.

5. Python으로 방향별 오차 증폭 검산하기

import numpy as np

truth = np.array([1.0, 1.0])
for strength in (.5, .1, .01):
    forward = np.diag([1.0, strength])
    clean = forward @ truth
    weak_error = np.linalg.solve(forward, clean + [0, .01]) - truth
    strong_error = np.linalg.solve(forward, clean + [.01, 0]) - truth
    assert np.allclose(weak_error, [0, .01 / strength])
    assert np.allclose(strong_error, [.01, 0])
    print(strength, np.linalg.cond(forward), weak_error[1])

singular = np.diag([1.0, 0.0])
assert np.allclose(singular @ [1, -5], singular @ [1, 5])

6. 약한 관측 방향을 실험 설계에 연결하기

일반 선형계의 특이벡터는 서로 다른 강도로 관측되는 입력과 출력의 조합을 알려 줍니다. 작은 특잇값은 더 강한 관측이나 추가 가정이 필요한 방향을 가리킵니다. 센서 후보가 약한 방향을 얼마나 더 잘 측정하는지 비교합니다. 관측에 교란을 주어 수치 반올림과 관측 민감도의 영향을 살펴봅니다. 복원 모드를 어디까지 신뢰할지 정하기 전에 잡음 크기를 기록합니다.