노름·Banach·Hilbert 공간

함수도 벡터이지만 거리는 선택해야 한다

함수 두 개를 더하고 상수를 곱할 수 있으므로 함수 집합도 벡터 공간이 됩니다. 하지만 “근사가 가깝다”는 말에는 노름이 필요합니다. L1은 절대 오차의 적분, L2는 제곱 오차 적분의 제곱근, L∞는 본질적 상한을 측정합니다. Lp에서는 영집합에서만 다른 함수들을 같은 원소로 취급합니다.

완비성과 내적은 다른 조건

Banach 공간은 선택한 노름에서 모든 Cauchy 열이 공간 안의 원소로 수렴하는 공간입니다. Hilbert 공간은 내적으로 유도된 노름에 대해 완비입니다. L1과 L∞도 Banach이지만 일반적으로 Hilbert는 아닙니다. L2에서는 실수 함수의 내적을 ∫fg로 정합니다.

내적 노름은 평행사변형 법칙을 만족합니다. 서로 겹치지 않는 단위 벡터 두 개를 잡으면 법칙의 좌변에서 우변을 뺀 값이 L1에서 4, L2에서 0, L∞에서 −2입니다. 완비성을 가졌다고 직교 투영의 기하가 자동 생기지는 않습니다.

함수열을 실제로 계산하기

[0,1]에서 아래 다항식 열을 생각합시다. 기하급수를 합하면 극한은 f(x)=1/(2−x)이고, 꼬리는 x가 1일 때 가장 큽니다.

m=2이면 균등 오차는 1/8, m=6이면 1/128입니다. 구간 길이가 1이어서 L1과 L2 오차도 균등 오차 이하입니다. 극한 L1 노름은 log 2, L2 노름은 1/√2, L∞ 노름은 1입니다. 실습은 노름을 바꿔도 같은 파랑·주황 함수 그림을 유지하고 측정값만 바꿉니다.

공간을 잘못 고르면 극한을 잃는다

모든 다항식의 공간에 균등 노름을 주면 위 열은 Cauchy지만 극한은 다항식이 아닙니다. 따라서 그 공간은 완비가 아닙니다. 반면 C[0,1]에 균등 노름을 주면 완비입니다. 같은 C[0,1]도 L1 노름에서는 완비가 아닙니다. 예를 들어 x=.5부터 폭 1/m 동안 0에서 1로 증가하는 연속 ramp는 계단 함수로 L1 수렴하며 오차는 1/(2m)입니다(m≥2). 계단과 거의 모든 곳에서 같은 연속 함수는 존재하지 않아 연속 함수 공간 안에서는 극한을 잃습니다. 집합만이 아니라 노름까지 지정해야 합니다. 현재 실습의 Lp 선택은 완비인 Lp 공간을 뜻하며 그래프는 연속 대표만 사용합니다.

AI의 함수 근사에서도 평균 손실이 작다는 주장과 모든 입력에서 오차가 작다는 주장은 다릅니다. 어떤 입력 측도와 노름으로 평가하는지 먼저 정해야 합니다.

확인 문제와 해설

1. m=0의 L1 노름은? 1/2입니다. 함수가 상수 1/2이기 때문입니다.
2. 극한이 다항식이 아니면 수렴이 실패한 건가요? 아니요. 더 큰 완비 공간에서는 수렴하지만 다항식 공간 안에는 극한이 없습니다.
3. L2 동치류의 한 점 값을 바꿔도 노름이 변하나요? 변하지 않습니다. 다음 쌍대 단원에서 점 평가의 문제로 연결합니다.

추가 읽기: MIT 18.102, Functional Analysis.