볼록성과 일차 지지 부등식

두 점 사이의 손실을 제어하기

볼록 정의역에서 f가 볼록하다는 것은 두 입력 사이를 잇는 함수값이 두 끝값의 선형 보간 이하라는 뜻입니다.

그림이 그릇처럼 보인다는 인상보다 이 모든 점쌍·모든 t에 대한 조건이 정의입니다. 정의역도 볼록해야 두 점을 잇는 선분이 안에 남습니다. 서로 떨어진 집합 위의 함수를 같은 문장으로 판정하지 마세요.

미분 가능한 함수의 지지 부등식

볼록이고 미분 가능하면 접선은 모든 점에서 함수 아래에 있습니다.

볼록성 정의에서 x+t(y−x)를 넣고 f(x)를 빼고 t로 나눈 뒤 t↓0 극한을 취하면 얻습니다. 역으로 모든 x,y에서 이 부등식이 성립하면 볼록성 정의를 복원할 수 있습니다. 한 점쌍에만 성립한다는 관측은 충분하지 않습니다.

이차식에서 정확한 차이 계산

실습은 f(x)=ax²입니다. 접점 x와 비교점 y에 대해

a≥0이면 모든 쌍에서 음이 아니므로 볼록입니다. a<0이면 다른 점을 고를 때 음수가 되어 오목합니다. 그러나 x=y에서는 a<0이어도 차이가 0입니다. 이 예제는 성공한 프로브 하나가 전역 성질을 증명하지 않는다는 점을 명확히 보여 줍니다.

이차 도함수와 강볼록성

열린 볼록 영역에서 충분히 매끄러운 f에 대해 Hessian이 모든 점에서 PSD인 것과 볼록성이 연결됩니다. 스칼라 이차식에서는 f″=2a입니다. a>0이면 강볼록성 계수 m=2a를 쓸 수 있습니다.

m>0이라는 균일 하한은 단순히 각 점의 곡률이 양수라는 주장보다 강할 수 있습니다. 전체 R에서 x⁴은 엄격 볼록이지만 원점의 곡률이 0이라 양의 전역 강볼록 계수를 갖지 않습니다. 엄격 볼록·강볼록·볼록을 같은 말로 사용하지 마세요.

최적화 결론의 조건

미분 가능한 볼록 함수에서 gradient=0인 점은 전역 최소점입니다. 지지 부등식의 선형 항이 사라지기 때문입니다. 그렇다고 최소점이 항상 존재하거나 유일한 것은 아닙니다. exp(x)는 R에서 아래로 0에 접근하지만 최솟값을 얻지 않습니다. 상수 함수는 모든 점이 최소점입니다.

비볼록 신경망 손실에 볼록 이론을 적용하려면 국소 근사인지, 특정 블록의 볼록성인지, 별도 대리 목적함수인지 구분해야 합니다. 한 번의 양의 Hessian 관측으로 전체 모델의 볼록성을 주장하면 안 됩니다.

실습과 확인 문제

파랑은 함수, 주황은 선택한 x의 접선입니다. y는 그림 중 하나의 수치 비교점입니다. 전역 볼록성 표식은 작은 모형의 정확한 a≥0 조건으로 결정합니다.

1. a=0이면 볼록인가요? 예. 상수이며 강볼록은 아닙니다.
2. a=−1,x=y=0의 간격은? 0이지만 함수는 볼록이 아닙니다.
3. 볼록 함수의 gradient=0이 주는 결론은? 존재하는 그 점이 전역 최소점입니다.

추가 읽기: MIT 공식 강좌 안내. 강좌 범위를 확인해 보충 자료로 연결하며, 아래의 작은 예제와 논증은 직접 구성했습니다.