본문으로 건너뛰기
218 / CONVEX OPTIMIZATION LAB
먼저 알아두면 좋아요 · 연결된 선수 단원의 함수·미분·선형대수·볼록 기초
단원 목록 (600) · Lagrangian·KKT와 승수
이해하는 속도로 읽으세요.개념도이론실험확인 문제
BUILD YOUR INTUITION

먼저 그림으로 이해하기

한 번에 한 단계씩 살펴보세요.

가능성·정상성·상보성을 분리하고 실제 쌍대 하한을 계산합니다.

Minimize (x−a)²/2 subject to x≤b, with lambda≥0. L=f+lambda(x−b), dual d(lambda)=lambda(a−b)−lambda²/2. Blue shows f only on the feasible part of the finite window; orange shows the unconstrained Lagrangian.

-3.243.2413-0.5
가로 x · 파랑 가능 영역의 f · 주황 모든 x의 Lagrangian · 점은 후보와 L 최소점
quantityvalue
candidate x1
lambda1
Lagrangian minimizer1
constraint residual x-b0

optimal x and multiplier = (1, 1)

고정 기준 예제의 그림과 수치입니다. 각 단계에서 같은 그림의 의미를 차례로 살펴보세요. 고정된 기준 예제이며 아래 실험의 설정과 독립적입니다.
1 / 4

Lagrangian

g=x−b≤0에 비음 승수를 붙입니다.

L=f+lambda(x−b)

실험에서 확인하기 →
이 단원 목차

부등식과 Lagrangian의 부호를 맞춥니다

min f(x)=(x−a)²/2, x≤b를 생각합니다. g(x)=x−b≤0, λ≥0으로 정하면 다음과 같습니다.

L(x,λ)=12(x−a)2+λ(x−b),inf⁡xL=L(a−λ,λ)=λ(a−b)−λ2/2.L(x,\lambda)=\tfrac12(x-a)^2+\lambda(x-b),\qquad \inf_xL=L(a-\lambda,\lambda) =\lambda(a-b)-\lambda^2/2.

가능한 x에서는 λg≤0이므로 d(λ)=inf L이 목적값 하한입니다. infimum은 가능한 x만이 아니라 전체 실수에서 구합니다. 이 영역을 혼동하면 쌍대 문제가 바뀝니다.

네 조건을 함께 확인하기

KKT는 primal 가능성 x≤b, dual 가능성 λ≥0, 정상성 x−a+λ=0, 상보성 λ(x−b)=0입니다. 수치에는 가능한 쌍에서 비음인 동치 slack 곱 λ(b−x)도 씁니다.

x∗=min⁡(a,b),λ∗=max⁡(a−b,0).x^*=\min(a,b),\qquad\lambda^*=\max(a-b,0).

a<b이면 중심이 가능해 λ*=0이고, a>b이면 경계가 묶여 λ*=a−b입니다. a=b에서는 제약이 활성인데도 승수 0이므로 활성이 반드시 양수 승수를 뜻하지 않습니다.

활성 예제 손계산

a=2,b=1에서 x*=1,f*=0.5,λ*=1입니다. L의 무제약 최소점 a−λ도 1이고 d(1)=0.5라 정상성·상보성·간극이 모두 0입니다.

x=1을 유지하고 λ=0으로 바꾸면 활성 제약 때문에 상보성은 여전히 0이지만 정상성 −1,d(0)=0,간극 0.5입니다. 잔차 하나로 KKT 전체를 대신할 수 없습니다. 파랑은 가능한 목적함수 구간, 주황은 무제약 L입니다. 비최적 승수의 주황 최소점은 primal 가능 영역 밖에 있을 수도 있습니다.

어떤 가정에서 최적성인가요?

이차 함수는 볼록·미분 가능하고 제약은 affine이며 x<b라는 strict 가능점과 유한 최적값이 있습니다. Slater는 여기서 최적 승수 존재를 보장합니다. 볼록 문제의 유효한 KKT 쌍은 충분하며, constraint qualification은 일반적인 필요성·승수 존재 주장에 필요합니다.

비볼록 min −x² on [−1,1]에서 내부 stationary point 0은 최소가 아닙니다. 적절한 qualification이 없으면 볼록 최적점에도 승수가 없을 수 있으며 다음 x²≤0 예제에서 확인합니다.

직접 풀기와 풀이

a=0,b=1,x=0,λ=0이면 slack 1이고 나머지 잔차·gap은 0입니다. 이어 a=b=1,x=1,λ=0이면 제약이 활성으로 바뀌어도 승수는 0입니다.

연구와의 연결

승수는 적절한 perturbation·정칙성 아래 민감도를 나타낼 수 있지만 부호·제약 배율·목적함수 배율에 따라 숫자가 달라집니다. solver 결과는 가능성·정상성·상보성·실제 하한을 나누어 검증하세요. 작은 gradient나 활성 제약 하나가 전역 인증은 아닙니다.

추가 읽기: Boyd and Vandenberghe, Convex Optimization.

CHECK YOUR UNDERSTANDING

설명할 수 있나요?

실험 설정과 무관한 기준 예제를 묻습니다. 답을 고르고 설명을 확인해보세요.

1. 상보성 0만으로 KKT 전체를 만족하나요?
2. 활성 제약이면 반드시 승수가 양수인가요?

선택한 답과 학습 표시는 이 브라우저에 저장됩니다. 다시 풀거나 표시를 해제할 수 있습니다.