Danskin 定理证明对偶函数可微:严格凸函数应用
根据 Danskin 定理,对于凸函数 $f$ 和其次梯度集合 $G(x)$,存在一个函数 $g$,使得对于任意 $x \in dom(f)$,都有:
$$\ g(y) = \inf_{u \in G(x)} {u^T(y-x)+f(x)}\ $$
同时,$g$ 是 $f$ 的下确界函数,即 $g(x)=f(x)$,并且 $g$ 也是凸函数。
根据对偶函数的定义,我们有:
$$\ g^*(y) = \sup_{x \in dom(f)} {y^Tx-f(x)}\ $$
我们需要证明 $g^$ 是可微的。根据 Fenchel-Rockafellar 定理,$g^$ 的次梯度集合为:
$$\ \partial g^(y) = {x \in dom(g^) | g^(z) \geq g^(y) + (z-y)^Tx, \forall z \in dom(g^*)}\ $$
我们需要证明 $\partial g^(y)$ 非空,即存在一个 $x$,满足对于任意 $z$ 都有 $g^(z) \geq g^*(y) + (z-y)^Tx$。
根据定义,$g^*(y) = \sup_{x \in dom(f)} {y^Tx-f(x)}$,可以得到:
$$\ y^Tx - g^*(y) \leq f(x)\ $$
因为 $f$ 是严格凸的,所以 $f(x)$ 在 $x$ 处的次梯度集合非空,即存在一个 $u \in \partial f(x)$,满足对于任意 $y \in dom(f)$ 都有:
$$\ f(y) \geq f(x) + u^T(y-x)\ $$
将上式代入上面的不等式中,得到:
$$\ y^Tx-g^*(y) \leq f(x) \leq f(y) - u^T(y-x)\ $$
移项可得:
$$\ g^*(y) \geq y^Tx - u^T(y-x) = (u-y)^Tx + y^Tx-f(x)\ $$
因为 $u \in \partial f(x)$,所以 $u \in G(x)$,我们可以将上式再次变形:
$$\ g^*(y) \geq \inf_{u \in G(x)} {(u-y)^Tx + y^Tx-f(x)} = g(x) - y^T(x-y)\ $$
因为 $g(x)=f(x)$,所以:
$$\ g^*(y) \geq f(x) - y^T(x-y)\ $$
因此,我们得到了一个 $x$,满足对于任意 $y$ 都有 $g^(y) \geq f(x) - y^T(x-y)$,即 $x \in \partial g^(y)$。
因此,我们证明了 $\partial g^(y)$ 非空,即 $g^$ 是可微的。
原文地址: https://www.cveoy.top/t/topic/oRol 著作权归作者所有。请勿转载和采集!