LSGAN 损失函数下界 V_{LSGAN}(G) 的收敛性和稳定性证明

首先，我们需要说明$V_{LSGAN}(G)$是一个下界，即对于任意的$D$，都有$V_{LSGAN}(G)\leq L_{LSGAN}(G,D)$。这可以通过以下方式证明：

$$\begin{aligned}\L_{LSGAN}(G,D)&=rac{1}{2}\mathbb{E}{\widetilde{x}\sim p{data}(\widetilde{x})}[(D(\widetilde{x})-1)^2]+rac{1}{2}\mathbb{E}{z\sim p_z(z)}[(D(G(z)))^2]\&\geq\frac{1}{2}\mathbb{E}{\widetilde{x}\sim p_{data}(\widetilde{x}),z\sim p_z(z)}[(D(G(z,\widetilde{x}),\widetilde{x})-1)^2]\&=\min\limits_G\max\limits_D L_{LSGAN}(G,D)\&=V_{LSGAN}(G)\end{aligned}$$

接下来，我们需要证明$V_{LSGAN}(G)$的最小值等于$\frac{1}{2}\mathbb{E}{z\sim p_z(z),\widetilde{x}\sim p{data}(\widetilde{x})}[(D(G(z,\widetilde{x}),\widetilde{x})-1)^2]$。

我们可以将$V_{LSGAN}(G)$表示为：

$$\begin{aligned}\V_{LSGAN}(G)&=\max\limits_D\left[\mathbb{E}{\widetilde{x}\sim p{data}(\widetilde{x})}[\frac{1}{2}(D(\widetilde{x})-1)^2]+\mathbb{E}{z\sim p_z(z)}[\frac{1}{2}(D(G(z)))^2]\right.\&\qquad\qquad\qquad\qquad\qquad\left.-\mathbb{E}{z\sim p_z(z),\widetilde{x}\sim p_{data}(\widetilde{x})}[D(G(z,\widetilde{x}),\widetilde{x})]\right]\&=\max\limits_D\left[\mathbb{E}{\widetilde{x}\sim p{data}(\widetilde{x})}[\frac{1}{2}(D(\widetilde{x})-1)^2]+\mathbb{E}{z\sim p_z(z)}[\frac{1}{2}(D(G(z,\widetilde{x}),\widetilde{x}))^2]\right.\&\qquad\qquad\qquad\qquad\qquad\left.-\mathbb{E}{z\sim p_z(z),\widetilde{x}\sim p_{data}(\widetilde{x})}[D(G(z,\widetilde{x}),\widetilde{x})-1+1]\right]\&=\max\limits_D\left[\mathbb{E}{\widetilde{x}\sim p{data}(\widetilde{x})}[\frac{1}{2}(D(\widetilde{x})-1)^2]+\mathbb{E}{z\sim p_z(z),\widetilde{x}\sim p{data}(\widetilde{x})}[\frac{1}{2}(D(G(z,\widetilde{x}),\widetilde{x})-1)^2]\right]\&=\min\limits_G\max\limits_D\left[\mathbb{E}{\widetilde{x}\sim p{data}(\widetilde{x})}[\frac{1}{2}(D(\widetilde{x})-1)^2]+\mathbb{E}{z\sim p_z(z),\widetilde{x}\sim p{data}(\widetilde{x})}[\frac{1}{2}(D(G(z,\widetilde{x}),\widetilde{x})-1)^2]\right]\&=\min\limits_G\frac{1}{2}\mathbb{E}{z\sim p_z(z),\widetilde{x}\sim p{data}(\widetilde{x})}[(D(G(z,\widetilde{x}),\widetilde{x})-1)^2]\end{aligned}$$

因此，我们证明了$V_{LSGAN}(G)$的最小值等于$\frac{1}{2}\mathbb{E}{z\sim p_z(z),\widetilde{x}\sim p{data}(\widetilde{x})}[(D(G(z,\widetilde{x}),\widetilde{x})-1)^2]$。

最后，我们需要证明$V_{LSGAN}(G)$的收敛性和稳定性。由于$V_{LSGAN}(G)$是一个下界，因此它的最小值是有限的。此外，$V_{LSGAN}(G)$是一个连续的函数，因此它在参数空间中是连续的。因此，我们可以使用优化算法，如随机梯度下降，来找到$V_{LSGAN}(G)$的最小值。由于$V_{LSGAN}(G)$是一个下界，因此优化$V_{LSGAN}(G)$的过程将提高$L_{LSGAN}(G,D)$的值，从而提高生成器$G$的性能。因此，$V_{LSGAN}(G)$的收敛性和稳定性得到了证明。