证明多元正态分布的等密度点的轨迹是一个超球面且其主轴方向上由的特征向量决定 答案用latex写

首先，多元正态分布的概率密度函数为： $$f(\boldsymbol{x})=\frac{1}{(2\pi)^{d/2}|\boldsymbol{\Sigma}|^{1/2}}\exp\left(-\frac{1}{2}(\boldsymbol{x}-\boldsymbol{\mu})^T\boldsymbol{\Sigma}^{-1}(\boldsymbol{x}-\boldsymbol{\mu})\right)$$ 其中，$\boldsymbol{x}$是$d$维随机向量，$\boldsymbol{\mu}$是$d$维均值向量，$\boldsymbol{\Sigma}$是$d\times d$的协方差矩阵。

设$f(\boldsymbol{x})=c$，其中$c$为常数，则有： $$(\boldsymbol{x}-\boldsymbol{\mu})^T\boldsymbol{\Sigma}^{-1}(\boldsymbol{x}-\boldsymbol{\mu})=-2\ln\left[\frac{c(2\pi)^{d/2}|\boldsymbol{\Sigma}|^{1/2}}{1}\right]$$

令$y=\boldsymbol{u}^T(\boldsymbol{x}-\boldsymbol{\mu})$，其中$\boldsymbol{u}$是$d$维单位向量，则有： $$y^2=\boldsymbol{u}^T(\boldsymbol{x}-\boldsymbol{\mu})(\boldsymbol{x}-\boldsymbol{\mu})^T\boldsymbol{u}=\boldsymbol{u}^T\boldsymbol{\Sigma}\boldsymbol{u}$$

因此，$y=\pm\sqrt{-2\ln\left[\frac{c(2\pi)^{d/2}|\boldsymbol{\Sigma}|^{1/2}}{1}\right]}$，即等密度点的轨迹是$d$维空间中的一个超球面。

接下来，我们证明等密度点的轨迹在主轴方向上由协方差矩阵的特征向量决定。

设$\boldsymbol{\Sigma}$的特征值为$\lambda_1,\lambda_2,\cdots,\lambda_d$，对应的特征向量为$\boldsymbol{v}_1,\boldsymbol{v}_2,\cdots,\boldsymbol{v}_d$，并且满足$\lambda_1\geq\lambda_2\geq\cdots\geq\lambda_d>0$。令$\boldsymbol{u}_i=\frac{\boldsymbol{v}_i}{|\boldsymbol{v}_i|}$，则${\boldsymbol{u}_1,\boldsymbol{u}_2,\cdots,\boldsymbol{u}_d}$是$d$维空间的一组标准正交基。

对于任意的$d$维向量$\boldsymbol{x}$，我们可以将其表示为$\boldsymbol{x}=\boldsymbol{\mu}+\sum\limits_{i=1}^d y_i\boldsymbol{u}_i$，其中$y_i=\boldsymbol{u}_i^T(\boldsymbol{x}-\boldsymbol{\mu})$。由于${\boldsymbol{u}_1,\boldsymbol{u}_2,\cdots,\boldsymbol{u}d}$是标准正交基，因此有$\sum\limits{i=1}^d y_i^2=|\boldsymbol{x}-\boldsymbol{\mu}|^2$。

将$\boldsymbol{x}$代入等密度点的轨迹方程中，即有： $$\boldsymbol{u}^T(\boldsymbol{x}-\boldsymbol{\mu})(\boldsymbol{x}-\boldsymbol{\mu})^T\boldsymbol{u}=\boldsymbol{u}^T\boldsymbol{\Sigma}\boldsymbol{u}$$

展开左侧的式子，有： \begin{aligned} \boldsymbol{u}^T(\boldsymbol{x}-\boldsymbol{\mu})(\boldsymbol{x}-\boldsymbol{\mu})^T\boldsymbol{u} &= \boldsymbol{u}^T\left(\sum_{i=1}^d y_i\boldsymbol{u}i\right)\left(\sum{j=1}^d y_j\boldsymbol{u}j\right)^T\boldsymbol{u} \ &= \sum{i=1}^d\sum_{j=1}^d y_iy_j\boldsymbol{u}_i^T\boldsymbol{u}j\boldsymbol{u}^T\boldsymbol{u} \ &= \sum{i=1}^d y_i^2\boldsymbol{u}_i^T\boldsymbol{u}i \ &= \sum{i=1}^d y_i^2 \end{aligned}

因此，等密度点的轨迹方程可以表示为： $$\sum_{i=1}^d\frac{y_i^2}{\lambda_i}=const$$

这是$d$个坐标轴方向上的超椭球面方程，其主轴方向即为协方差矩阵的特征向量方向。证毕