证明多元正态分布的等密度点的轨迹是一个超球面且其主轴方向上由的特征向量决定 写成完整的latex代码包括加载包

\documentclass{article} \usepackage{amsmath} \usepackage{amssymb} \usepackage{graphicx}

\begin{document}

设多元正态分布的密度函数为 $$f(\mathbf{x})=\frac{1}{(2\pi)^{d/2}|\Sigma|^{1/2}}\exp\left(-\frac{1}{2}(\mathbf{x}-\boldsymbol{\mu})^T\Sigma^{-1}(\mathbf{x}-\boldsymbol{\mu})\right)$$ 其中，$\mathbf{x}=(x_1,x_2,\cdots,x_d)^T$是$d$维列向量，$\boldsymbol{\mu}=(\mu_1,\mu_2,\cdots,\mu_d)^T$是均值向量，$\Sigma$是$d\times d$的协方差矩阵，$|\Sigma|$表示$\Sigma$的行列式。

我们要证明的是，多元正态分布的等密度点的轨迹是一个超球面，且其主轴方向上由的特征向量决定。

首先，我们考虑等密度点的定义，即对于任意常数$c$，都有 $$f(\mathbf{x})=c$$ 根据多元正态分布的密度函数，上式可以化为 $$\exp\left(-\frac{1}{2}(\mathbf{x}-\boldsymbol{\mu})^T\Sigma^{-1}(\mathbf{x}-\boldsymbol{\mu})\right)=c(2\pi)^{d/2}|\Sigma|^{1/2}$$ 两边取对数，得到 $$-\frac{1}{2}(\mathbf{x}-\boldsymbol{\mu})^T\Sigma^{-1}(\mathbf{x}-\boldsymbol{\mu})=\ln\frac{c(2\pi)^{d/2}|\Sigma|^{1/2}}{1}$$ 移项，得到 $$(\mathbf{x}-\boldsymbol{\mu})^T\Sigma^{-1}(\mathbf{x}-\boldsymbol{\mu})=-2\ln c$$ 这样，我们就得到了等密度点的轨迹方程，即 $$(\mathbf{x}-\boldsymbol{\mu})^T\Sigma^{-1}(\mathbf{x}-\boldsymbol{\mu})=\text{常数}$$ 这是一个$d$维空间中的超球面方程，其半径为$\sqrt{-2\ln c}$。

接下来，我们考虑主轴方向。设$\Sigma$的特征值为$\lambda_1,\lambda_2,\cdots,\lambda_d$，对应的特征向量为$\mathbf{v}_1,\mathbf{v}_2,\cdots,\mathbf{v}_d$，且已经按照特征值从大到小排好序。由于$\Sigma$是实对称矩阵，所以特征向量是正交的，即$\mathbf{v}i^T\mathbf{v}j=\delta{ij}$，其中$\delta{ij}$为Kronecker delta符号。

我们可以将$\mathbf{x}-\boldsymbol{\mu}$表示为特征向量的线性组合： $$\mathbf{x}-\boldsymbol{\mu}=a_1\mathbf{v}_1+a_2\mathbf{v}_2+\cdots+a_d\mathbf{v}_d$$ 其中，$a_i=\mathbf{v}_i^T(\mathbf{x}-\boldsymbol{\mu})$。这样，我们就将$d$维空间中的向量$\mathbf{x}-\boldsymbol{\mu}$投影到了$d$个正交的方向上。

将上式代入$(\mathbf{x}-\boldsymbol{\mu})^T\Sigma^{-1}(\mathbf{x}-\boldsymbol{\mu})$，得到 \begin{align*} (\mathbf{x}-\boldsymbol{\mu})^T\Sigma^{-1}(\mathbf{x}-\boldsymbol{\mu})&=(a_1\mathbf{v}_1^T+a_2\mathbf{v}_2^T+\cdots+a_d\mathbf{v}_d^T)\Sigma^{-1}(a_1\mathbf{v}_1+a_2\mathbf{v}2+\cdots+a_d\mathbf{v}d)\ &=\sum{i=1}^d\sum{j=1}^da_ia_j\mathbf{v}_i^T\Sigma^{-1}\mathbf{v}_j \end{align*} 注意到$\Sigma^{-1}$是实对称矩阵，且$\mathbf{v}_i$和$\mathbf{v}_j$是正交的，所以$\mathbf{v}_i^T\Sigma^{-1}\mathbf{v}j=0$（$i\neq j$）。于是，上式化为 $$(\mathbf{x}-\boldsymbol{\mu})^T\Sigma^{-1}(\mathbf{x}-\boldsymbol{\mu})=\sum{i=1}^da_i^2\mathbf{v}_i^T\Sigma^{-1}\mathbf{v}_i$$ 由于$\mathbf{v}_i$是$\Sigma$的特征向量，所以有 $$\Sigma\mathbf{v}_i=\lambda_i\mathbf{v}_i$$ 于是， \begin{align*} \mathbf{v}_i^T\Sigma^{-1}\mathbf{v}_i&=\frac{1}{\lambda_i}\mathbf{v}_i^T(\mathbf{v}_i\mathbf{v}_i^T)\Sigma^{-1}(\mathbf{v}_i\mathbf{v}_i^T)\mathbf{v}_i\ &=\frac{1}{\lambda_i}\mathbf{v}_i^T(\mathbf{v}_i^T\Sigma^{-1}\mathbf{v}_i)\mathbf{v}i\ &=\frac{1}{\lambda_i} \end{align*} 因此， $$(\mathbf{x}-\boldsymbol{\mu})^T\Sigma^{-1}(\mathbf{x}-\boldsymbol{\mu})=\sum{i=1}^da_i^2\frac{1}{\lambda_i}$$ 这样，我们就得到了等密度点的轨迹方程在主轴方向上的表达式。可以看出，主轴方向上的轨迹是由$\Sigma$的特征向量决定的。特别地，当$\Sigma$是对角矩阵时，主轴方向就是坐标轴方向，此时等密度点的轨迹就是一组互相独立的一维正态分布的轨迹。

综上所述，我们证明了多元正态分布的等密度点的轨迹是一个超球面，且其主轴方向上由的特征向量决定。

\end{document