$\textbf y$를 벡터들 $\boldsymbol{\mu}_i$에 의해 정의된 새로운 좌표체계 내의 점으로 해석할 수 있다. 이것을 기저변환(change of basis)이라고 한다.
-
$\boldsymbol{x-\mu}$ : standard basis 에서의 좌표
-
$\textbf y$ : basis {$\boldsymbol{u_{1}, u_{1}, …, u_{D}}$} 에서의 좌표
-
타원을 이루며, 모양은 $\lambda$값에 의해 결정됨
가우시안 분포의 Normalization 증명
$\textbf y$의 확률밀도함수를 구하기 위해서 Jacobian $\textbf J$ 를 구해야 한다.
$$
\textbf J_{ij}=\frac{\partial x_i}{\partial y_j}=U_{ji}=(U^T)_{ij}
$$
따라서, $| \textbf J|^2=|U^T|^2=|U^T||U|=|U^TU|=| \textbf I|=1$
행렬식 $|\Sigma|$는 고유값의 곱으로 나타낼 수 있다.
$$
|\Sigma|^{1/2}=\prod_{j=1}^D\lambda_j^{1/2}
$$
따라서, $\textbf y$의 확률밀도함수는
$$
p(\boldsymbol{y}) = p(\boldsymbol{x}) \mid \boldsymbol{J} \mid = p(\boldsymbol{x}) = \frac{1}{(2\pi)^{D/2}} \frac{1}{ \mid \boldsymbol{ \Sigma} \mid ^{1/2}} exp\{- \frac{1}{2}(\boldsymbol{x}-\boldsymbol{\mu})^{T}\boldsymbol{ \Sigma}^{-1}(\boldsymbol{x}- \boldsymbol{\mu}) \}
\\= \frac{1}{(2\pi)^{D/2}}\prod_{j=1}^{D}\frac{1}{(\lambda_{j})^{1/2}}exp( \frac{-1}{2}\sum_{j=1}^{l}\frac{y_i^{2}}{\lambda_j} ) = \frac{1}{(2\pi)^{D/2}}\prod_{j=1}^{D}\frac{1}{(\lambda_{j})^{1/2}}\prod_{j=1}^{D}exp( \frac{-1}{2}\frac{y_i^{2}}{\lambda_j} )
\\ = \prod_{j=1}^{D} \frac{1}{(2\pi\lambda_{j})^{1/2}}exp( \frac{-y_i^{2}}{2\lambda_j} )
$$
따라서 $\textbf y$의 normalization은 다음과 같이 증명된다.
$$
\int p(\boldsymbol{y})d\boldsymbol{y} = \prod_{j=1}^D \frac{1}{(2\pi\lambda_{j})^{1/2}}exp( \frac{-y_j^{2}}{2\lambda_j} )dy_j = 1
$$
가우시안 분포의 기댓값
다변량(multivariate) 확률변수의 기댓값
- $\textbf x=(x_1, x_2,\dots,x_n)^T$
- $\mathbb E[ \textbf x]=(\mathbb E[x_1],\dots, \mathbb E[x_n])^T$
- $\mathbb E[x_1]=\int x_1p(x_1)dx_1$ = $\int x_1(\int p(x_1, ..., x_n)dx_2,...dx_n)dx_1$= $\int x_1p(x_1,...,x_n)dx_1,...,dx_n$
- 여기서 $\textbf x$는 벡터
z에 관한 식은 결국 0이 된다. 따라서 다음과 같은 식이 성립한다.
가우시안 분포의 공분산
공분산을 구하기 위해서 먼저 2차 적률(second order moments)을 구한다.
$\textbf z=U^T \textbf y$로 치환하면 $\textbf z=U^T \textbf y$ = $\sum u_iy_i$ , $\boldsymbol{zz^{T}}$=($\sum u_i$$y_i$)($\sum u_j^{T}$$y_j$) = ($\sum_{i}\sum_{j}u_iu_j^Ty_iy_j$)
$\boldsymbol{z\sum^{-1} z^{T}} = (U^T\boldsymbol{y})^T\sum^{-1}(U^T\boldsymbol{y}) = \boldsymbol{y}^{T}UU^T\ \Lambda ^{-1}UU^T\boldsymbol{y} =\boldsymbol{y}^{T}\ \Lambda ^{-1}\boldsymbol{y} = \sum_{i=1}^D\sum_{j=1}^D \ \Lambda_{ij}^{-1}y_iy_j$
= $\sum_{i=1}^{D} \frac{1}{ \lambda _i}y_i^2$
따라서
위의 결과를 이용하면 공분산은 다음과 같다.
조건부 가우시안 분포 (Conditional Gaussian Distributions)
$D$차원의 확률변수 벡터 $\textbf x$가 가우시안 분포 $N( \textbf x| \boldsymbol {\mu}, \Sigma)$를 따른다고 하자.
$\textbf x$를 두 그룹의 확률변수들로 나누었을 때, 한 그룹이 주어졌을 때 나머지 그룹의 조건부 확률도 가우시안 분포를 따르고, 각 그룹의 주변확률 또한 가우시안 분포를 따른다는 것을 보이고자 한다.
$\textbf x$ 가 다음과 같은 형태를 가진다고 하자.
$\textbf x_a$는 $M$개의 원소를 가진다고 하자. 그리고 평균 벡터와 공분산 행렬은 다음과 같이 주어진다고 하자.
때로는 공분산의 역행렬, 즉 정확도 행렬(precision matrix)을 사용하는 것이 수식을 간편하게 한다.
주의! 두 전체 행렬의 관계는 서로 역행렬이 되는 관계 (그러나 각각의 작은 행렬에 대해서는 성립하지 않음)
즉,
지수부의 이차형식을 위의 파티션을 사용해서 전개해보면
완전제곱식(Completing the Square) 방법
다음과 같은 조건부 확률을 구하고자 한다.
우리가 알고자 하는 것은 $x_b$가 주어졌을 때$x_a$의 조건부 확률
$$
p(\boldsymbol{x_a} \mid \boldsymbol{x_b}) = N(\boldsymbol{x_a} \mid \boldsymbol{\mu_{a \mid b}}, \sum_{a \mid b})
$$
확률밀도함수 $p( \textbf x_a, \textbf x_b)$를 $p( \textbf x_a, \textbf x_b)=g( \textbf x_a)\alpha$로 나타낼 수 있다고 하자.
여기서 $\alpha$는 $\textbf x_a$와 독립적이고 $\int g( \textbf x_a)d \textbf x_a=1$이다.
따라서
$$
\begin{aligned}\int p( \textbf x_a, \textbf x_b)d \textbf x_a &=\int g( \textbf x_a)\alpha;d \textbf x_a\&=\alpha \int g( \textbf x_a) ;d \textbf x_a\&=\alpha\end{aligned}
$$
$$
\alpha=p( \textbf x_b)
$$
$$
p( \textbf x_a, \textbf x_b)=g( \textbf x_a)p( \textbf x_b)
$$
$$
g( \textbf x_a)=p( \textbf x_a| \textbf x_b)
$$
위 과정을 통해 함수 $g( \textbf x_a)$ 를 찾는 것이 목표!
가우시안 분포의 지수부는 다음과 같이 전개된다는 것이 중요한 포인트이다.
=>여기서 상수부 const는 $\textbf x$와 독립된 항들의 모든 것이다. 따라서 어떤 복잡한 함수라도 지수부를 정리했을 때 위의
형태가 된다면 이 함수는 공분산 행렬 $\Sigma$와 평균벡터 $\boldsymbol {\mu}$를 가지는 가우시안 분포임을 알 수 있다. $\textbf x$에 관한 이차항
과 일차항의 계수를 살피면 된다는 것이다.
에서 $\textbf x_a$의 이차항은
따라서 공분산은
이제 평균벡터를 구하기 위해서는 의 일차항을 정리하면 된다.
따라서 $\textbf x_a$ 의 일차항은
$\textbf x_a$ 의 일차항의 계수는 $\Sigma_{a|b}^{-1}\mu_{a|b}$ 이어야 하므로 $\Sigma_{a|b}$ 를 곱하면
주변 가우시안 분포 (Marginal Gaussian Distributions)
다음과 같은 주변분포를 계산하고자 한다.
전략은 다음과 같다
