[Computational Statistics] Random Vectors (랜덤 벡터)

---

Matrix 안의 elements 들이 단순한 숫자들이 아닌 Random Variable 이라고 생각해보자.

그렇다면 평균과 분산등은 어떤식 으로 표현될까?

이번 포스팅은 Random Vectors 와 Random matrices의 특징등을 기술 하였다.

---

 

1. Expectation (평균)

 

▶ Expectation properties

만약 $\textbf{a}$ 가 constants vector라면 , $\mathbb{E}[\textbf{a}] = \textbf{a}$

만약 $\textbf{a}$ 가 constant vector라면, $\mathbb{E}[\textbf{a}^T\textbf{y}] = \textbf{a}^T\mathbb{E}[\textbf{y}]$

만약 $\textbf{A}$ 가 constant matrix 라면, $\mathbb{E}[\textbf{Ay}] = \textbf{A}\mathbb{E}[\textbf{y}]$

 

 

2.  Variance (분산)

 

우선적으로 a random variable $Y$의 평균을 $\mu$라 할 때 분산을 아래와 같이 적음을 상기시켜보자

$$\mathbb{E}[(Y-\mu)^2]$$

 

Random variable을 element 로 가지는 Random vector $\textbf{y}$ 의 분산 (covariance matrix)은 아래와 같다

$$var\  \textbf{y} =\mathbb{E}[(\textbf{y}-\boldsymbol{\mu})(\textbf{y}-\boldsymbol{\mu})^T]$$  

 

▶Variance properties

$\textbf{y}$ 를 random vector 라 하고, $var\ \textbf{y} = \textbf{V}$ 라 하자.

 

만약 $\textbf{a}$ 가 constant vector라면, $var\ \textbf{a}^T\textbf{y} = \textbf{a}^T\textbf{V}\textbf{a}$

만약 $\textbf{A}$ 가 constance matrix 라면, $var\ \textbf{Ay} = \textbf{AV}\textbf{A}^T$

 

 

3. Multivariate Normal Distribution (MVN)

 

 ▶ linear model을 위한 정의

$\textbf{z} \in \mathbb{R}^{k \times 1}, \textbf{A} \in \mathbb{R}^{n\times k}, \textbf{b} \in \mathbb{R}^{n\times 1}$ 이라고 하자.

  $$\textbf{x} = \textbf{AX} + \textbf{b}$$

을 만족하는 $\textbf{x}$ 는 multivariate normal distribution을 따른다

이때 $\boldsymbol{\mu} = \textbf{b}$, $\boldsymbol{\Sigma} = \textbf{A}\textbf{A}^T$ 라 하면

아래와 같이 표현할 수 있다.

$$x \sim MVN(\boldsymbol{\mu}, \boldsymbol{\Sigma})$$

 

▶Linear combination of MVN 은 MVN 이다.

$\textbf{x} \sim MVN(\boldsymbol{\mu}, \boldsymbol{\Sigma})$ 일 때, 

 

$$\textbf{y} = \textbf{AX} + \textbf{b}$$

 

를 만족하는 $\textbf{y}$ 또한 MVN 을 만족하며 아래와 같다

$\textbf{y} = \textbf{AX} + \textbf{b} \sim  MVN(\textbf{A}\boldsymbol{\mu}+\textbf{b}, \textbf{A}\boldsymbol{\Sigma}\textbf{A}^T)$

 

 

4. Random quadratic forms

▶expectation

$\mathbb{E}[\textbf{y}] = \boldsymbol{\mu}$, $var\ \textbf{y} = \textbf{V}$ 라 하자

$$\mathbb{E}[\textbf{y}^T\textbf{Ay}] = tr(\textbf{AV}) + \boldsymbol{\mu}^T\textbf{A}\boldsymbol{\mu}$$

 

▶noncentral $\chi^2$ distribution

$\textbf{y} \sim MVN(\boldsymbol{\mu}, \textbf{I})$을 만족하는 $k\times 1$ random vector를 생각해보자

 그렇다면 $x = \textbf{y}^T\textbf{y}$ 을 만족하는 $x$는 noncentral $\chi^2$ distribution을 따르고

k degree of freedom 과 noncentrality parameter $\lambda = \frac{1}{2}\boldsymbol{\mu}^T\boldsymbol{\mu}$를 가진다.

$$x\sim \chi^2_{k,\lambda}$$

 

위의 내용을 적용하여 Linear model을 해석하기 위한 corollary를 살펴보자

$\textbf{y} \sim MVN(\textbf{0}, \sigma^2\textbf{I})$ 를 만족하는 $n\times 1$ random vector 와

$n\times n$을 만족하는 $\textbf{A}$가 주어지면 

$\frac{1}{\sigma^2}\textbf{y}^T\textbf{Ay}$는 k degrees of freedom 과 noncentrality parameter $\lambda = \frac{1}{2\sigma^2}\boldsymbol{\mu}^T\textbf{A}\boldsymbol{\mu}$를 가지는 noncentral $\chi^2$ distribution을 가진다.

 

 

▶ $var\ \textbf{y}$가 $\textbf{I}$ 아닌 경우

위의 경우는 random vector 간의 collinearity가 존재하는 경우를 의미하며,

$\textbf{y} \sim MVN(\boldsymbol{\mu}, \textbf{V})$ 이라 하면

$\textbf{y}^T\textbf{Ay}$는 k degree of freedom 과

noncentrality parameter $\lambda = \frac{1}{2}\boldsymbol{\mu}^T\textbf{A}\boldsymbol{\mu}$를 parameter로 포함하는 noncentral $\chi^2$ distribution을 가진다.

이 정의의 필요충분 조건은

$\textbf{AV}$ 가 idempotent 하고 k rank를 가져야한다.