[Computational Statistics] Linear algebra for the linear models (선형모델해석을 위한 선형대수)

 

---

왜 선형대수를 공부하는 것이  Linear model 들을 이해하는 데 도움이 될까?

이는 Confidence Interval을 구하기 위해서 평균(expectation) 혹은 분산(Variance) 또는 확률들을 구하여야 하는데,

데이터는 vector 혹은 matrices의 형태로 저장이 되기 때문에 이들의 연산을 수행하는 것이 필수적이다.

이번 포스팅은 이러한 Linear model들을 이해하기 위한 기본적인 선형대수들을 복습하는 포스팅이다.

너무 기초적인 내용들은 생략하였다.

---

1. Basics

▶ Dot product (설명 생략)

 

▶ Transposition

$$(\textbf{X}^T)^T = \textbf{X}$$

$$(\textbf{XY})^T = \textbf{Y}^T\textbf{X}^T$$

$\textbf{X}^T = \textbf{X}$이면 $\textbf{X}$는 symmetric 하다

 

▶ Inverse

$\textbf{X}$ 가 Inverse matrix가 존재하는 경우 $\textbf{X}$는 nonsingular 하다

 $$(\textbf{X}^{-1})^{-1} = \textbf{X}$$

$$(\textbf{XY})^{-1} = \textbf{Y}^{-1}\textbf{X}^{-1}$$

$$(\textbf{X}^T)^{-1} = (\textbf{X}^{-1})^T$$

 

이때 $\textbf{X},\textbf{Y},\textbf{XY},\textbf{X}^{-1}, \textbf{X}^T$모두 nonsingular 하다

 

 

2. Orthogonality

 

▶ Orthonomal set

Set of vectors $\{ \textbf{x}_1,\textbf{x}_2, \dots, \textbf{x}_k\}$ 의

모든 두 벡터가 서로 orthogonal 하고

각각의 벡터가 unit length를 가지면

Orthonormal set이라고 한다

 

 

▶ Orthogonal Matrices

Columns 혹은 rows가 orthonormal set을 가지면 orthogonal matrix라고 한다.

Square matrix $\textbf{X}$가 아래와 같은 성질을 가지면 orthogonal 하다.

$$\textbf{X}^T\textbf{X}  = \textbf{I}$$

따라서 $\textbf{X}$가 orthogonal 하면

$$\textbf{X}^{-1} = \textbf{X}^T$$

 

3. Eigenvalues and eigenvectors

 

▶ eigenvalues, eigenvectors 구하는 법 (생략)

 

▶ $\textbf{A}$ 가 symmetric 하면 eigenvalue 들은 모두 실수이고, eigenvector들은 orthogonal 하다

 

▶ $\textbf{A}$와 같은 사이즈를 가진 orthogonal matrix $\textbf{P}$ 에 관하여 

$\textbf{P}^T\textbf{AP}$ 와 $\textbf{A}$의 eigenvalues는 같다

 

▶ Diagonalization

$\textbf{A} \in \mathbb{R}^{k\times k}$ 이면, orthogonal matrix $\textbf{P}$가 존재하며

다음과 같은 성질을 가진다.

 

$$\textbf{P}^T\textbf{AP}=\begin{bmatrix} \lambda_1 & 0 & \cdots & 0 \\ 0 & \lambda_2 & \cdots & 0 \\ \vdots & & \ddots & \vdots \\ 0& 0 & \cdots & \lambda_k \end{bmatrix}$$

 

4. Rank

 

▶ Linear independent (설명 생략)

 

▶ Rank of $\textbf{X}$ $(r(\textbf{X}))$는 Column space of $\textbf{X}$ 의 가장 큰 linearly independent 한 vector의 수를 의미한다

 

 

▶ Rank Properties

$$r(\textbf{X}) = r(\textbf{X}^T) = r(\textbf{X}^t\textbf{X})$$

$\textbf{X} \in \mathbb{R}^{k\times k}$ 인 경우 full rank 이면 $(r(\textbf{X}))$,
$\textbf{X}$는 nonsingular 하다
diagonal matrix의 rank는 nonzero diagonal entries의 수 이다.

 

 

5. Idempotence

▶ $\textbf{A}^2 = \textbf{A}$

 

6. Trace

 

▶ Trace 정의 (생략)

 

▶ Trace properties 

$$c \in \mathbb{R}, tr(c\textbf{X}) = ctr(\textbf{X})$$

$$tr(\textbf{X} \pm \textbf{Y}) = tr(\textbf{X}) \pm tr(\textbf{Y})$$

$$tr(\textbf{XY}) = tr(\textbf{YX})$$

 

7. Quadratic forms

 

▶ Quadratic forms

$$\textbf{A} \in \mathbb{R}^{k\times k}, \textbf{y} \in \mathbb{R}^{k}, q \in \mathbb{R} $$

$$q = \textbf{y}^T A \textbf{y}$$

 

▶ Positive definiteness

$$\textbf{y}^T\textbf{A}\textbf{y} >0,\forall \textbf{y} \neq 0$$

 

▶ eigenvalues 가 모두 양수이면 하면 symmetric matrix $\textbf{A}$는 positive definite하다.

 

▶Vector differentiation

$$z = \textbf{a}^T\textbf{y},\ \  \frac{\partial z}{\partial \textbf{y}} = \textbf{a}$$

$$z = \textbf{y}^T\textbf{y},\ \  \frac{\partial z}{\partial \textbf{y}} = 2\textbf{y}$$

$$z = \textbf{y}^T\textbf{Ay},\ \  \frac{\partial z}{\partial \textbf{y}} = \textbf{Ay} + \textbf{A}^T\textbf{y}$$