호주에서 살아남기 위한 처절한 몸부림을 기록하는 블로그

Estimator 의 efficiency 를 설명할 때 필요한 Fisher Information 에 대한 내용을 다룬 포스팅이다. 1. Motivation parameter estimation problem을 푸는 과정에서 우리는 sample 데이터를 이용한 정보를 활용하게 된다. 그렇다면 알지 못하는 parameter에 대하여 sample data는 얼마나 많은 정보를 제공할 수 있는가? 에 대한 질문을 해볼 수 있다. random variable $X\sim f(x|\theta)$ 에 관하여 만약 $\theta$ 가 true value 인 경우, log-likelihood의 파라이터에 관한 1차 미분은 0 에 근접한다. (기본적인 Maximum likelihood estimation 하는 방법이다.)..

지난번 포스팅인 선형모델을 통하여 Least square estimator $\textbf{b}$를 구해보고 이것의 평균과 분산을 알아보는 시간을 가졌다. 이번시간에는 더 나아가 interval estimation을 하는 방법들을 살펴보자 아직까지는 Full rank model 만을 생각한다. 우선 지난번 포스팅을 통해 확인하였던 $\textbf{b}$의 평균과 분산을 다시 상기 시켜보자 $$\mathbb{E}[\textbf{b}] = \boldsymbol{\beta}$$ $$Var\ \textbf{b} = \left ( \textbf{X}^T \textbf{X} \right )^{-1} \sigma^2$$ 하지만 우리는 보통 $\sigma$에 대한 정보를 모르기 때문에 $\sigma$를 estimati..

지난 포스팅에서 다룬 랜덤벡터들의 성질을 이용하여 선형 모델의 Matrix form을 나타내보고, parameter들을 fitting하는 방법인 method of least squsres를 살펴보고자 한다. 1. Full rank linear model full rank 모델은 design matrix $X$ 즉 데이터 들이 담겨있는 matrix $\textbf{X}$ 가 full rank를 가짐을 의미한다 $$r(\textbf{X}) = k+1$$ 이는 다른말로 $\textbf{X}^T\textbf{X}$가 invertible 하다는 의미이다. 2. Model assumption $$\textbf{y} = \textbf{X}\boldsymbol{\beta} + \boldsymbol{\epsilon}$$..

Matrix 안의 elements 들이 단순한 숫자들이 아닌 Random Variable 이라고 생각해보자. 그렇다면 평균과 분산등은 어떤식 으로 표현될까? 이번 포스팅은 Random Vectors 와 Random matrices의 특징등을 기술 하였다. 1. Expectation (평균) ▶ Expectation properties 만약 $\textbf{a}$ 가 constants vector라면 , $\mathbb{E}[\textbf{a}] = \textbf{a}$ 만약 $\textbf{a}$ 가 constant vector라면, $\mathbb{E}[\textbf{a}^T\textbf{y}] = \textbf{a}^T\mathbb{E}[\textbf{y}]$ 만약 $\textbf{A}$ 가 cons..

왜 선형대수를 공부하는 것이 Linear model 들을 이해하는 데 도움이 될까? 이는 Confidence Interval을 구하기 위해서 평균(expectation) 혹은 분산(Variance) 또는 확률들을 구하여야 하는데, 데이터는 vector 혹은 matrices의 형태로 저장이 되기 때문에 이들의 연산을 수행하는 것이 필수적이다. 이번 포스팅은 이러한 Linear model들을 이해하기 위한 기본적인 선형대수들을 복습하는 포스팅이다. 너무 기초적인 내용들은 생략하였다. 1. Basics ▶ Dot product (설명 생략) ▶ Transposition $$(\textbf{X}^T)^T = \textbf{X}$$ $$(\textbf{XY})^T = \textbf{Y}^T\textbf{X}^T$..

수치적인 방법을 이용하여 적분을 수행하는 과정에 대한 포스팅이다. 'Numerical Methods and Optimizaiton : An Introduction (Sergiy Butenko)' - chapter 6 를 참고하였다 본 포스팅은 polynomial interpolation 학습을 가정한다. 생소하다면 아래의 포스팅을 참고하자 2021.07.06 - [[컴퓨터] 전산생물학/Modeling & Simulation] - [Numerical Analysis] Polynomial Interpolation [Numerical Analysis] Polynomial Interpolation $(x,f(x))$ 의 데이터를 가지고 $f(x)$를 approximation 하는 방법에 대하여 기술한 포스팅이다..

$(x,f(x))$ 의 데이터를 가지고 $f(x)$를 approximation 하는 방법에 대하여 기술한 포스팅이다 'Numerical Methods and Optimizaiton : An Introduction (Sergiy Butenko)' - chapter 5 를 참고하였다 많은 Engineering 과 Science 에서 요구되는 문제들은 주어진 데이터들을 이용하여 함수 $f(x)$를 알아내는 방법들이 요구된다. 이러한 문제들을 Polynomical approximation을 통해 해결하고자 한다. 1. Polynomial 의 함수의 형태 1.1 power form $$p(x) = a_0 + a_1x+a_2x^2 + \dots +a_nx^n$$ 1.2 shifted power form (with ..

Nonlinear systems 의 해를 구하는 방법에 대하여 기술한 포스팅이다. 'Numerical Methods and Optimizaiton : An Introduction (Sergiy Butenko)' - chapter 4 를 참고하였다 이 포스팅은 이전 포스팅인 Solving Equation, Root Finding method에 이어지는 내용이므로 잘 이해가 가지 않으신다면 아래의 포스팅을 참고하길 바란다. 2021.07.02 - [[컴퓨터] 전산생물학/Modeling & Simulation] - [Numerical Analysis] Solving Equations, Root Finding Method [Numerical Analysis] Solving Equations, Root Findi..

식의 해를 구하는 방법에 대하여 기술한 포스팅이다. 'Numerical Methods and Optimizaiton : An Introduction (Sergiy Butenko)' - chapter 4 를 참고하였다 1. Fixed Point Method 만약 root를 찾고 싶은 식 $F(x)$ 를 다음과 같이 표현해보자 $$F(x)= 0$$ 위의 식은 다음과 같이 $f(x)$ 로 바꾸어 해를 구하면 iterative 한 방법으로 구할 수 있다 $$f(x) = x - \alpha F(x)\ \alpha \neq 0 $$ 이때 $f(x)$ 가 $x$ 와 같아지는 $x^*$를 찾는다면 자연스럽게 $$f(x^*) = x^* - \alpha F(x^*)\\ 0 = - \alpha F(x^*)$$ 와 같아짐을 ..