2018-여름 1~2주차 일상

수리통계학 계절학기를 듣는다. 범위는 다변수, 분포, 극한까지 나간다고 한다. 1년짜리 수업의 반이다.
배우는 내용은 유익하고 계산 트레이닝이 많이 되는 거 같다.
그렇지만 조금 마음이 지치는 시점인거 같긴하다. 마인드 컨트롤을 잘해야지. 요즘은 당장 가족들은 별로 도움이 되는 것 같지는 않다. 내가 예민하게 군 것도 있고, 가치관 차이, 옳고 그름의 기준도 다르니... 너무 부딪치고 앙금을 쌓기보다는 거리를 두는 게 나을지도.
+Mathjax가 이글루에선 생각보다 불편하다 자꾸 되다 안 되다... HTML로 글 쓰는것도. 예쁘지도 않다. 구글블로그가 나았으려나

미시계량을 위한 스터디 프로젝트 (2) 스터디

이번에는 Binomial이 포함되는 GLM 기본 모형, parameter estimation, 그리고 Newton-Rhapson 기본 idea를 다룹니다.
McCullagh and Nelder(1989) GLM Book 교재의 Chapter 4, logit 모형 부분을 MLE에 관해서 주로 참고하였습니다.(책이 굉장히 좋습니다)
아마 다음에 Newton-Rhapson과 Inference 등을 조금 더 자세하게 다룰 듯 합니다.

Review) Simple example for Fisher Score
$$\sum\{y_{i} log\theta + (1-y_{i})log(1-\theta)\} = L(\theta|y)$$
$$ V(\theta) =\sum(\frac{y_{i}}{\theta}-\frac{(1-y_{i})}{(1-\theta)}) = \sum \frac{y_{i}-\theta}{\theta(1-\theta)}$$
$$V(\hat{\theta})=\sum \frac{y_{i}-\hat{\theta}}{\hat{\theta}(1-\hat{\theta})}=0\Rightarrow \hat{\theta}=\frac{1}{n}\sum y_{i}$$
$$\mathcal{I}(\theta)=-E[\frac{\partial V(\theta)}{\partial \theta}]=\sum \frac{\theta(1-\theta)+(y_{i}-\theta)(1-2\theta)}{\theta^{2}(1-\theta)^{2}}=\sum[\frac{1}{\theta(1-\theta)}+\frac{(y_{i}-\theta)(1-2\theta)}{\theta^{2}(1-\theta)^{2}}]$$
In our example \(\theta\) , precisely \(\pi_{i}\) depends on \(\beta\), where
$$\pi_{i} = \frac{exp(X_{i}'\beta)}{1+exp(X_{i}'\beta)}$$

The following is about minimizing weighted-squared errors
$$\|We\|_{2}^{2} = e'W'We$$
$$W=diag(w_{1},w_{2}, ...,w_{n}):diagonal \;matrix$$
$$We=W(Ax-b)$$
$$obj=\|We\|_{2}^{2} =x'A'W'WAx-2b'W'WAx+b'W'Wb'$$
$$\frac{\partial}{\partial x} obj=2A'W'WAx-2b'W'WA=0$$
$$\hat{x}=(A'W'WA)^{-1}A'W'Wb$$

General Linear Model by Nelder and Wedderburn(1972)
$$Y_{i} \sim N(\mu_{i},\sigma^{2})$$
$$\eta_{i} = X_{i}'\beta $$
Link function : \(\eta_{i}=g(\mu_{i})\)
our example : \(g(\pi_{i})=\theta_{i}=\sum_{j}x_{ij}\beta_{j}\)

Exponential family : 
\(a, b, c\) - knorwn functions, \(\theta, \phi \) - parameters
$$f(y_{i}) = exp\{ \frac{y_{i}\theta_{i}-b(\theta_{i})}{a_{i}(\phi)} +c(y_{i},\phi)\} $$
e.g. Normal, Poisson, exponential, gamma, inverse Gauss, binomial...
$$a_{i}(\phi)=\phi/p_{i}$$
\(p_{i}\) : known prior weight, usually 1
$$E(Y_{i}) = \mu_{i} = b'(\theta_{i})$$
$$Var(Y_{i}) = \sigma^{2}_{i} = b''(\theta_{i})a_{i}(\phi)$$
Hint: \(\int f(y;\theta)dy=1,\; \frac{d}{d\theta}\int f(y;\theta)dy=0 \rightarrow \int\frac{d}{d\theta}f(y;\theta)dy=0 \)
\(V \equiv b''(\theta_{i})\): Variance function

See the Binomial distribution
$$f_{i}(y_{i}) = \binom{n_{i}}{y_{i}}\pi_{i}^{y_{i}}(1-\pi_{i})^{n_{i}-y_{i}}$$
$$log f_{i}(y_{i}) = y_{i} log(\frac{\pi_{i}}{1-\pi_{i}}) + n_{i}log(1-\pi_{i}) + log \binom{n_{i}}{y_{i}}$$
$$\theta_{i} = log(\frac{\pi_{i}}{1-\pi_{i}})$$
$$b(\theta_{i}) = n_{i} log(1+e^{\theta_{i}})$$
$$c(y_{i},\phi)=log\binom{n_{i}}{y_{i}}$$
Parameter estimation
$$l(\beta;y)= \sum_{i}\sum_{j}y_{i}x_{ij}\beta_{j}- \sum_{i}n_{i}log(1+exp(\sum_{j}x_{ij}\beta_{j}))$$
$$\frac{\partial l}{\partial \pi_{i}}=\frac{y_{i}-n_{i}\pi_{i}}{\pi_{i}(1-\pi_{i})}, \; \frac{\partial l}{\partial \beta_{r}} = \sum^{n}_{i=1} \frac{y_{i}-n_{i}\pi_{i}}{\pi_{i}(1-\pi_{i})} \frac{\partial \pi_{i}}{\partial \beta_{r}}$$
$$\frac{\partial \pi_{i}}{\partial \beta_{r}} = \frac{d\pi_{i}}{d\theta_{i}} \frac{\partial \theta_{i}}{\partial \beta_{r}} = \frac{d\pi_{i}}{d\theta_{i}} x_{ir} $$
$$\frac{\partial l}{\partial\beta_{r}} = \sum^{n}_{i=1} \frac{y_{i}-n_{i}\pi_{i}}{\pi_{i}(1-\pi_{i})}\frac{d\pi_{i}}{d\theta_{i}} x_{ir} \equiv 0 $$
$$ \partial l / \partial \beta= X'(y-\mu) $$
define working dependent variable
$$z_{i} = \hat{\theta_{i}} + (y_{i}-\mu_{i})\frac{1}{n_{i}}\frac{d\theta_{i}}{d\pi_{i}}$$
$$= \hat{\theta_{i}} + \frac{y_{i}-\mu_{i}}{n_{i}\pi_{i}(1-\pi_{i})}$$
$$Z=X\hat{\beta}+W^{-1}(y-\mu)$$
$$X'WZ=X'WX\hat{\beta}+X'(y-\mu)=X'WX\hat{\beta}$$
$$\hat{\beta} = (X'WX)^{-1}X'WZ$$
But we don't know \(\mu_{i}\) and \(\pi_{i}\) exactly
So we can get only the revised estimate \(\beta_{1}\) from initial value \(\beta_{0}, \pi_{0}\)...
fisher info
$$-E(\frac{\partial^{2} l}{\partial \beta_{r}\partial \beta_{s}}) = \sum_{i} \frac{n_{i}}{\pi_{i}(1-\pi_{i})} \frac{\partial\pi_{i}}{\partial\beta_{r}}\frac{\partial\pi_{i}}{\partial\beta_{s}} = \sum_{i}n_{i} \frac{(d\pi_{i}/d\theta_{i})^{2}}{\pi_{i}(1-\pi_{i})}x_{ir}x_{is}$$
$$=\{X'WX \}_{rs} $$
$$\frac{d\pi_{i}}{d\theta_{i}}=...=\pi_{i}(1-\pi_{i})$$
$$W=diag(n_{i}\pi_{i}(1-\pi_{i}))$$
(Newton Rhapson)
\(\hat{\theta}_{0}\): current estimate of linear predictor
\(\hat{\mu}_{0}\): obtained using \(\theta=g(\pi)\)
$$z_{0}=\hat{\theta}_{0}+(y-\hat{\mu}_{0})(\frac{d\theta}{d\mu})_{0}$$
$$W^{-1}_{0}=(\frac{d\theta}{d\mu})_{0}^{2}V_{0}$$
regress\(z_{0}\) on \(x_{1},...,x_{p}\) with weight \(w_{0}\)
then \(\hat{\beta}_{1}\)  and \(\hat{\theta}_{1}\) obtained.
(note) \(z\) is just a linearized form of link function to first order
$$g(y)\simeq g(\mu)+(y-\mu)g'(\mu)$$

2018-1학기(13-15주차)

종강했다...

아무것도 안하고 싶다!

사실 후회도 많이 남고 더 잘할 수 있었을텐데 하는 생각이 강하게 든다

2018-1학기(11-12주차) 일상

preface : 
  정말 너무 시간이 없었다기 보다는, 이래저래 집중을 못하고 시간을 보냈다.
  일상적인 공부에 치이다 보니 원래 꿈꾸던 것, 가지고 있던 목표나 마음가짐이 흐릿해지는 듯하다.
  내가 상상하던 나의 모습과 현실은 너무나 다르다

벌써 3주면 모든 기말고사가 끝나고 종강을 한다는 게 믿기지가 않는다. 사실 이번 학기에 위상수학을 망치면서 굉장히 우울했지만,

또 사귄지 얼마 되지는 않았지만 여자친구 덕분에 행복하게 지내기도 했다. 학교 밖에 나가서 한 것이 많지는 않지만, 같이 카페에서 앉아서 서로 보고만 있어도 기분이 좋아지고, 시간 가는 줄 모르겠다. 애교도 엄청 많고 머리속으로 상상만 해도 너무 사랑스럽다.

또 어수룩한 나를 아직까지는 짜증나게 보지 않고, 귀엽게 본다는 게 다행이다...

LP&NLP 수업에서는 NLP부분을 가르치기 시작했고, 조금 더 일반적인 Convex Programming 입문 정도의 내용을 다루고 있다.
본인도 관심있는 주제이고 해서 사실 내년에 CP(산공과 대학원 수업)을 청강으로라도 듣고 싶지만... 현실적으로 내가 다른 과목들과 병행할 수 있을지는 모르겠다. 계량이나 통계공부할 때 알아두면 좋은 유용한 분야라서 욕심은 난다.

일단 실해석이랑 위상을 재수강 할테고, 또 교환다녀오느라 손해보는 학점(우리학교가 학점 인정에 유난히 박하다) 메꾸기 위해 18학점을 꽉꽉 채워서 들어야 하니.

그 외에 현대대수학도 전공필수인 만큼 잘 마무리 해야겠고, 금융수학도 A를 받으려면 긴장하고 과제를 제출하고, 타이트하게 시험 공부해야 한다.

여름계절학기에 수리통계를 듣기로 했는데, 잘한 선택인지는 모르겠다. 어차피 들으면 좋은 과목이긴 한데, 너무 바빠질 거 같은 느낌.

뭐 그래도 교환학기에는 시간이 많을테니 그 때 차분하게 쌓여있는 것들을 공부하면 되지 않을까 기대하고 살아가기로.






2018-1학기(10주차) 일상

다음주에 퀴즈와 중간고사가 있다 .. :/
이토적분과 브라운 운동이 무엇인지에 대한 윤곽이 보이기 시작한다. 좋긴 하지만 당장 시험이 발 등 위에 떨어진 불이다.
RA pckg roxygen2로 만들어보고 있는 중이다. 생각보다 손이 많이 가긴 하는데 확실히 합리적이고 앞으로 하게 될 프로젝트를 생각할 때 더 효율적이긴 하다.
연애하는 게 점점 현실로 다가오기 시작했다. 사실 그 친구가 생각보다 예전부터 나를 좋아했다는 점이... 신기하고 어안이 벙벙하고, 꿈만 같다. 나로서는 설마설마하다가 말을 끄내게 된 거지만. 너무 귀엽고 애교많은 성격이고, 나랑 관심사도 비슷하다. 실제로 누구나 한 번쯤 눈길이 가는 그런 친구였다. 화려하진 않지만 사랑스런. 게다가 CC라서 자주 볼 수 있는 점도 좋다.
여자친구가 말하길 내가 말을 잘 들어주는 것이 좋다고 한다. 다시 반복해서 듣고 이야기하고 그런 점이. 자상한 점도 좋다고 하고, 외모는 눈이 특히 좋다고 한다.

1 2 3 4 5


MathJax