2018-1학기(7주차) 일상

목요일날 대수1 중간고사를 보고, 시험을 보자마자 금융수학 과제 시작해서 다음날 겨우 시간 맞춰 냈다. 수업 내용에는 그냥 간단하게 설명하고 지나간 부분을 과제에서 너무 애를 먹었다. 특히 Conditional Expectation은 뭐 어떻게 써야하는 건지... 

정의를 보고 다른 교과서나 인터넷 검색을 몇 시간을 했는데도 큰 힌트를 못 얻고 결국 이러면 되지 않을까 싶은 답안으로 냈다. ㄷㄷ

사실 시간관리가 조금 아쉬운 점이 많았어서, 조금 많이 비효율적이었던 것 같다. 3일 내내 2~3시간만 자면서... 핸드폰만 조금 덜 봤어도 공부 시간도 늘리고 자는 시간도 늘릴 수 있었을텐데.

1. 평범한 경제학부생에겐 너무 버거운 수학 공부량(... 교과서나 강의 노트 한번 겨우 훑을 때쯤이면 퀴즈고, 중간고사다.)
1.1. 그렇지만 내용 자체(Duality나 polyhedra, Order topology, Brownian motion 등, 근데 대수에서는 딱히 흥미로운 부분이 없긴 하다. 뭐 너무 관심도 재미도 없어서 죽겠다 이건 아니고)는 유익하고 듣길 잘했다는 생각이 든다.
1.2. 학점이 어떻게 나올지는... 겨우 평균이나 중간값 넘기면서 근근이 버티고 있다

2. 적당한 수준의 RA 과제(거의 막바지이다. 사용하였던 코드로 패키지 만드는 작업 시작 예정)
2.1. 교수님이 훌륭한 연구자이신 거야 말할 것도 없고, 정말 좋은 사람이신 것 같다. 배려를 많이 해주신다.
2.2. 무엇보다도 공부의 유인을 제공한달까. lasso를 접하고나니 sparsity라던가, 최적화 알고리즘이라던가 등등에 관심이 가고, 이를 위해서 수학 공부 의욕도 높아지는 것 같다.

3. 봄이라 그런가 내 마음에 설렘이 찾아왔다.
3.1. 작년부터 워낙 친하게 지내던 애가 있었는데, 최근 연인이랑 헤어졌다는 얘기를 직접 듣고나니 마음이 조금 움직이는 걸 느꼈다.
3.2. 그 외에 그린 라이트(!?)인가 하는 생각이 들 정도로 서로 이런저런 호의적인 행동과 말...을 주고받았지만
3.3. 이게 그냥 이성으로서가 아닌 친한 친구로서 그러는 것은 아닐까 하는 불안감도 있다.



표범: 어떻게 두꺼비를 삼킬 것인가 일상

시칠리아의 특징적인 사건이나 현상은 몽땅 꿈의 실현입니다. 난폭한 사람은 자잘한 즐거움은 잊어버리고 총을 쏘고 칼을 휘두릅니다. 그것은 죽음에 대한 갈망입니다. 행동하지 않은 채 관능의 환희를 맛보려는 사람 또한 죽음을 바라고 있습니다. 죽음의 구체적인 현상이 우리의 태만이고 샐서피와 계피가 들어간 셔벗입니다.


2018-1학기 (6주차) 일상

점점 블로그가 개판..이 되간다. 앱으로 볼 때랑 모바일 페이지로 볼때랑 PC로 볼 때 모두 달라서, 뭐 사실 수식 많아봤자 가독성만 떨어지니 스터디 게시물 방향을 수식을 적게쓰고 설명을 늘리는 방향으로 바꿔나가야 할 듯.

어느덧 다음 주부터 그 다음 주까지 굵직한 과목들 중간고사가 있어서, 다음 스터디 게시물은 2주 후에 올리지 않을까 싶다. 개인적으로 흥미가 가는 소재이고(Random/limited attention,  rational inattention 등 부터 random behavior/utility/preference 등 막 읽기 시작하고 있는 중이다.)

그거 말고도 Machine Learning에도 관심이 가기 시작했는데 RA로 했던 lasso부터, Neural network 등등. 사실 많은 계량경제학자들이 이런 것들에 관심을 가지고 나름대로 프론티어에서 활발한 연구를 해왔고, 하고 있다. 다만 경제학과 사람들이 보기엔 계량경제학자들이 위기 상황(왠지는 모르겠는데 다들 그렇게 말한다...)에서 숟가락 얹는걸로 보이기도 하는 듯. 이와 관련하여 최근 머신러닝과 관련한 계량부심(...)을 높여줄 수 있는 ppt 자료를 업로드 했다. 근데 ppt라니, 흠.

요약하자면 사전지식(priori)이 없는 ML의 발전은 한계에 부딪힐 수 밖에 없다는 점, 많은 topic들이 데이터 사이언스에서 온 거 같지만 사실 이전부터 계량경제학자들의 연구대상이었다는 점(특히 theory측면에서) 등등. 물론 계량 학문의 패러다임(예를 들면 Cowles paradigm)이 모두 긍정적인 것만은 아니지만. 이를 나중에 다뤄볼 수 있었으면 좋겠다.
EconometricsMachineLearning.pptx

공부 외에는 댄스 스포츠 동아리 1주일에 1번씩 나가서 연습하고, 새로운 사람들이랑도 어울리고. 표범이라는 이탈리아 소설도 읽고있는데 재미있다. 이태리 통일이 이뤄지던 시대의 시칠리아가 배경인데, 조금은 어두운 하지만 오늘날까지 시칠리아가 가난하다는 걸 생각하면 뼈가 있는 내용도 담겨있다. 연애는 못하고 있다. 이러다 평생 혼자 살지도ㅋ 공부는 그럭저럭... 사실 따라가기 힘든 게 현실이긴 하다.



미시계량을 위한 스터디 프로젝트 (1) 스터디



사실 대학생(학부생)인 내가 스스로 공부를 한다는 것은 쉬운일이 아니다. 학기중에는 중간 기말고사와 수업에 치이고, 수학적인 백그라운드도 부족해서 논문에 나온 Proof조차 읽기 힘든 게 현실이지만, 그럼에도 해보면 좋겠다고 느껴서 주제를 잡고 학교 공부랑은 좀 동떨어지지만 깊이 공부를 하려고 한다. 관심분야는 미시계량, 특히 소비자 선택과 관련한 계량경제학적 모델링이다. 아마 통계학에서는 Statistical Decision/Choice model 등등으로 부르는 것 같다. 일단 logit에 대한 이해에서 부터 시작하고자 한다.

What is logit model : better than LPM, Prob \( \in\) [0,1] should hold.
$$odds_{i} = \frac{\pi_{i}}{1-\pi_{i}} $$ may be ratio of favorable to unfavorable cases
$$ \eta_{i} = logit(\pi_{i})=log \frac{\pi}{1-\pi} $$: maps from (0,1) to \((-\inf,+\inf) \), (note: \(\frac{1}{2}\) to zero)
$$ \pi_{i} = logit^{-1}(\eta_{i}) = \frac{e^{\eta_{i}}}{1+e^{\eta_{i}}} $$ $$ Y_{i} \sim B(n_{i},\pi_{i}), \; n_{i}=1 \\ $$ $$\bigstar \; logit(\pi_{i}) = X_{i}' \beta $$ $$ \pi_{i} = \frac{exp(X_{i}'\beta)}{1+exp(X_{i}'\beta)} \\ \frac{d\pi_{i}}{dx_{ij}}= \beta_{j}\pi_{i}(1-\pi_{i})$$

Estimation : MLE
$$log L(\beta) = \sum {y_{i} log \pi_{i} + (\eta_{i}-y_{i})log(1-\pi_{i})}$$
** Fisher scoring method **
  Score function related to sensitivity of \( f(y| \theta )\). \( f(y| \theta )\) is i.i.d. and twice differentiable
$$ u(\theta) = \frac{\partial}{\partial \theta} log f(y| \theta) = \frac{1}{f(y| \theta )}\frac{\partial}{\partial \theta}f(y| \theta ) $$
Recall Taylor expansion of the score function, \( V(\theta) \) about \( \theta_{0} \)
$$ V(\theta) \simeq V(\theta_{0}) - \mathcal{J}(\theta_{0})(\theta - \theta_{0}) \\ \mathcal{J}(\theta_{0}) = -\sum_{i=1}^{n} \triangledown \triangledown^{T}|_{\theta=\theta_{0}} log f(Y_{i}|\theta)$$
\(\mathcal{J}(\theta_{0})\) is observed info at \(\theta_{0}\). Set \( \theta = \theta^{*}, V(\theta^{*})=0 \)
$$\theta^{*} \approx \theta_{0} + \mathcal{J}^{-1}(\theta_{0})V(\theta_{0})\\ \theta_{m+1}=\theta_{m} + \mathcal{J}^{-1}(\theta_{m})V(\theta_{m})$$ under certain regularity condition.
Replace \(\mathcal{J}(\theta_{0})\) to Fisher information \( \mathcal{I}(\theta_{0})\)
Why is it called information? : It would be easier to get true \( \theta \) with large likelihood function's variance...
$$E[\frac{\partial}{\partial \theta} log f(X|\theta)|\theta] = \int \frac{\frac{\partial}{\partial \theta}f(x|\theta)}{f(x|\theta)}\cdot f(x|\theta)dx =\frac{\partial}{\partial \theta}\int f(x|\theta)dx = \frac{\partial}{\partial \theta}1 = 0$$ $$\mathcal{I}(\theta) = E[(\frac{\partial}{\partial \theta}log f(x|\theta))^{2}|\theta] = \int (\frac{\partial}{\partial \theta}log f(x|\theta))^{2} f(x|\theta) dx$$
\( claim) \;\; \mathcal{I}(\theta) = -E[\frac{\partial^{2}}{\partial\theta^{2}}log f(x|\theta) | \theta] \) $$ \because \frac{\partial^{2}}{\partial\theta^{2}}log f(x|\theta) = \frac{\frac{\partial^{2}}{\partial\theta^{2}} f(x|\theta)}{f(x|\theta)}-(\frac{\frac{\partial}{\partial \theta} f(x|\theta)}{f(x|\theta)})^{2} = \frac{\frac{\partial^{2}}{\partial\theta^{2}} f(x|\theta)}{f(x|\theta)} - (\frac{\partial}{\partial \theta}log f(x|\theta) )^{2}$$ $$ and \;\; E\begin{bmatrix}\frac{\frac{\partial^{2}}{\partial\theta^{2}} f(x|\theta)}{f(x|\theta)}|\theta\end{bmatrix} = \frac{\partial^{2}}{\partial\theta^{2}}\int f(x|\theta)dx = 0 \square $$
Therefore, Fisher info can be seen as the curvature of the "support curve" of the log-likelihood function!.
The Fisher scoring method is equivalent to IRLS : iteratively reweightd least square.
note) We usually can not obtain exact solution by \( \triangledown_{\beta}l(\beta|y)=0 \), because of transcendental equation -> no closed form sol!

2018-1학기 (1-5주차) 일상


지난 글을 3월 11일에 썼으니 뭔가 굉장히 오래된 느낌이기도 하고 아니기도 하다.

확실히 이번 학기에는 작년보다 도서관에 머무른 절대적인 시간이 줄어든 것 같다. 물론 사람이 과거의 자신을 과대평가하는 경향이 있기도해서 정확한 건 아니지만.

이번 학기 수강과목들은 그럭저럭 만족하는 편이다. 나의 전공인 경제학 수업을 안듣고 수학 관련 수업만 듣고있지만, 어차피 대학원 유학 준비하는 사람들은 다들 수학 많이 들어야 한다고도 하고 또 본인도 이런저런 Topic을 접하는 것보다는 공부(연구) 역량의 기초를 다지는 데 더 관심이 있기 때문에 그렇다.

수학으로 추상대수와 위상수학을 듣는데 다음 학기에는 교환학생을 가느라 통년 수업을 전부 듣지 못한다는 것이 아쉬운 점이다. 그래도 반만 듣는 것도 안 배우는 것보다야 좋고, 아직 학부가 1년 더 남았으니 내년에라도 들을 수 있을지도. 물론 정 필요하면 혼자 공부하게 될 것이고.

그 외에 LP수업과 금융수학 수업을 듣는데, 뭐 그럭저럭... 유용성이 높은 과목이니까. 사실 금융수학 수업은 Ito's formula나 Brownian motion 등에 관심이 있어서 듣는 건데, 실제로 기초를 다진다기 보다는 이런게 있구나 정도인 수업이 될 것 같다. Measure나 PDE에 대한 지식이 너무 부족하기 때문.

수학 수업에 관해 조금만 더 얘기하자면 지금까지 선형대수와 해석개론(1년)을 들었고,
이번학기에 부전공 필수인 대수1과 관심 있는 위상1 듣고있다.
다음학기에는 교환학생 가서 수치해석이나 실해석 듣고 싶었는데, 학부과목이 없어서(!...) 못듣게 되었다. 가서 Royden이나 열심히 공부해야지.
보통 경제 대학원 유학, 특히 계량 필드를 생각한다면 실해석(수학과 1학년 대학원 과목으로도 많이 듣는다) 정도까지는 듣고 함수해석(대수,위상,실해석 등의 지식이 필요하다고 한다)도 공부하면 좋다고 한다. 그 외에 Numerical 과목이나 Optimization 관련 과목도 공부해야하고...

공부 외적으로나, RA, 학교 활동 이런 저런 느낀점도 5주동안 많았던 것 같은데 나중에 천천히 글 써보도록 해야겠다. 시간이 빠른 것 같다


1 2 3 4


MathJax