Derek 의 데이터 분석 성장기

기억은 단순 재생이 아니라, 재창조이기 때문이다.    #1. 하나 하나는 나에게 꽃이다. 꽃을 좋아했던 그 친구를 위해 나는 기념일마다 항상 꽃을 챙겼다. 기념일을 챙기는 것을 좋아하는 나였고, 그녀는 기념일보다 특별하지 않는 날에 받는 꽃을 더 좋아하던 친구였다. 우리의 시작은 노란 프리지아였고, 플립의 자아를 찾아가는 노란색 색채처럼 나 또한 나 자신을 알아가는 아름다운 시간이었다.하나라는 인물이 나온 시점부터 이 책은 나에게 그래픽 노블이 아닌 기억을 재생하고 재창조하는 순간으로 다가왔다. 선과 형, 폰트와 색깔의 구별처럼 우리는 달랐고 아름다웠다. 특히, 아스테리오스 플립이 "발바닥에 물집이 잡혔는데" 라는 읊조와 함께 시작되는 그림의 재생은 나 또한 나의 쌍둥이 형제 기억으로 플립(Flip) ..

해당 글의 내용과 코드는 모두 실무로 통화는 인과추론을 참고하였습니다.1. 개요A/B Test 이외의 인과추정 효과를 위한 편향 제거 방법에는 선형회귀 분석, 성향점수 가중치가 존재한다. 특히, 회귀분석은 단순 통계 혹은 머신러닝 그 이상으로, 인과추론의 핵심으로서도 가장 많이 이용된다고 한다. 이는 DID(이중차분법), 이원고정효과(TWFE), 이중/편향 제거(dobule/debiased), 그리고 도구변수나 불연속 설계등에서도 사용된다. 그리고, 처치가 무적위 배정된 것처럼 이전에 배운 보정 공식을 활용(=X 를 다른 변수로 활용하는 것) 예를 들어, 대출 금액에 따른 채무 불이행을 파악하고 싶을때, 다른 변수 X(신용한도) 를 활용한다고 할때, 연속형 변수이기 때문에 이는 그룹화 하기 어려운 문제로..

해당 내용은 실무로 통하는 인과추론을 참고, 정리하였음을 밝힙니다. 0. 그래프 인과모델그래프 모델은 인과추론 문제를 구조화하여, 식별 가정을 명쾌하고 시각적으로 표현하는 방법입니다. 1장에서 했던 인과추론 방법 (데이터로 매개변수를 추정하지 않고) 그래프로 식별을 하는 법을 알 수 있습니다. 흔히 식별을 방해하는 편향의 원인 두 가지와 인과 그래프 구조를 바탕으로 인과추론을 할 수 있는 법을 배울 수 있습니다.  구조적 인과모델(Structual causal Model) = SCM 이라는 용어로 인과추론을 공부하는 사람들은 그래프 인과모델 용어를 사용합니다. 이는 인과방정식(causal equation)으로 구성됩니다.  1. 인과관계 시각화  이 사례에서 T가 무작위로 배정되었을시, 처치는 잠재적 결..

0. 내용 이전 강의에서 수학적 해석학이 왜 중요한지에 대해 배웠다. 그렇다면, 실제 언어를 수식적으로 분해하면 어떻게 표현할까? 여기에는 함의(Implcation) 혹은 정의(=>) 라고 부르는 방법이 적용된다. 예를 들어, 강아지(Dog)는 동물(animal)이다. 는 Dog => Animal 이라고 정의하는 것 처럼 말이다. 그리고, 이를 부정(Negation) 할수 있는데, NOT [Dog ^ Animal] 등으로 표현할 수도 있는 것 이다. 해당 강의에서는 언어를 수학적으로 해석하는 방법으로서 함의와 동등 그리고 부정 등에 대해서 배울 수 있었다. 1. 함의(Implication) 수학에서 흔히 함의한다. 라는 단어를 볼 수 있는데, Implication Involes causaility 을 의..

해당 글은 모두 실무로 통하는 인과추론을 기반으로 작성 및 참고하였습니다.  2-1. 무작위 배정으로 독립성 확보 1장에서는 인과관계와 인과추론이 무엇인지에 대해 배웠습니다. 2장에서는 무작위 실험이 인과추론의 가장 중요한 표준이라고 설명합니다. 그 이유는, 1장에서 배웠던 선택편향을 무작위 배정으로 독립성을 확보할 수 있다고 말하고 있습니다. E[Y | T = 1] - E[Y | T = 0] = E[Y_1 - Y_0 | T=1] + {E[Y_0 | T = 1] - E[Y_0 | T = 0]}  위 공식의 bold는 (ATT + 편향) 으로 표현하고 있습니다. 이 말은, 인과관계와 연관관계가 같기 위해선 두 가지 요소 att + 편향의 합이다 라고 설명하고 있습니다. 따라서 편향이 0 이면 이 둘은 같다..

0. 계기데이터 및 AI를 업으로 삼고 있지만 수학은 나에게 항상 어렵다. 중고등학교 수학을 피해 문과로 도망 갔으나 데이터와 통계 매력에 빠져 데이터 분석 및 과학을 하고 현재 하고 있다. 수식과 개념을 언어로 풀어 쓰고 이해하는 나는 가끔 내가 모르는 수식과 수학적 표기법을 인문학(?) 적으로 해석한다. 이 방법은 확통을 모르는 누군가에게 쉽게 설명하는데 큰 도움이 되지만, 정작 공부하는 나에겐 곤혹일때가 많다. 그런 문제점을 직면하고 해결하고자 나는 수학을 놓지 않고 있다. 궁극적으로 나는 이 업계에서 누군가에게 좋은 영향을 미치는 사람이 되야 하는데, 언제까지만 피할 순 없으니 말이다. 그리고, 수학적 사고 능력이 중요한 이유는 문제해결 능력을 길러주는데 도움이 되기 때문이다. 수학을 잘한다는 것..

해당 글은 모두 실무로 통하는 인과추론을 기반으로 작성, 자료를 참고 하였음을 밝힙니다.     1-1. 인과추론 개념 연관관계는 인과관계가 아니다. 연관관계를 인과관계로 오해하여 잘못된 의사결정을 내릴수도 있다. 만약, 한 국가의 노벨상 수상자 수를 1인당 초콜릿 소비량의 증감으로 생각해보자. 증감의 상관도(=연관관계) 가 있다고 판단할 수 있지만, 올바른 해석일까? 연관관계는 두개의 확률변수 X와 Y 가 같이 증가하거나 감소하는 것이다.그러나, 인과관계는 X가 Y의 원인이 되는 것과 같다. 인과추론은 연관관계로부터 인과관계를 추론하고, 언제 그리고 왜 서로 다른지 이해하는 과학적 접근이다.  1-2. 머신러닝과 인과추론그렇다면, 머신러닝을 활용해서 인과관계를 파악하면 안될까? 라고 생각한다. 하지만,..

Chaptet 1. 나의 키워드 게임에 미쳐있던 10년, 소말리아 해외 파병, 편입, LA 해외인턴, 평창동계올림픽 조직위원회, AnR, 데이터분석가 등 저는 여러 경험이 융합 된 사람입니다. 어렸을적 부터 돌아보면 저는 한 가지에 몰입 되는 것을 잘 하는 사람이였습니다. 학창시절에는 게임을 너무 좋아했습니다. 지금 돌이켜 보면 그 시간들은 제 학업성취와 그 당시에만 누릴 수 있었던 찬란한 시간들을 가져갔습니다. 하지만, 그때의 아쉬움 때문일까. 22살 이후로 제 인생은 완전히 달라졌습니다. Chapter 2. 해군 군함이 타고 싶어 주체적으로 해군을 선택하고 해외 파병을 가기 위해 군함의 중령에게 직접 제가 왜 이 군함에 필요한 인재인지 단독 대면으로 제 자신을 어필했습니다. 어쩌면 그때부터 인지 모르..