Derek 의 데이터 성장기

처치(Treatment)의 순수한 영향을 예측하는 업리프트 모델링인과효과를 알 수 있으며, 기대이익을 높일 수 있는 모델링1. 개요  Uplift 모델링은 마케팅, 의사 결정, 의료 분야 등에서 특정 개입(예: 광고, 프로모션, 치료)이 개별 고객이나 그룹에게 미치는 순수한 영향(Uplift) 을 예측하는 기법입니다. 일반적인 머신러닝 모델이 결과를 단순히 예측하는 것과 달리, Uplift 모델링은 개입을 받았을 때와 받지 않았을 때의 차이를 학습하는 것이 핵심입니다. 단순 처치 효과(Uplift) 효과를 넘어 Persuadable(설득 가능 고객)을 구별하는데 강점이 있는 모델입니다. 기존 예측 모델은 고객이 구입을 할 것(1) 혹은 말 것(0) 을 아는데 초점을 두었습니다. 하지만, 업리프트 모델링은..

1. 개요  인과추론을 추정할 때, 대부분 평균 처치 효과인 ATE를 계산했다. 그러나, 처치 효과는 개인에게 적용시 각기 다른 효과를 가져올 수 있다. 처치(Treatment) 가 개인(Individual) 별로 다른 영향도를 갖기 때문에, 그 영향도 값을 추정하는 것. 그것이 바로 이질적 처치효과이다. 예를 들어, 어떤 고객에게는 할인 쿠폰을 주면 유익하지만, 다른 고객에게는 그렇지 않을 수 있다. 할인에 대한 민감한 고객군이 있기 때문이다. 혹은 백신 접종도 어떤 환자에게는 더 효과적으로 작용할 수 있다. 때문에 백신으로 인한 영향도가 큰 환자에게 백신을 먼저 제공하는 방법. 이러한 상황에서 개인화가 핵심이자, 이 개인화를 위한 한 가지 방법이 바로 이질적 효과를 고려해서 조건부 평균 처치효과(CA..

해당 글의 내용과 코드는 모두 실무로 통화는 인과추론을 참고하였습니다.0. 성향점수성향점수는 Propensity Weighting 이라는 용어로서 편향 제거 방법이다. 4장에서 선형회귀 분석으로 교란 요인 보정과 편향 보정을 배울 수 있었다. 하지만, 성향점수는 직교화처럼 잔차를 생성하는 대신, 처치 배정 메커니즘을 모델링하고 모델 예측을 사용하여 데이터를 재조정(Reweight) 하는 방식이다. 4장에서 배운 원리와 성향점수 가중치를 결합한 이중 강건성도 알 수 있다. 해당 방법은 이진(Binary)이나 이산형(Discrete) 처치가 있을 때 적합하다. 하지만, 연속형 변수에도 성향 점수 가중치를 사용할 수 있다. 1. 회귀분석과 보정import statsmodels.formula.api as smf..

해당 글의 내용과 코드는 모두 실무로 통화는 인과추론을 참고하였습니다.1. 개요A/B Test 이외의 인과추정 효과를 위한 편향 제거 방법에는 선형회귀 분석, 성향점수 가중치가 존재한다. 특히, 회귀분석은 단순 통계 혹은 머신러닝 그 이상으로, 인과추론의 핵심으로서도 가장 많이 이용된다고 한다. 이는 DID(이중차분법), 이원고정효과(TWFE), 이중/편향 제거(dobule/debiased), 그리고 도구변수나 불연속 설계등에서도 사용된다. 그리고, 처치가 무적위 배정된 것처럼 이전에 배운 보정 공식을 활용(=X 를 다른 변수로 활용하는 것) 예를 들어, 대출 금액에 따른 채무 불이행을 파악하고 싶을때, 다른 변수 X(신용한도) 를 활용한다고 할때, 연속형 변수이기 때문에 이는 그룹화 하기 어려운 문제로..

해당 내용은 실무로 통하는 인과추론을 참고, 정리하였음을 밝힙니다. 0. 그래프 인과모델그래프 모델은 인과추론 문제를 구조화하여, 식별 가정을 명쾌하고 시각적으로 표현하는 방법입니다. 1장에서 했던 인과추론 방법 (데이터로 매개변수를 추정하지 않고) 그래프로 식별을 하는 법을 알 수 있습니다. 흔히 식별을 방해하는 편향의 원인 두 가지와 인과 그래프 구조를 바탕으로 인과추론을 할 수 있는 법을 배울 수 있습니다.  구조적 인과모델(Structual causal Model) = SCM 이라는 용어로 인과추론을 공부하는 사람들은 그래프 인과모델 용어를 사용합니다. 이는 인과방정식(causal equation)으로 구성됩니다.  1. 인과관계 시각화  이 사례에서 T가 무작위로 배정되었을시, 처치는 잠재적 결..

해당 글은 모두 실무로 통하는 인과추론을 기반으로 작성 및 참고하였습니다.  2-1. 무작위 배정으로 독립성 확보 1장에서는 인과관계와 인과추론이 무엇인지에 대해 배웠습니다. 2장에서는 무작위 실험이 인과추론의 가장 중요한 표준이라고 설명합니다. 그 이유는, 1장에서 배웠던 선택편향을 무작위 배정으로 독립성을 확보할 수 있다고 말하고 있습니다. E[Y | T = 1] - E[Y | T = 0] = E[Y_1 - Y_0 | T=1] + {E[Y_0 | T = 1] - E[Y_0 | T = 0]}  위 공식의 bold는 (ATT + 편향) 으로 표현하고 있습니다. 이 말은, 인과관계와 연관관계가 같기 위해선 두 가지 요소 att + 편향의 합이다 라고 설명하고 있습니다. 따라서 편향이 0 이면 이 둘은 같다..

해당 글은 모두 실무로 통하는 인과추론을 기반으로 작성, 자료를 참고 하였음을 밝힙니다.     1-1. 인과추론 개념 연관관계는 인과관계가 아니다. 연관관계를 인과관계로 오해하여 잘못된 의사결정을 내릴수도 있다. 만약, 한 국가의 노벨상 수상자 수를 1인당 초콜릿 소비량의 증감으로 생각해보자. 증감의 상관도(=연관관계) 가 있다고 판단할 수 있지만, 올바른 해석일까? 연관관계는 두개의 확률변수 X와 Y 가 같이 증가하거나 감소하는 것이다.그러나, 인과관계는 X가 Y의 원인이 되는 것과 같다. 인과추론은 연관관계로부터 인과관계를 추론하고, 언제 그리고 왜 서로 다른지 이해하는 과학적 접근이다.  1-2. 머신러닝과 인과추론그렇다면, 머신러닝을 활용해서 인과관계를 파악하면 안될까? 라고 생각한다. 하지만,..

RCT(Randomized Control tirals) = 무작위 실험 실험 대상자들이 무작위로 두 그룹 중 하나로 배정되는 실험. 하나는 (실험 그룹으로) 테스트 중인 개입을 받고 있는 반면, 다른 하나는 (비교 그룹 또는 대조 그룹으로) 대안적인(전통적인) 치료를 받는 경우 1. 무작위 실험(RCT) 정의 RCT는 무작위화 비교 실험으로서, 대조군(Control Group) 과 실험군(Treatment Group) 의 비교를 통해 독립변수가 종속변수에 영향을 미쳤는지 확인하는 과정을 의미합니다. 시간적으로, 독립변수(Treatment) 가 먼저 발생하고, 그 후 종속변수(Treatment Effect) 를 입증하기 위해 임의로 독립변수를 의도적인 시기에 발생시키고, 이에 따라 종속변수(Treatmen..