Derek 의 데이터 분석 성장기

1. UDF SQL에서도 자주 사용하는 처리 방식을 함수로 만들 수 있다. 예를 들어, CASE WHEN 문을 매 쿼리마다 적용해야 한다. CASE WHEN x>= 1 and x = 3 and x 이 구문을 모든 쿼리 문마다 적용해야 한다고 생각해보자. 반복 작업으로 업무 효율성 및 가독성이 떨어진다. 이를 해결하기 위해 빅쿼리에는 사용자 정의 함수가 존재한다. 말 그대로 내가 함수를 직접 만드는것 이다.CREATE TEMP FUNCTION AddFourAndDivide(x INT64, y INT64) # 함수 선언 : (변수명과 타입 지정)RETURNS FLOAT64 # 리턴에는 타입을 지정, 아래부터는 사용하고 싶은 함수명AS ( (x + 4) / y); # 반드시 함수가 끝나고 나서는 ; 이 ..

해당 글의 내용과 코드는 모두 실무로 통화는 인과추론을 참고하였습니다.0. 성향점수성향점수는 Propensity Weighting 이라는 용어로서 편향 제거 방법이다. 4장에서 선형회귀 분석으로 교란 요인 보정과 편향 보정을 배울 수 있었다. 하지만, 성향점수는 직교화처럼 잔차를 생성하는 대신, 처치 배정 메커니즘을 모델링하고 모델 예측을 사용하여 데이터를 재조정(Reweight) 하는 방식이다. 4장에서 배운 원리와 성향점수 가중치를 결합한 이중 강건성도 알 수 있다. 해당 방법은 이진(Binary)이나 이산형(Discrete) 처치가 있을 때 적합하다. 하지만, 연속형 변수에도 성향 점수 가중치를 사용할 수 있다. 1. 회귀분석과 보정import statsmodels.formula.api as smf..

대 AI 시대라고 해도 과언이 아니다. 생성형 AI를 얼마나 잘 쓰느냐에 따라 같은 일을 하더라도 생산성이 2-3배 차이가 나는 세상이라 할 수 있다. 오늘은 생산성을 올려주는 서비스를 알아보자.   1. ResearchRabbit 논문을 찾다보면 논문에 달려있는 레퍼런스 논문들을 찾아야 하는 경우가 있다. 이런 경우 사용하기 좋은 툴이다. 단순 정보 제공 외에도 네트워크 차트처럼 관계성을 보여주기 때문에 유용하다. 문헌을 찾는데 시간을 들일 필요가 없다. 링크 : https://www.researchrabbit.ai/ 2. PopAi PDF, 프레젠테이션 들을 업로드 해서 요약정리해주는 기능을 갖고 있다. 다른 생성형 AI 들도 제공하는 기능이지만, 프레젠테이션이나 PDF에 특화된 생성형 AI라 할 수..

1. 양화사 = 한정자 (Quantifier)이전 강의에 이어서 한정자에 대한 예제와 수학적으로 한정자를 이해하는 법에 대해서 지속적으로 강조하고 있다.   1. 전체한정자 : 모든 원소가 그 명제를 참으로 만족할 경우에만 명제함수가 참, 논의영역에 있는 원소중 하나라도 그 명제를 거짓으로 만들면 F 이다. 2. 존재한정자 : 논의영역에 있는 원소 중 하나라도 명제를 참으로 만족하면, 그 명제함수는 참이 된다.  1. 한정자2. 부정3. 접속사4. 논리합과 함  3장에서는 위와 같이 전체한정자, 존재한정자를 통해 명제를 만족하는것을 알려주고 있다.위와 같이 부정을 통해서 for all 을 만족하는 것, 그리고 2번과 같이 for all을 충족하는 자연수를 검증하고 있다. 그리고, 한정자와 [소괄호]를 통..

글에도 타이밍이 있는건가?마침 며칠전부터 생각 정리를 위해서 글을 쓰고 싶다고 생각하고 도움을 받았는데, 티스토리에서 글쓰기 챌린지를 시작한다고 한다. 나름 경품도 쏠쏠하잖아? 11월 7일부터 27일까지 매일 글을 쓰면 되니, 한번 도전해보자! 단순 글을 쓰고 싶은건 생각 정리를 위해서라기 보다, 내가 정든 공덕동에서 이사가는 것도 이유가 있다.3-4년 정도 공덕동,마포구에서 살았는데 이보다 나 자신을 알기 위해 좋은 시간은 없었던 것 같다. 직주근접의 중요성, 운동, 삶의 변화, 내가 숲과 산책, 그중에서도 동네 산책길에 있는 카페나 인프라를 좋아한다는 것을 알게되었다.정든 이곳을 떠나야 한다니? 은근 아쉽잖아. 집 관련된 일을 은행에서 보고, 동네를 거닐다가 프릳츠 마포구를 방문했다.   커피로 유명..

1. 끄적끄적 오늘은 그냥 끄적끄적이고 싶은 날이다. 스트레스를 해소하기 위해선 펜을 들고 글을 쓰는것이 스트레스 해소에 도움이 된다고 한다.  이미 펜을 잡고 오늘 나의 답답함과 부족함에 대해 고민해보았다.나의 행동은 왜 그랬을까? 다양한 이유를 글을 통해 정리할 수 있었다 우선, 내가 지금 처한상황과 하고 싶은 일의 괴리가 있다는 것을 알았다. 어떻게 보면 이는 나만이 가진, 내 내면만이 느낄 수있는 케케묵은 컴플렉스이자 오랜 고민이겠지. 살기 위해, 살아남기 위해, 더 성장하기 위해, 더 내가 즐겁고 건강하게 살 수 있게 내가 바라는 목표는 4년전이나 지금이나 같다는 것을 느꼈다. 어떻게 해결할 수 있을까? 답은 정해져있겠지. 직면하고 도전하고 해결하는 수 밖에 없다. 이렇게 마음먹은 이상 아마 나..

기억은 단순 재생이 아니라, 재창조이기 때문이다.    #1. 하나 하나는 나에게 꽃이다. 꽃을 좋아했던 그 친구를 위해 나는 기념일마다 항상 꽃을 챙겼다. 기념일을 챙기는 것을 좋아하는 나였고, 그녀는 기념일보다 특별하지 않는 날에 받는 꽃을 더 좋아하던 친구였다. 우리의 시작은 노란 프리지아였고, 플립의 자아를 찾아가는 노란색 색채처럼 나 또한 나 자신을 알아가는 아름다운 시간이었다.하나라는 인물이 나온 시점부터 이 책은 나에게 그래픽 노블이 아닌 기억을 재생하고 재창조하는 순간으로 다가왔다. 선과 형, 폰트와 색깔의 구별처럼 우리는 달랐고 아름다웠다. 특히, 아스테리오스 플립이 "발바닥에 물집이 잡혔는데" 라는 읊조와 함께 시작되는 그림의 재생은 나 또한 나의 쌍둥이 형제 기억으로 플립(Flip) ..

해당 글의 내용과 코드는 모두 실무로 통화는 인과추론을 참고하였습니다.1. 개요A/B Test 이외의 인과추정 효과를 위한 편향 제거 방법에는 선형회귀 분석, 성향점수 가중치가 존재한다. 특히, 회귀분석은 단순 통계 혹은 머신러닝 그 이상으로, 인과추론의 핵심으로서도 가장 많이 이용된다고 한다. 이는 DID(이중차분법), 이원고정효과(TWFE), 이중/편향 제거(dobule/debiased), 그리고 도구변수나 불연속 설계등에서도 사용된다. 그리고, 처치가 무적위 배정된 것처럼 이전에 배운 보정 공식을 활용(=X 를 다른 변수로 활용하는 것) 예를 들어, 대출 금액에 따른 채무 불이행을 파악하고 싶을때, 다른 변수 X(신용한도) 를 활용한다고 할때, 연속형 변수이기 때문에 이는 그룹화 하기 어려운 문제로..