Derek 의 데이터 분석 성장기

나무가 가을의 색에 바래고 있다. 그 어느때보다 조화롭게 물들어가는 색을 보면 아름답다고 느껴지는 하루다. 반대로, 나의 컨디션은 생각보다 안좋은데 운동을 못하고 잠을 잘 못자서 그런것 같다. 그래도 사진을 보며 느끼는건 "그래, 이쁜 나무라도 보는게 럭키하네?" 라고 최면을 걸고 있다. 서울숲이란 공간은 녹지와 공원의 중요성을 일깨워주는 장소이다. 도심에서 일정거리 벗어난 곳엔 녹지가 많지만 서울숲 같이 회사, 주거지 근처에 큰 공원은 서울에 많이 없다. 특히, 성수동이란 상권과 인접해있기 때문에 더 매력적이라 생각된다. 한강뷰, 한강뷰 하지만 개인적으론 미래에는 숲뷰가 지배하는 순간이 올 것이다. (=물론 지금도 그러하다 ^^..) 체력이 낮아진다는 것은 귀찮음을 수반한다. 저녁 먹고 카페에 가서 공..

해당 강의에서는 정량자(한정자)를 활용하여 귀납법으로 증명하는 것을 알려주고 있다. 본격적 설명을 앞서 귀납법이란 귀납법은 개별적인 사실이나 현상에서 일반적인 결론을 이끌어내는 추론 방법으로, 논리학에서 연역법과 함께 중요한 논증 방법 중 하나입니다. 라고 정의되어 있다. 조금더 예시를 통해 설명하자면 아래를 참고하면 좋다. 개별적인 숫자를 통해 일반적인 결론을 내리는 것을 알아볼 수 있다. 참고 : (나무위키)   본격적으로 강의에 들어가기 전, 명제의 참과 거짓을 증명하는 것으로 시작하는데 핵심은 해당 증명에서는 p를 임의의 수가 되도록 하는 것은 임의로 특정한 q를 선택하는 것과 같지 않음을 증명하고 있다.  핵심은 p가 특정한(specific) 것으로 선택할때 문제가 되기 때문이라고 한다. 선택은..

1. UDF SQL에서도 자주 사용하는 처리 방식을 함수로 만들 수 있다. 예를 들어, CASE WHEN 문을 매 쿼리마다 적용해야 한다. CASE WHEN x>= 1 and x = 3 and x 이 구문을 모든 쿼리 문마다 적용해야 한다고 생각해보자. 반복 작업으로 업무 효율성 및 가독성이 떨어진다. 이를 해결하기 위해 빅쿼리에는 사용자 정의 함수가 존재한다. 말 그대로 내가 함수를 직접 만드는것 이다.CREATE TEMP FUNCTION AddFourAndDivide(x INT64, y INT64) # 함수 선언 : (변수명과 타입 지정)RETURNS FLOAT64 # 리턴에는 타입을 지정, 아래부터는 사용하고 싶은 함수명AS ( (x + 4) / y); # 반드시 함수가 끝나고 나서는 ; 이 ..

해당 글의 내용과 코드는 모두 실무로 통화는 인과추론을 참고하였습니다.0. 성향점수성향점수는 Propensity Weighting 이라는 용어로서 편향 제거 방법이다. 4장에서 선형회귀 분석으로 교란 요인 보정과 편향 보정을 배울 수 있었다. 하지만, 성향점수는 직교화처럼 잔차를 생성하는 대신, 처치 배정 메커니즘을 모델링하고 모델 예측을 사용하여 데이터를 재조정(Reweight) 하는 방식이다. 4장에서 배운 원리와 성향점수 가중치를 결합한 이중 강건성도 알 수 있다. 해당 방법은 이진(Binary)이나 이산형(Discrete) 처치가 있을 때 적합하다. 하지만, 연속형 변수에도 성향 점수 가중치를 사용할 수 있다. 1. 회귀분석과 보정import statsmodels.formula.api as smf..

대 AI 시대라고 해도 과언이 아니다. 생성형 AI를 얼마나 잘 쓰느냐에 따라 같은 일을 하더라도 생산성이 2-3배 차이가 나는 세상이라 할 수 있다. 오늘은 생산성을 올려주는 서비스를 알아보자.   1. ResearchRabbit 논문을 찾다보면 논문에 달려있는 레퍼런스 논문들을 찾아야 하는 경우가 있다. 이런 경우 사용하기 좋은 툴이다. 단순 정보 제공 외에도 네트워크 차트처럼 관계성을 보여주기 때문에 유용하다. 문헌을 찾는데 시간을 들일 필요가 없다. 링크 : https://www.researchrabbit.ai/ 2. PopAi PDF, 프레젠테이션 들을 업로드 해서 요약정리해주는 기능을 갖고 있다. 다른 생성형 AI 들도 제공하는 기능이지만, 프레젠테이션이나 PDF에 특화된 생성형 AI라 할 수..

1. 양화사 = 한정자 (Quantifier)이전 강의에 이어서 한정자에 대한 예제와 수학적으로 한정자를 이해하는 법에 대해서 지속적으로 강조하고 있다.   1. 전체한정자 : 모든 원소가 그 명제를 참으로 만족할 경우에만 명제함수가 참, 논의영역에 있는 원소중 하나라도 그 명제를 거짓으로 만들면 F 이다. 2. 존재한정자 : 논의영역에 있는 원소 중 하나라도 명제를 참으로 만족하면, 그 명제함수는 참이 된다.  1. 한정자2. 부정3. 접속사4. 논리합과 함  3장에서는 위와 같이 전체한정자, 존재한정자를 통해 명제를 만족하는것을 알려주고 있다.위와 같이 부정을 통해서 for all 을 만족하는 것, 그리고 2번과 같이 for all을 충족하는 자연수를 검증하고 있다. 그리고, 한정자와 [소괄호]를 통..

글에도 타이밍이 있는건가?마침 며칠전부터 생각 정리를 위해서 글을 쓰고 싶다고 생각하고 도움을 받았는데, 티스토리에서 글쓰기 챌린지를 시작한다고 한다. 나름 경품도 쏠쏠하잖아? 11월 7일부터 27일까지 매일 글을 쓰면 되니, 한번 도전해보자! 단순 글을 쓰고 싶은건 생각 정리를 위해서라기 보다, 내가 정든 공덕동에서 이사가는 것도 이유가 있다.3-4년 정도 공덕동,마포구에서 살았는데 이보다 나 자신을 알기 위해 좋은 시간은 없었던 것 같다. 직주근접의 중요성, 운동, 삶의 변화, 내가 숲과 산책, 그중에서도 동네 산책길에 있는 카페나 인프라를 좋아한다는 것을 알게되었다.정든 이곳을 떠나야 한다니? 은근 아쉽잖아. 집 관련된 일을 은행에서 보고, 동네를 거닐다가 프릳츠 마포구를 방문했다.   커피로 유명..