Derek 의 데이터 분석 성장기

주어진 조건 속에서 최상의 해를 찾는 과정 0. 개요최적화(Optimization)는 주어진 조건 하에서 최상의 해를 찾는 과정입니다. 머신러닝 모델의 파라미터 튜닝부터 물류 최적화까지, 데이터 사이언스와 AI에서도 필수적인 개념이라고 할 수 있죠.  그중에서도 선형계획법(Linear Programming, LP) 은 목적 함수와 제약 조건이 모두 선형(linear)인 최적화 문제를 푸는 강력한 방법이다. 예를 들면, "이익을 최대로 하면서도 예산을 초과하지 않게 공장을 운영하려면?" 같은 문제를 푸는 데 유용합니다.   1. 선형계획법(Linear Programming)선형계획법은 다음과 같은 형태를 가집니다.즉,목적 함수(예: 이익)를 최적화하면서주어진 제약 조건(예: 예산, 자원)을 만족하는 xxx..

처치(Treatment)의 순수한 영향을 예측하는 업리프트 모델링인과효과를 알 수 있으며, 기대이익을 높일 수 있는 모델링1. 개요  Uplift 모델링은 마케팅, 의사 결정, 의료 분야 등에서 특정 개입(예: 광고, 프로모션, 치료)이 개별 고객이나 그룹에게 미치는 순수한 영향(Uplift) 을 예측하는 기법입니다. 일반적인 머신러닝 모델이 결과를 단순히 예측하는 것과 달리, Uplift 모델링은 개입을 받았을 때와 받지 않았을 때의 차이를 학습하는 것이 핵심입니다. 단순 처치 효과(Uplift) 효과를 넘어 Persuadable(설득 가능 고객)을 구별하는데 강점이 있는 모델입니다. 기존 예측 모델은 고객이 구입을 할 것(1) 혹은 말 것(0) 을 아는데 초점을 두었습니다. 하지만, 업리프트 모델링은..

해당 내용은 Uber Tech. 의 Dynamic Pricing and Matching in Ride-Hailing Platforms(2019) 를 참고하였습니다.- 우버의 매칭과 최적화는 어떻게 이루어질까? -   1. 개요 우버는 사용자와 운전자를 연결짓는 서비스입니다. 개인차량으로 승객을 목적지에 이동 시켜주는 서비스를 기본으로 하나, 확장적으로는 카풀(승객을 여러명 태우는 행위) 또한 가능하게 합니다. 그 외에도, 우버 이츠 등 드라이버가 음식을 배달할 수 있는 서비스까지 가지고 있습니다. 기본적으로 우버에는 Ride-Hailing Platform 라는 플랫폼으로서, 사용자가 운반을 요청하면 드라이버(운전자)가 사용자를 픽업하고 목적지에 드랍해주는 플랫폼입니다. 드라이버와 운전자를 매칭 시키는 플..

0. 개요 대 생성형 A.I 시대입니다. 하루가 멀다하고 기능적 강점이 다른 LLM 모델들이 쏟아져 나오고 있습니다. 기본 베이스라인은 LLM or RAG 이지만 이미지 생성, 웹서칭, 자동 코딩 등에 목적에 따라 다양한 A.I 를 사용할 수 있는 시대입니다. 데이터 분석 혹은 모델링일을 하며 해당 A.I 가 제 업무를 얼마나 편하게 도와주는지 모릅니다. 하지만, 반대로 나의 기술력은 이미 이 모델들에게 대체될 수 있는 것 아닌가? 라는 생각을 합니다. 그정도로, 이 생성형 A.I 들은 인간의 업무 효율성을 극대화 시켜주지만, 반대로 인간이 할 수 있는 일을 넘는 기술력과 강점을 가지고 있습니다. 이런 상황속에 우리는 어떻게 우리만이 할 수 있는 고유성과 일을 유지할 수 있을까요? 제가 현재 내리는 정답..

1. Grouping Sets GROUPING SETS 함수는 복잡한 집계 쿼리를 단순화하고 여러 그룹화 수준에서 집계를 한 번에 계산할 때 유용한 함수입니다. 일반적으로 GROUP BY 를 사용하여 해결할 수 있지만, GROUP BY 를 사용하다가 더 세분화해서 사용할 수 있는 쿼리는 없을까? 라고 생각하면 GROUPING sets를 사용하면 됩니다. 예시로, GROUPING SETS와 일반 GROUP BY의 차이점은 여러 그룹화 수준을 한 번에 처리할 수 있는 능력입니다. 이와 같은 테이블이 존재한다고 가정해보자. 그리고, GROUP BY 를 활용하여 국가의 월별 매출을 조회해보고 싶다고 하자.  ** 아래 데이터는 샘플** 실제로 빅쿼리상에서는 해당과 같이 날렸지만 STRUCT 에러로 인해서 조회가..

새로운 시작, 배움   1. 되돌아보기  언제부터인가 회고의 중요성을 알게 되었습니다. 회고는 제가 걸어온 길을 알려주고, 그 길 속에서 아쉬웠던점과 배운점, 앞으로 어떻게 나가야 할 지를 알려주는 시간으로 작용하고 있습니다.그리고,  2024년은 제게 새로운 시작이자 배움이었다. 라고 한마디로 정리해도 좋을 것 같습니다.  2023년 05월에 구조조정으로 회사를 관두게 되며 생각보다 이직에 긴 시간이 걸렸습니다. 하지만, 돌이켜보면 현재 회사는 제가 다녀보고 싶은 회사였습니다. 해당 회사를 건물 밖에서 볼 때에도 해당 회사가 어떤 회사인지 궁금했었습니다. 그리고, 해당 회사 데이터팀의 규모는 크고 실력있는 분들이 많기로 유명했기 때문이죠. 그렇게 2024년 1월 해당 회사에서 새로운 시작을 하게 되었습..

1. 개요  해당 강의는 Harvard의 'Statistics 110' 강의이다. 확률의 기본 개념을 이해하는 것은 분석 능력을 크게 향상시킬 수 있다고 말하고 있다. 핵심 주제는 샘플 공간, 사건, 계산 원칙과 같은 기본 개념을 마스터하는 것이며, 이는 실제 문제를 해결하는 데 필수적이라고 설명하고 있다. 해당 강의에서는 이산 확률 분포와 연속 확률 분포를 배우고, 이러한 원칙들이 유전학, 물리학, 경제학과 같은 다양한 분야에서 어떻게 적용되는지를 알게 될 수 있다고 말하고 있다.강의를 마친 후에는 불확실성을 이해하고 이를 효과적으로 수치화하는 강력한 능력을 갖추게 될 수 있다고 말하고 있다. 이 지식은 과학적 분야뿐만 아니라 일상적인 의사 결정 상황에서도 매우 유용하다는 게 해당 강의에 대한 설명이다..

해당 강의는 여태까지 공부한 내용으로 여러 수학적 문제를 푼다. 그리고, 위와 같이 문제를 평가하는데 Logical Correctness, Clarity, Opening, State conclusion, Reasons, Overall valuation / TOTAL 로 평가하게 된다.    위와 같은 수학적 전개와 도입부에는 좋은 서술이라고 설명하고 있다. p와 q를 가지고 수학적 증명을 하기 위한 노력이 보여진다. 또한, 수학적 귀납법에는 반드시 수학적 귀납법을 사용한다는 오프닝과 결론이 포함되어야 높은 평가 기준을 받을 수 있다고 말하고 있다.   그리고 위와 같은 수학적으로 증명을 하기 위한 수식적 중요성에 대해서도 이야기 하고 있다. 하지만, 위 증명 또한 극한에 관련된 내용이기 때문에 완벽하지 ..