Derek 의 데이터 분석 성장기

"글쓰기는 아무것도 아니다. 당신이 할 것은 타자기 앞에 앉아서 피를 흘리는 것이다." - 어니스트 헤밍웨이" 글을 쓰면 천국으로 가거나, 가고 싶은 곳 어디든 갈 수 있다". -  조안 디디언 0. 개요 2024년 10월 달 부터 글또(글쓰는 또라이들의 모임) 10기에 참여하였습니다. 2주 간격으로 글을 작성하는 모임으로서, 대체로 개발직군에 관련된 분들이 많이 참여하는 모임입니다. 저에게는 전 회사 동료들이 참여를 하며 글을 기고 했고 도움이 많이 되었다는 의견들이 많아 참여하게 되었습니다. 그리고, 지금 작성하는 이 글이 마지막 12회차여 글또에서 활동한 회고 글을 작성해보려 합니다. 1. 글또 참여 계기글또를 참여하게 된 계기는 크게 3가지로 생각할 수 있을 것 같습니다. 1. Writing : ..

1. 개요저는 공간을 좋아합니다. 새로운 공간이 주는 영감과 건축가의 생각을 유추 하는 것을 좋아합니다. 공간은 단조로운 삶에 새로운 시각과 생각을 떠오르게 하는 개체라 생각합니다. 공간은 단순한 물리적 장소가 아니라, 특히 우리의 감정과 생각에 영향을 줍니다. 우리는 하루의 대부분을 특정한 공간에서 보내기 때문에, 어떤 공간에서 시간을 보내느냐에 따라 우리의 삶이 달라진다고 생각합니다. 특히, 우리의 집중력, 휴식, 창의력에 큰 영향을 미친다고 생각합니다. 그래서, 오늘은 제가 어떤 공간을 추구하는지 어떤 디자인과 인테리어 요소에 영감을 받는지를 알아보는 시간을 가지려 합니다. 2. 건축 디자인  그렇다면, 제가 주로 좋아하는 인테리어나 디자인은 어떤 것일까요? 저는 해당 분야의 전문가가 아닙니다. 그..

주어진 조건 속에서 최상의 해를 찾는 과정 0. 개요최적화(Optimization)는 주어진 조건 하에서 최상의 해를 찾는 과정입니다. 머신러닝 모델의 파라미터 튜닝부터 물류 최적화까지, 데이터 사이언스와 AI에서도 필수적인 개념이라고 할 수 있죠.  그중에서도 선형계획법(Linear Programming, LP) 은 목적 함수와 제약 조건이 모두 선형(linear)인 최적화 문제를 푸는 강력한 방법이다. 예를 들면, "이익을 최대로 하면서도 예산을 초과하지 않게 공장을 운영하려면?" 같은 문제를 푸는 데 유용합니다.   1. 선형계획법(Linear Programming)선형계획법은 다음과 같은 형태를 가집니다.즉,목적 함수(예: 이익)를 최적화하면서주어진 제약 조건(예: 예산, 자원)을 만족하는 xxx..

처치(Treatment)의 순수한 영향을 예측하는 업리프트 모델링인과효과를 알 수 있으며, 기대이익을 높일 수 있는 모델링1. 개요  Uplift 모델링은 마케팅, 의사 결정, 의료 분야 등에서 특정 개입(예: 광고, 프로모션, 치료)이 개별 고객이나 그룹에게 미치는 순수한 영향(Uplift) 을 예측하는 기법입니다. 일반적인 머신러닝 모델이 결과를 단순히 예측하는 것과 달리, Uplift 모델링은 개입을 받았을 때와 받지 않았을 때의 차이를 학습하는 것이 핵심입니다. 단순 처치 효과(Uplift) 효과를 넘어 Persuadable(설득 가능 고객)을 구별하는데 강점이 있는 모델입니다. 기존 예측 모델은 고객이 구입을 할 것(1) 혹은 말 것(0) 을 아는데 초점을 두었습니다. 하지만, 업리프트 모델링은..

해당 내용은 Uber Tech. 의 Dynamic Pricing and Matching in Ride-Hailing Platforms(2019) 를 참고하였습니다.- 우버의 매칭과 최적화는 어떻게 이루어질까? - 1. 개요 우버는 사용자와 운전자를 연결짓는 서비스입니다. 개인차량으로 승객을 목적지에 이동 시켜주는 서비스를 기본으로 하나, 확장적으로는 카풀(승객을 여러명 태우는 행위) 또한 가능하게 합니다. 그 외에도, 우버 이츠 등 드라이버가 음식을 배달할 수 있는 서비스까지 가지고 있습니다. 기본적으로 우버는 Ride-Hailing Platform 라는 플랫폼으로서, 사용자가 운반을 요청하면 드라이버(운전자)가 사용자를 픽업하고 목적지에 드랍해주는 플랫폼입니다. 드라이버와 운전자를 매칭 시키는 플랫..

0. 개요 대 생성형 A.I 시대입니다. 하루가 멀다하고 기능적 강점이 다른 LLM 모델들이 쏟아져 나오고 있습니다. 기본 베이스라인은 LLM or RAG 이지만 이미지 생성, 웹서칭, 자동 코딩 등에 목적에 따라 다양한 A.I 를 사용할 수 있는 시대입니다. 데이터 분석 혹은 모델링일을 하며 해당 A.I 가 제 업무를 얼마나 편하게 도와주는지 모릅니다. 하지만, 반대로 나의 기술력은 이미 이 모델들에게 대체될 수 있는 것 아닌가? 라는 생각을 합니다. 그정도로, 이 생성형 A.I 들은 인간의 업무 효율성을 극대화 시켜주지만, 반대로 인간이 할 수 있는 일을 넘는 기술력과 강점을 가지고 있습니다. 이런 상황속에 우리는 어떻게 우리만이 할 수 있는 고유성과 일을 유지할 수 있을까요? 제가 현재 내리는 정답..

1. Grouping Sets GROUPING SETS 함수는 복잡한 집계 쿼리를 단순화하고 여러 그룹화 수준에서 집계를 한 번에 계산할 때 유용한 함수입니다. 일반적으로 GROUP BY 를 사용하여 해결할 수 있지만, GROUP BY 를 사용하다가 더 세분화해서 사용할 수 있는 쿼리는 없을까? 라고 생각하면 GROUPING sets를 사용하면 됩니다. 예시로, GROUPING SETS와 일반 GROUP BY의 차이점은 여러 그룹화 수준을 한 번에 처리할 수 있는 능력입니다. 이와 같은 테이블이 존재한다고 가정해보자. 그리고, GROUP BY 를 활용하여 국가의 월별 매출을 조회해보고 싶다고 하자.  ** 아래 데이터는 샘플** 실제로 빅쿼리상에서는 해당과 같이 날렸지만 STRUCT 에러로 인해서 조회가..

새로운 시작, 배움   1. 되돌아보기  언제부터인가 회고의 중요성을 알게 되었습니다. 회고는 제가 걸어온 길을 알려주고, 그 길 속에서 아쉬웠던점과 배운점, 앞으로 어떻게 나가야 할 지를 알려주는 시간으로 작용하고 있습니다.그리고,  2024년은 제게 새로운 시작이자 배움이었다. 라고 한마디로 정리해도 좋을 것 같습니다.  2023년 05월에 구조조정으로 회사를 관두게 되며 생각보다 이직에 긴 시간이 걸렸습니다. 하지만, 돌이켜보면 현재 회사는 제가 다녀보고 싶은 회사였습니다. 해당 회사를 건물 밖에서 볼 때에도 해당 회사가 어떤 회사인지 궁금했었습니다. 그리고, 해당 회사 데이터팀의 규모는 크고 실력있는 분들이 많기로 유명했기 때문이죠. 그렇게 2024년 1월 해당 회사에서 새로운 시작을 하게 되었습..