Derek 의 데이터 분석 성장기

" 해당 정리글은 세상에서 가장 쉬운 베이즈 통계학 입문(링크) 를 기반으로 정리, 내용이 첨부되어있습니다"  세상에서 가장 쉬운 베이즈 통계학 입문은 위와 같이 도형의 면적을 활용하여 베이지안 통계학을 쉽게 설명한다. Q. 해당 내용은 어느 특정 암에 걸릴 확률이 0.1%(0.001) 이라고 하자. 이 암 검사를 진행하는데, 암에 걸려있는 사람은 95% 확률로 양성 진단을 받는다고 하자. 한편, 건강한 사람이 양성으로 오진을 받을 확률은 2% 다. 이 검사에서 양성이라고 진단 받았을때, 암에 걸려 있을 확률은 얼마일까? 라는 사전 확률과 조건부 확률을 기반으로 베이지안을 설명한다. * 면적은 A라는 사건이 발생 할 때, A가 발생하면서 B가 발생하는 조건부 확률을 면적으로 계산하여 풀어나간다.EX) 암..

평소 책을 사러 가는 과정을 좋아합니다. 온라인보다는 서점에 직접 가서 책을 구매하는 과정을 즐기는 편입니다. 서점에 도착하여 여러 책을 둘러보는 것은 제게 굉장히 흥미로운 하나의 탐험입니다. 다양한 디자인으로 된 책을 눈으로 보며, 책만이 줄 수 있는 활자로 된 가르침에 대한 기대감이 크기 때문인 것 같습니다.  제가 큰 대형서점에 방문했을 때, 는 이미 가판대에 진열되어 있었습니다. '음, 역시 히사이시조에 대한 책이기 때문에 인기가 많구나. 이번 책도 큰 인사이트를 줄 수 있겠네' 라고 생각했습니다.  하지만, 해당 책은 큰 울림을 주진 못했습니다. 책을 읽으며 이 책이 쓰여진 이유와 목적성에 대해 고민했습니다. '어떤 목적을 가지고 이 책은 쓰여졌을까?' 라는 생각이 들었고, 두 거장의 대화를 ..

참고 강의 :  김종한 교수님 - Linear Equations(선형방정식) (https://www.youtube.com/watch?v=ex3FOxSoqbQ)  Linear Euqations 은 선형 방정식들을 의미한다.  a1​x1​+a2​x2​+⋯+an​xn​=b 일차식으로 나타나는 값을 의미한다.이 때 앞에 표시되는 계수 a1​,a2​,⋯an​은 실수혹은 허수가 올 수 있으며, 그리고 이러한 계수들을 coefficient라고 부른다. 사실, 해당 내용들은 이미 기전에 배운 모든 Linear Combination, Regression Model 등에 해당 되는 내용이다.   Regression Model 의 예측결과 또한 X 라는 벡터에 B 를 곱셈하고, Error Term(v) 를 더해준 결과를 의..

베이지안에서 사후확률은 사전확률과 관측(증거) 와 가능도를 기반으로 확률이 업데이트 된다. 사전확률 * Likelihood(가능도)를 곱하고 정규화한 값으로 나누었을 때, 사후확률을 업데이트 할 수 있다.  예를 들어, 101개의 쿠키 그릇이 있다고 가정해보자.그리고, 각 그릇 번호마다 바닐라 쿠키가 들어있는 % 이다. EX) 그릇 0 에는 바닐라 쿠키가 0% 있다.EX1) 그릇1에는 바닐라 쿠키가 1% 있다.EXn) 그릇n 에는 바닐라 쿠키가 n% 있다.EX100) 그릇100에는 바닐라 쿠키가 100% 있다. 여기서 그릇을 임의로 골라 쿠키를 골랐을때, 이 쿠키가 바닐라 쿠키였다. 이때 각 값 x에 대해 그릇 x에서 쿠키가 나왔을 확률은 얼마일까? 그리고, 이는 쿠키를 101개의 그릇에서 꺼냈기 때문에..

매트릭스 벡터의 곱은 매트릭스가 m * n 이라고 하면, 곱하기 위한 원소의 길이는 매트릭스의 칼럼인 n과 길이가 같아야 한다.   Row Interpretation 이란  매트릭스 안에 있는 ROW 의 각 원소에 특정 값 x를 곱한 겂의 합 b1Tx + b2Tx ... bnTx 형식으로 row 별로 값을 반환한다. Pandas 기준으론 Row 데이터에 각 곱을 해준다고 상상하면 된다. 그리고 그 row 값들의 합을 각 행 별로 반환한 것. Column Interpreation 은 반대로, 각 칼럼을 기준으로 곱하면 된다. 이는 Linear Combination과도 같다.    0 * 2 + 2 * 1 + -1 * -1 로 기존 매트릭스 형태에서 칼럼 기준으로 곱을 해주고, 각 칼럼 첫자리에 있는 곱의 ..

해당 베이지안 공부는 Think Bayes(파이썬을 활용한 베이지안 통계) 책을 기반으로 공부하고, 정리하였습니다.    0. 베이지안  베이지안은 왜 필요할까? 베이지안은 불확실성을 다루는 통계적 방법론 중 하나로, 믿음의 정도를 확률적으로 나타내고 이를 업데이트하는 데 중점을 두는 방법론이다. 빈도주의적 통계학은 데이터의 빈도나 반복에 기반하여 추론을 진행한다. 그렇다면, 빈도주의적 통계학도 있는데 베이지안 접근 방법은 왜 필요할까? 1. 개인화된 추론을 가능케한다.베이지안 통계학은 개인화된 추론을 허용합니다. 개별의 사전 믿음이나 정보를 고려하여 사후 추정치를 계산할 수 있습니다. 이는 실제 상황에서 많은 가치가 있다고 한다. 예를 들어, 의료 분야에서 각 환자의 고유한 특성과 조건을 고려하여 진단..

나의 미술 순례를 찾아줄 수 도 있는 책  미술을 이해하는 법, 나의 이야기와 연결 짓는 법을 알려주는 책 2024.05 - 06 기간에 읽게 된 책이다. 원래는 의 책을 읽고 있었는데.. 흐름상 해당 책을 더 빨리 완독하게 되었다. (더 짧은 분량과 그림이 차지한 이유였을까?) 나의 서양미술 순례를 읽으며 재미있게 느낀 포인트는 그림의 역사, 이야기, 느낀 감정을 작가 본인의 인생과 연결 짓는 부분이었다. 모든 미술작품을 보며 옥중에 있는 두 형과 누이, 아버지와 어머니를 생각하는 글과 자신의 이야기를 대입하는 유려함은 나에게, 서경식 작가가 미술작품을 온전히 느끼는 방법을 알 수 있게 되어 재밌었다. 특히, 1980년대의 재일조선인 시선으로 함께 서양미술을 감상할 수 있어 좋았다. 해당 시대의 아픔..

지피터스 : GPT 활용 커뮤니티 바야흐로 대 GPT 시대이다.구글링을 하던 시대에서 GPT에 물어보는 시대가 되었다.일상적인 지식도 지피티가 훨씬 빠르고 정확하다. 특히, 개발자 및 코더들에게는 GPT 란 날 보조해 줄 나보다 똑똑한 조수를 둔 느낌이다. 이런 시대에서, 지피터스는 지피티를 잘 활용할 수 있는 커뮤니티이다.나도 아직 해당 사이트 활동은 해보지 못했지만, 지피티 관련 정보에 유용할 것 같아 기록!  https://www.gpters.org/home