🌷나의 선인장🌵

우리가 머신러닝을 공부하다보면 MLE(Maximum LIkelihood Estimation)을 많이 접한다. 여기서 의미하는 Likelihood가 무엇인가? 최대우도법(MLE)란 - 모수적인 데이터 밀도 추정 방법 - 파라미터 𝜃 = (𝜃1,𝜃2,..𝜃n)으로 구성된 어떤 확률밀도함수 P에서 관측된 표본 데이터 집합을 x = (x1,x2,..,xn)라 할 때, 이 표본들에서 파라미터 𝜃 = (𝜃1,𝜃2,..𝜃n)을 추정하는 방법이다. 좀 더 쉬운 이해를 위해 그림과 에시를 보면서 MLE를 더 잘 이해해보자 예시 ) 예를 들어 다음과 같이 데이터가 있다고 하자 x = { 1, 4, 5, 6, 9 } 이때 데이터 x는 아래 그림의 주황색 곡선과 파란색 곡선 중 어떤 곡선으로부터 추출되었을 확률이 더 높은가?..

머신러닝에서 편향과 분산은 언제 쓰이는 용어인가? Supervised Learning(지도학습)에 대해서 간단히 설명해보자면 사람이 정해준 정답이 있고, 우리의 모델은 그 정답을 잘 맞추는 방향으로 학습(training)을 한다. 이때, 학습을 하면서 모델이 내놓는 예측값들의 경향을 표현하기위해 편향과 분산이라는 용어를 사용한다. 쉽게 말하자면, 다음과 같다 A. 예측값과 정답 간의 관계를 "편향"으로 표현 (bias : model의 output과 실제값 사이의 제곱 error, 정확도와 비슷한 개념) B. 예측값끼리의 관계를 "분산"으로 표현 (variance : model이 각기 다른 train set에 대하여 성능의 변화정도가 급하게 변하는지, 안정적으로 변하는지를 나타내는 척도) [딥러닝] Bia..

Decision tree : 의사결정나무 분류(classification)과 회귀분석(regression)에 모두 사용될 수 있기 떄문에 CART(Classification And Regression Tree)라고 불림 node tree의 node : 질문/답을 담고 있음 root node : 최상위 node 최상위 node의 속성 feature가 가장 중요한 특성 leaf node : 마지막 node (말단노드) 만약 tree의 모든 leaf node가 pure node가 될 때까지 진행하면 model의 복잡도는 매우 높아지고 overfitting됨 overfitting 방지 tree의 생성을 사전에 중지 : pre-prunning (=깊이의 최대를 설정, max_depth) 데이터가 적은 node 삭..

Ensemble 앙상블 여러 개의 머신러닝 model을 연결하여 강력한 model을 만드는 기법 classifier/regression에 전부 효과적 random forest와 gradient boosting은 둘다 model을 구성하는 기본 요소로 decision tree를 사용한다 random forest 조금씩 다 다른 여러 decision tree의 묶음 랜덤 포레스트의 등장 배경 : 각각의 tree는 비교적 예측을 잘 할 수 있지만, 데이터의 일부에 overfitting하는 경향을 가짐 따라서, 잘 작동하지만 서로 다른 방향으로 overfitting된 tree를 많이 만들고 그 결과를 평균내면 overfitting을 줄일 수 있다 이렇게 하면 tree model의 예측 성능은 유지하되 overf..

머신러닝에 관련한 글을 읽다보면 "ground-truth"라는 용어를 많이 접하게 된다. "ground-truth"는 기상학에서 유래하였으며, 어느 한 장소에서 수집된 정보를 의미하는 용어로 사용되었다고 한다. 그렇다면 machine learning/AI의 문맥에서 사용되는 "ground-truth"의 뜻은 무엇인가. What is ground truth? Ground truth isn't true. It's an ideal expected result. It might involve hand-labeling example datapoints to collect desirable answer data for training your system. For example, a set of images mig..