[머신러닝] Likelihood "우도" 란?

우리가 머신러닝을 공부하다보면 MLE(Maximum LIkelihood Estimation)을 많이 접한다.

여기서 의미하는 Likelihood가 무엇인가?

 

최대우도법(MLE)란

- 모수적인 데이터 밀도 추정 방법

- 파라미터 𝜃 = (𝜃1,𝜃2,..𝜃n)으로 구성된 어떤 확률밀도함수 P에서 관측된 표본 데이터 집합을 x = (x1,x2,..,xn)라 할 때,

이 표본들에서 파라미터 𝜃 = (𝜃1,𝜃2,..𝜃n)을 추정하는 방법이다.

 

좀 더 쉬운 이해를 위해 그림과 에시를 보면서 MLE를 더 잘 이해해보자

 

 

예시 )

예를 들어 다음과 같이 데이터가 있다고 하자

x = { 1, 4, 5, 6, 9 }

이때  데이터 x는 아래 그림의 주황색 곡선과 파란색 곡선 중 어떤 곡선으로부터 추출되었을 확률이 더 높은가?

 

반응형

눈으로만 봐도 파란색 곡선보다는 주황색 곡선에서 이 데이터들을 얻었을 가능성이 더 커보인다.

획득한 데이터들의 분포ㅗ가 주황색 곡선의 중심에 더 일치하는 것처럼 보이기 때문..!

 

→ 우리가 데이터를 관찰함으로써 이 데이터가 추출되었을 것으로 생각되는 분포의 특성을 추정할 수 있음을 알 수 있다. 여기서는 추출된 분포가 정규분퐐고 가정했고, 우리는 분포의 특성 중 평균을 추정하려고 했다.

 

 

좀 더 구체적으로, 수학적인 접근으로 이 분포의 특성을 추정하는 방법을 이해해보자

 

Likelihood Function

먼저, 데이터의

likelihood 기여도

에 대해 알아보자

여기서 주황색 분포에 대해 각 데이터들의 Likelihood 기여도를

점선의 높이

로 나타냈다.

likelihood는 한마디로 쉽게 표현하면,

지금 얻은 데이터가 이 분포로부터 나왔을 가능도

를 말한다.

 

수치적으로 이 가능도를 계산하기 위해서는 각 데이터 샘플에서 후보 분포에 대한 높이(likelihood 기여도)를 계산해서 다 곱한 것을 이용할 수 있다. (이때, 계산된 높이를 더하지 않고 곱해주는 이유는 모든 데이터 추출이 독립적으로 연달아 일어나는 사건이기 때문이다)

 

이렇게 하여 계산된 가능도를 생각해볼 수 있는 모든 후보 분포들에 대해 계산하고 이것을 비교하면 우리는 지금 얻은 데이터를 가장 잘 설명할 수 있는 확률분포를 얻어낼 수 있게 된다.

 

여태껏 얘기한 likelihood를 조금 더 수학적으로 서술하면 다음과 같다.

전체 표본집합의 결합확률밀도 함수를 likelihood function 이라고 한다.

위 식의 결과 값이 가장 커지는 𝜃를 추정값 𝜃^로 보는 것이 가장 그럴듯하다.

 

위 식을 likelihood function이라고 하고, 보통은 자연로그를 이용해 아래와 같이 log-likelihood function L(𝜃||x)를 이용한다.

 

 

원래 우리의 목적이었던 Likelihood function의 maximum값을 찾는 방법을 알아보자

 

 

Likelihood function의 최대값을 찾는 법

결론적으로, MLE, Maximum Likelihood Estimation은 "Likelihood함수의 최댓값을 찾는 방법" 이라고 할 수 있다.

 

log함수는 단조증가함수이기에 likelihood function의 최댓값을 찾으나, log-likelihood function의 최댓값을 찾으나 두 경우 모두의 최댓값을 갖게 해주는 정의역의 함수 입력은 동일히다.

→ 따라서, 보통은 계산의 편의를 위해 log-likelihood의 최댓값을 찾는다.

 

 

 

✔︎ 어떤 함수의 최댓값을 찾는 방법 중 가장 보편적인 방법은 미분계수를 이용하는 것이다.

 

즉, 찾고자하는 파라미터 𝜃에 대하여 다음과 같이 편미분을 하고 그 값이 0이 되도록하는 𝜃를 찾는 과정을 통해 likelihood함수를 최대화 시켜줄 수 있는 𝜃를 찾을 수 있다.

 

 

 

 

👇 머신러닝을 위해 알아야할 기초 통계지식 참고하실 분은 아래 링크를 통해 확인해보세요..!

[머신러닝을 위한 통계지식]

 

 

 

 

 

reference : https://angeloyeo.github.io/2020/07/17/MLE.html