์ฐ๋ฆฌ๊ฐ ๋จธ์ ๋ฌ๋์ ๊ณต๋ถํ๋ค๋ณด๋ฉด MLE(Maximum LIkelihood Estimation)์ ๋ง์ด ์ ํ๋ค.
์ฌ๊ธฐ์ ์๋ฏธํ๋ Likelihood๊ฐ ๋ฌด์์ธ๊ฐ?
์ต๋์ฐ๋๋ฒ(MLE)๋
- ๋ชจ์์ ์ธ ๋ฐ์ดํฐ ๋ฐ๋ ์ถ์ ๋ฐฉ๋ฒ
- ํ๋ผ๋ฏธํฐ ๐ = (๐1,๐2,..๐n)์ผ๋ก ๊ตฌ์ฑ๋ ์ด๋ค ํ๋ฅ ๋ฐ๋ํจ์ P์์ ๊ด์ธก๋ ํ๋ณธ ๋ฐ์ดํฐ ์งํฉ์ x = (x1,x2,..,xn)๋ผ ํ ๋,
์ด ํ๋ณธ๋ค์์ ํ๋ผ๋ฏธํฐ ๐ = (๐1,๐2,..๐n)์ ์ถ์ ํ๋ ๋ฐฉ๋ฒ์ด๋ค.
์ข ๋ ์ฌ์ด ์ดํด๋ฅผ ์ํด ๊ทธ๋ฆผ๊ณผ ์์๋ฅผ ๋ณด๋ฉด์ MLE๋ฅผ ๋ ์ ์ดํดํด๋ณด์
์์ )
์๋ฅผ ๋ค์ด ๋ค์๊ณผ ๊ฐ์ด ๋ฐ์ดํฐ๊ฐ ์๋ค๊ณ ํ์
x = { 1, 4, 5, 6, 9 }
์ด๋ ๋ฐ์ดํฐ x๋ ์๋ ๊ทธ๋ฆผ์ ์ฃผํฉ์ ๊ณก์ ๊ณผ ํ๋์ ๊ณก์ ์ค ์ด๋ค ๊ณก์ ์ผ๋ก๋ถํฐ ์ถ์ถ๋์์ ํ๋ฅ ์ด ๋ ๋์๊ฐ?
๋์ผ๋ก๋ง ๋ด๋ ํ๋์ ๊ณก์ ๋ณด๋ค๋ ์ฃผํฉ์ ๊ณก์ ์์ ์ด ๋ฐ์ดํฐ๋ค์ ์ป์์ ๊ฐ๋ฅ์ฑ์ด ๋ ์ปค๋ณด์ธ๋ค.
ํ๋ํ ๋ฐ์ดํฐ๋ค์ ๋ถํฌใ ๊ฐ ์ฃผํฉ์ ๊ณก์ ์ ์ค์ฌ์ ๋ ์ผ์นํ๋ ๊ฒ์ฒ๋ผ ๋ณด์ด๊ธฐ ๋๋ฌธ..!
→ ์ฐ๋ฆฌ๊ฐ ๋ฐ์ดํฐ๋ฅผ ๊ด์ฐฐํจ์ผ๋ก์จ ์ด ๋ฐ์ดํฐ๊ฐ ์ถ์ถ๋์์ ๊ฒ์ผ๋ก ์๊ฐ๋๋ ๋ถํฌ์ ํน์ฑ์ ์ถ์ ํ ์ ์์์ ์ ์ ์๋ค. ์ฌ๊ธฐ์๋ ์ถ์ถ๋ ๋ถํฌ๊ฐ ์ ๊ท๋ถํ๊ณ ๊ฐ์ ํ๊ณ , ์ฐ๋ฆฌ๋ ๋ถํฌ์ ํน์ฑ ์ค ํ๊ท ์ ์ถ์ ํ๋ ค๊ณ ํ๋ค.
์ข ๋ ๊ตฌ์ฒด์ ์ผ๋ก, ์ํ์ ์ธ ์ ๊ทผ์ผ๋ก ์ด ๋ถํฌ์ ํน์ฑ์ ์ถ์ ํ๋ ๋ฐฉ๋ฒ์ ์ดํดํด๋ณด์
Likelihood Function
๋จผ์ , ๋ฐ์ดํฐ์
likelihood ๊ธฐ์ฌ๋
์ ๋ํด ์์๋ณด์
์ฌ๊ธฐ์ ์ฃผํฉ์ ๋ถํฌ์ ๋ํด ๊ฐ ๋ฐ์ดํฐ๋ค์ Likelihood ๊ธฐ์ฌ๋๋ฅผ
์ ์ ์ ๋์ด
๋ก ๋ํ๋๋ค.
likelihood๋ ํ๋ง๋๋ก ์ฝ๊ฒ ํํํ๋ฉด,
์ง๊ธ ์ป์ ๋ฐ์ดํฐ๊ฐ ์ด ๋ถํฌ๋ก๋ถํฐ ๋์์ ๊ฐ๋ฅ๋
๋ฅผ ๋งํ๋ค.
์์น์ ์ผ๋ก ์ด ๊ฐ๋ฅ๋๋ฅผ ๊ณ์ฐํ๊ธฐ ์ํด์๋ ๊ฐ ๋ฐ์ดํฐ ์ํ์์ ํ๋ณด ๋ถํฌ์ ๋ํ ๋์ด(likelihood ๊ธฐ์ฌ๋)๋ฅผ ๊ณ์ฐํด์ ๋ค ๊ณฑํ ๊ฒ์ ์ด์ฉํ ์ ์๋ค. (์ด๋, ๊ณ์ฐ๋ ๋์ด๋ฅผ ๋ํ์ง ์๊ณ ๊ณฑํด์ฃผ๋ ์ด์ ๋ ๋ชจ๋ ๋ฐ์ดํฐ ์ถ์ถ์ด ๋ ๋ฆฝ์ ์ผ๋ก ์ฐ๋ฌ์ ์ผ์ด๋๋ ์ฌ๊ฑด์ด๊ธฐ ๋๋ฌธ์ด๋ค)
์ด๋ ๊ฒ ํ์ฌ ๊ณ์ฐ๋ ๊ฐ๋ฅ๋๋ฅผ ์๊ฐํด๋ณผ ์ ์๋ ๋ชจ๋ ํ๋ณด ๋ถํฌ๋ค์ ๋ํด ๊ณ์ฐํ๊ณ ์ด๊ฒ์ ๋น๊ตํ๋ฉด ์ฐ๋ฆฌ๋ ์ง๊ธ ์ป์ ๋ฐ์ดํฐ๋ฅผ ๊ฐ์ฅ ์ ์ค๋ช ํ ์ ์๋ ํ๋ฅ ๋ถํฌ๋ฅผ ์ป์ด๋ผ ์ ์๊ฒ ๋๋ค.
์ฌํ๊ป ์๊ธฐํ likelihood๋ฅผ ์กฐ๊ธ ๋ ์ํ์ ์ผ๋ก ์์ ํ๋ฉด ๋ค์๊ณผ ๊ฐ๋ค.
์ ์ฒด ํ๋ณธ์งํฉ์ ๊ฒฐํฉํ๋ฅ ๋ฐ๋ ํจ์๋ฅผ likelihood function ์ด๋ผ๊ณ ํ๋ค.
์ ์์ ๊ฒฐ๊ณผ ๊ฐ์ด ๊ฐ์ฅ ์ปค์ง๋ ๐๋ฅผ ์ถ์ ๊ฐ ๐^๋ก ๋ณด๋ ๊ฒ์ด ๊ฐ์ฅ ๊ทธ๋ด๋ฏํ๋ค.
์ ์์ likelihood function์ด๋ผ๊ณ ํ๊ณ , ๋ณดํต์ ์์ฐ๋ก๊ทธ๋ฅผ ์ด์ฉํด ์๋์ ๊ฐ์ด log-likelihood function L(๐||x)๋ฅผ ์ด์ฉํ๋ค.
์๋ ์ฐ๋ฆฌ์ ๋ชฉ์ ์ด์๋ Likelihood function์ maximum๊ฐ์ ์ฐพ๋ ๋ฐฉ๋ฒ์ ์์๋ณด์
Likelihood function์ ์ต๋๊ฐ์ ์ฐพ๋ ๋ฒ
๊ฒฐ๋ก ์ ์ผ๋ก, MLE, Maximum Likelihood Estimation์ "Likelihoodํจ์์ ์ต๋๊ฐ์ ์ฐพ๋ ๋ฐฉ๋ฒ" ์ด๋ผ๊ณ ํ ์ ์๋ค.
logํจ์๋ ๋จ์กฐ์ฆ๊ฐํจ์์ด๊ธฐ์ likelihood function์ ์ต๋๊ฐ์ ์ฐพ์ผ๋, log-likelihood function์ ์ต๋๊ฐ์ ์ฐพ์ผ๋ ๋ ๊ฒฝ์ฐ ๋ชจ๋์ ์ต๋๊ฐ์ ๊ฐ๊ฒ ํด์ฃผ๋ ์ ์์ญ์ ํจ์ ์ ๋ ฅ์ ๋์ผํ๋ค.
→ ๋ฐ๋ผ์, ๋ณดํต์ ๊ณ์ฐ์ ํธ์๋ฅผ ์ํด log-likelihood์ ์ต๋๊ฐ์ ์ฐพ๋๋ค.
โ๏ธ ์ด๋ค ํจ์์ ์ต๋๊ฐ์ ์ฐพ๋ ๋ฐฉ๋ฒ ์ค ๊ฐ์ฅ ๋ณดํธ์ ์ธ ๋ฐฉ๋ฒ์ ๋ฏธ๋ถ๊ณ์๋ฅผ ์ด์ฉํ๋ ๊ฒ์ด๋ค.
์ฆ, ์ฐพ๊ณ ์ํ๋ ํ๋ผ๋ฏธํฐ ๐์ ๋ํ์ฌ ๋ค์๊ณผ ๊ฐ์ด ํธ๋ฏธ๋ถ์ ํ๊ณ ๊ทธ ๊ฐ์ด 0์ด ๋๋๋กํ๋ ๐๋ฅผ ์ฐพ๋ ๊ณผ์ ์ ํตํด likelihoodํจ์๋ฅผ ์ต๋ํ ์์ผ์ค ์ ์๋ ๐๋ฅผ ์ฐพ์ ์ ์๋ค.
๐ ๋จธ์ ๋ฌ๋์ ์ํด ์์์ผํ ๊ธฐ์ด ํต๊ณ์ง์ ์ฐธ๊ณ ํ์ค ๋ถ์ ์๋ ๋งํฌ๋ฅผ ํตํด ํ์ธํด๋ณด์ธ์..!
reference : https://angeloyeo.github.io/2020/07/17/MLE.html
'Computer Science > Data Science' ์นดํ ๊ณ ๋ฆฌ์ ๋ค๋ฅธ ๊ธ
[๋จธ์ ๋ฌ๋์ ์ํ ํต๊ณ์ง์] (0) | 2022.08.16 |
---|---|
[Machine Learning] Logistic Regression ์์๋ฅผ ํตํด ๋ค์ค์ ํํ๊ท ์ดํดํ๊ธฐ (0) | 2022.06.22 |
[Machine Learning] ์์๋ธ ๊ธฐ๋ฒ์ด๋? (0) | 2022.06.20 |
[CNN] CNN feature map๊ณผ filter ์๊ฐํ (0) | 2022.04.18 |
[text mining] word embedding ์ด๊ฑฐ๋ฉด ๋! (0) | 2022.03.02 |
[Machine Learning] LightGBM์ด๋? โ ์ค๋ช ๋ฐ ์ฅ๋จ์ (0) | 2021.05.20 |
[Machine Learning] ๋จธ์ ๋ฌ๋, ๋ชจ๋ธ์ ํธํฅ(bias)๊ณผ ๋ถ์ฐ(variance) : trade-off ๊ด๊ณ (0) | 2021.05.12 |
๋ฌธ์์ ์ฌ๋ (0) | 2021.04.29 |