단순선형회귀 / 다중선형회귀 간.단.명.료

단순선형회귀

• 하나의 특성을 이용해서 타겟 예측
• y = wx + b
  • y : 예측값
  • x : 특성
  • w : 가중치/계수(coefficient)
  • b : 편향(offset)
• 주어진 sample data들을 이용하여 가장 적합한 w와 b를 찾아야 함
  • -> 보통 경사하강법(gradient descent)를 이용해서 찾는다

 

다중선형회귀

• 여러 개의 특성을 이용해서 타겟 예측
• y = w0x0 + w1x1 = w2x2 + ... + b
• 역시 MSE를 최소화하는 가장 적합한 w들과 b를 찾는 것이 목표
• 문제 : 과대적합 될 때가 종종 있다 => 일반화 능력이 떨어진다
  • 릿지(Ridge)와 라쏘(Lasso) 방법으로 해결