[Machine Learning] Logistic Regression 예시를 통해 다중선형회귀 이해하기

Logistic Regression

• 범주형 변수 예측 모델

 

Logistic Regression을 알기전에 linear regression을 먼저 알아야.

 

 

Multiple Linear Regression (다중선형회귀)

• 수치형 설명변수 X와 연속형 숫자로 이뤄진 종속변수 Y간의 관계를 선형으로 가정하고 이를 가장 잘 표현할 수 있는 회귀계수를 데이터로부터 추정하는 모델
  • 이때 회귀계수는 모델의 예측값과 실제값의 차이(오차제곱합 error sum of squared)을 최소로 하는 값
• 설명변수가 p개인 다중선형회귀의 일반 식

• 예시 - 1
  • 나이와 혈압 데이터가 주어졌을 때, 오차제곱합을 최소로 하는 회귀계수 구하기
    • 설명변수 X : 나이
    • 종속변수 Y : 혈압

 

 

 

앞서 종속변수 Y는 ‘혈압’으로 연속형 숫자였음. 그렇다면, 연속형 숫자 대신 범주형 변수를 이용해 위와 같은 회귀모델을 만들 수 있는가

• 예시 - 2
  • 나이와 암 발생여부 (1: 발병, 0: 정상)
    • 설명변수 X : 나이
    • 종속변수 Y : 암 발생여부 (0/1)

 

 

이처럼 그래프가 이상하게 그려지는 이유는 Y의 성질 때문. 범주형이기 때문에 정상 1, 발병 0 으로 바뀌어도 전혀 지장이 없으며 0,1 숫자는 아무 의미를 지니지 않음

→ 그렇기에 Y가 범주형인 경우 다중선형회귀 모델을 그대로 적용할 수 없음요약하자면, 다중선형회귀는 종속변수가 연속형, 로지스틱회귀는 종속변수가 범주형

⇒ 이러한 문제를 해결하기 위해 제안된 로지스틱 회귀 모델 (Logistic Regression)

 

 

 

요약하자면, 다중선형회귀는 종속변수가 연속형, 로지스틱회귀는 종속변수가 범주형