Decision Tree 간.단.명.료

 Decision tree  
: 의사결정나무
분류(classification)과 회귀분석(regression)에 모두 사용될 수 있기 떄문에 CART(Classification And Regression Tree)라고 불림

node

• tree의 node : 질문/답을 담고 있음
  • root node : 최상위 node
    • 최상위 node의 속성 feature가 가장 중요한 특성
  • leaf node : 마지막 node (말단노드)
  • 만약 tree의 모든 leaf node가 pure node가 될 때까지 진행하면 model의 복잡도는 매우 높아지고 overfitting됨
• overfitting 방지
  1. tree의 생성을 사전에 중지 : pre-prunning (=깊이의 최대를 설정, max_depth)
  2. 데이터가 적은 node 삭제/병합 : post-prunning

feature importance

• tree는 어떻게 작동하는지 요약하는 속성들을 사용할 수 있음
• feature imporance는 tree를 만드는 결정에 각 특성이 얼마나 중요한지를 평가
• 0 ~ 1 사이 값 (0 : 전혀 사용되지 않음, 1 : 완벽하게 예측) 
• feature importance도 시각화가 가능하다
  
  
  

tree 시각화

import graphviz
from sklearn.tree import export_graphviz

 

classification 분류

• 새로운 데이터가 특정 terminal node에 속한다는 정보를 확인한 뒤 해당 terminal node에서 가장 빈도가 높은 범주에 새로운 데이처를 분류

regression 회귀

• 해당 terminal node의 종속변수(y)의 평균을 예측값으로 반환
• 예측값의 종류 = terminal node의 개수
  • 따라서, 만약 terminal node 수가 3개 뿐이라면 새로운 데이터가 1000개 주어진다 하더라도 decision tree는 딱 3종류의 답만 출력