🌷나의 선인장🌵

개요 단순규칙모형: 예측변수가 필요 없는 모형, 주로 고급 모형들과 비교하기 위한 baseline 단순 베이즈 분류모형 => 이 기법들은 데이터 구조에 대한 가정을 거의 하지 않는다는 공통점! (data-driven) (makes no assumption about the data) 단순규칙 모든 예측변수를 분류한 상채에서 어느 한 record를 m개의 집단 중에 제일 많은 하나(prevalent class)로 분류하는 단순한 규칙 단순 베이즈 분류모형 단순규칙보다 정교한 방법 : 단순규칙 + 예측변수 정보 다른 분류모형과 달리 naive bayes classifier는 예측변수가 범주형인 경우에만 적용됨 따라서 수치형 예측변수는 범주형 예측변수로 변환하여야 함 단순 베이즈 기법은 데이터 집합이 매우 클..

Decision tree : 의사결정나무 분류(classification)과 회귀분석(regression)에 모두 사용될 수 있기 떄문에 CART(Classification And Regression Tree)라고 불림 node tree의 node : 질문/답을 담고 있음 root node : 최상위 node 최상위 node의 속성 feature가 가장 중요한 특성 leaf node : 마지막 node (말단노드) 만약 tree의 모든 leaf node가 pure node가 될 때까지 진행하면 model의 복잡도는 매우 높아지고 overfitting됨 overfitting 방지 tree의 생성을 사전에 중지 : pre-prunning (=깊이의 최대를 설정, max_depth) 데이터가 적은 node 삭..

Ensemble 앙상블 여러 개의 머신러닝 model을 연결하여 강력한 model을 만드는 기법 classifier/regression에 전부 효과적 random forest와 gradient boosting은 둘다 model을 구성하는 기본 요소로 decision tree를 사용한다 random forest 조금씩 다 다른 여러 decision tree의 묶음 랜덤 포레스트의 등장 배경 : 각각의 tree는 비교적 예측을 잘 할 수 있지만, 데이터의 일부에 overfitting하는 경향을 가짐 따라서, 잘 작동하지만 서로 다른 방향으로 overfitting된 tree를 많이 만들고 그 결과를 평균내면 overfitting을 줄일 수 있다 이렇게 하면 tree model의 예측 성능은 유지하되 overf..

알고리즘 : 1) cluster의 개수 k를 지정 k개의 초기 평균값 지정 2) 선태한 k개의 cluster 중심과 개별 데이터 사이의 거리 계산 개별 데이터는 가장 가깝게 있는 cluster의 중심을 그 데이터가 소속되는 cluster로 할당 3) 클러스터에 속하게 된 데이터들의 평균값을 새로운 클러스터의 중심으로 둠 4) 2~3단계를 알고리즘이 수렴할 때까지 반복 (클러스터의 중심이 더이상 변하지 않을 때까지) 출처 : m.blog.naver.com/PostView.nhn?blogId=samsjang&logNo=221016339218&proxyReferer=https:%2F%2Fwww.google.com%2F [30편] k-means 클러스터링 우리는 여태까지 답이 이미 제시되어 있는 데이터를 이용하..