ADsP. PART.3 - 데이터 분석 - 통계분석 - 분류(Ciassification)분석

데이터 분석 순서

 

분석용 데이터 준비     =>   탐색적 분석 데이터 전처리   =>  모델링   =>  모델 평가 및 검증    => 모델 적응 운영 방안 수립

 속성 간 상관관계 파악        데이터 확인                               회귀분석         결정계수(R^2)

  데이터 특성 파악               데이터 형식 변경                       분류분석         F통계량,t값

   분포 파악                          결측 값 처리                              군집분석         ROC Curve

                                            이상 값 처리                               연관분석         오분류표

                                            특성 조작(Scaling, Binning,                               실루엣,DI

                                             Transform,Dummery)

                                            데이터 차원 축소 

 

 

 

Machine Learning  Algorithms

 

 

분류분석 종류

1. 로지스틱 회귀
2. 의사결정나무
3. 앙상블
4. 신경망모형
5. kNN,베이즈분류 모형,SVM(서보트백터기계),유전자 알고리즘

 

 

로지스틱 회귀분석          16.18.20,22회 출제

• 독립변수는 연속형, 종속변수가 범주형인 경우 적용되는 회귀분석 모형
• 종속변수가 성공/실패, 사망/생존과 같이 이항변수(0,1)로 되어 있을 때 종속변수와 독립변수 간의 관계식을 이용하여 두 집단 또는 그 이상의 집단을 분류하고자 할 때 사용되는 분석기법  

	일반 선형 회귀분석	로지스틱 회귀분석
종속변수	연속형 변수	이산형(범주형)변수
모형 탐색방법	최소자승법(LSM,최소제곱법)	최대우도법(MLE),가중최소자승법
모형 검정	F-Test,T-Test	X^2 Test

-종속변수를 전체 실수 범위로 확장하여 분석하고, sigmoid 함수를 사용해 연속형 0~1 값으로 변경

 

 로지스틱 회귀분석 (odds)  33회 출제

 

의사결정나무(Decision Tree)모형

• 의사걀장 규칙을 나무구조로 나타내 전체자료를 몇 개의 소집단으로 분류하거나 예측을 수행하는 분석방법
• 분석과정이 직관적이고 이해하기 쉬움

 

특징

• 목적은 새로운 데이터를 분류하거나 값을 예측하는 것이다
• 분리변수 P차원 공간에 현재 분할은 이전 분할에 영향을 받는다
• 부모마디보다 자식마디의 순수도가 증가하도록 분류나무를 형성해나간다(불순도 갑소)

종류

• 목표변수(=종속변수)이산형인 경우 분류나무(classification tree)
• 목표변수가 연속형인 경우의 회귀나무

장점

• 구조가 단순하여 해석이 용이함
• 비모수적 모형으로 선형성, 정규성,등분산성 등의 수학적 가정이 불필요함
• 범주형(이산형)과 수치형(연속형)변수를 모두 사용할 수 있음

단점

• 분류 기준값의 경계선 부근의 자료 값에 대해서는 오차가 큼(비연속형)
• 로지스틱 회귀와 같이 각 예측변수의 효과를 파악하기 어려움
• 새로운 자료에 대한 예측이 불안정할 수 있음

의사결정나무의 결정규칙

분리기준

• Split criterion, 새로운 가지를 만드는 기준을 어떻게 정해야 할까?
• 순수도가 높아지는 방향으로 분리
• 불확실성이 낮아지는 방향

정지규칙

• 더 이상 분리가 일어나지 않고 현재의 마디가 최종마디가 되도록 하는 규칙
• '불순도 감소량'이 아주 작을 때 정지함

가지치기 규칙

• 어느 가지를 쳐내야 예측력이 좋은 나무일까?
• 최종 노드가 너무 많으면 Overfitting가능성이 커짐,이를 해결하기 위해 사용
• 가지치기 규칙은 별도 규칙을 제공하거나 경험에 의해 실행할 수 있음
• 가지치기 비용함수(Cost Function)을 최소로 하는 분기를 찾아내도록 학습
• Information Gain이란 어떤 속성을 선택함으로 인해 데이터를 더 잘 구분하게 되는 것을 의미함(불확실성 감소)

 

불순도 측정 지표

지니지수

•  불순도 측정 지표, 값이 적을수록 순수도가 높음(분류 잘됨)
• 가장 작은 값을 갖는 예측변수가 이때의 최적 분리에 의해 자식마다 형성
• Gini(T) = 1 - ∑(각 범주별 수/전체 수)^2 1-∑^k i=1Pi^2
• 지니지수 : 1-((2/4)+(2/4) = 1-(1/4+1/4)=1/2

엔트로피 지수

• 불순도 측정 지표,가장 작은 값을 갖는 방법 선택
• Entropy(T) : ∑^k i=1 Pilog2pi

카이제곱 통계량의 유의확률(p-value)

• 가장 작은 값을 갖는 방법 선택

 

의사결정나무를 위한 알고리즘

• 의사결정나무를 위한 알고리즘은 CHAID,CART,ID2,C5.0C4.5가 있으며 하향식 접근 방법을 이용한다
• 알고리즘별 분리, 정지 기준변수 선택법

알고리즘	이산형 목표변수(분류나무)	연속형 목표변수(회귀나무)
CART (Classification And Regrssion Tree)	지니지수	분산 감소량
C5.0	엔트로피지수
CHAID (Chi-squared Automatic Interaction Detection)	카이제곱 F통계량의 p-value	ANOVA F통계량 p-value

 

앙상블(Ensemble)모형

앙상블 모형

• 여러 개의 분류 모형에 의한 결과를 종합하여 분류의 정확도를 높이는 방법
• 적절한 표본추출법으로 데이터에서 여러 개의 훈련용 데이터 집합을 만들어 각 데이터 집합에 하나의 분류기를 만들어 결합하는 방법
• 약하게 학습 된 여러 모델들을 결합하여 사용
• 성능을 분산시키기 때문에 과적합(Overfitting)감소 효과가 있음

앙상블 모형의 종류

• Voting 부팅
• Bagging 배깅
• Booting 부스팅
• Random Forest 랜덤 포레스트

 

부팅 Voting

• 서로 다른 여러 개 알고리즘 분류기 사용
• 각 모델의 결과를 취합하여 많은 결과 또는 높은 확률로 나온 것을 최종 결과로 채택하는 것

배깅 Bagging,Bootstrap AGGregatING

• 서로 다른 훈련 데이터 샘플로 훈련, 서로 같은 알고리즘 분류기 결합
• 원 데이터에서 중복을 허용하는 크기가 같은 표본을 여러 번 단순 임의 복원 추출하여 각 표본에 대해 분류기(classifiers)를 생성하는 기법
• 여러 모델이 병렬로 학습, 그 결과를 집계하는 방식
• 같은 데이터가 여러 번 추출될 수도 있고, 어떤 데이터는 추출되지 않을 수 있음
• 대표적 알고리즘 : Meta Algorithm

부스팅 Boosting

• 여러 모델이 순차적으로 학습
• 이전 모델의 결과에 따라 다음 모델 표본 추출에서 분류가 잘못된 데이터에 가중치(weight)를 부여하여 표본을 추출함
• 맞추기 어려운 문제를 맞추는 데 초점이 맞춰져 있고, 이상치(Outlier)에 약함
• 대표적 알고리즘 : AdaBoost, GradientBoost(XGBoost, Light GBM)등

 

랜덤 포레스트 Random forest

• 배깅(Bagging)에 랜덤 과정을 추가한 방법
• 노드 내 데이터를 자식 노드로 나누는 기준을 정할 때 모든 예측변수에서 최적의 분할을 선택하는 대신, 설명변수의 일부분만을 고려함으로 성능을 높이는 방법 사용
• 여러 개 의사결정 나무를 사용해, 하나의 나무를 사용할 때마다 과적합 문제를 피할 수 있음

k-NN(k-Nearest Neighbors)

• 새로운 데이터에 대해 주어진 이웃의 개수(k)만큼 가까운 맴버들과 비교하여 결과를 판단하는 방법
• k값에 따라 소속되는 그룹이 달라질 수 있음(k값은 hyper parameter)
• 거리를 측정해 이웃들을 뽑기 때문에 스케일링이 중요함
• 반응변수가 범주형이면 분류, 연속형이면 회귀의 목적으로 사용됨
• 모형을 미리 만들지 않고, 새로운 데이터가 들어오면 그때부터 계산을 시작하는 lazy learning(게으른 학습)이 사용되는 지도 학습 알고리즘

 

SVM(Support Vector Machine)

• Support Vector Machine, 서로 다른 분류에 속한 데이터 간의 간격(margin)이 최대가 되는 선을 찾아 이를 기준으로 데이터를 분류하는 모델
• 아래 그림에서 H3는 분류를 올바르게 하지 못하며, H1,H2는 분류를 올바르게 하는 데 H2가 H1보다 더 큰 간격을 갖고 분류하므로 이것이 분류 기준이 됨