ADsP : 과목III. 데이터 분석 - 분류분석

1. 분류분석의 목적

a. 반응변수가 범주형인 경우, 새로운 자료에 대한 분류가 주목적

b. 반응변수가 연속형인 경우, 그 값을 예측하는 것이 주 목적

2. 로지스틱 회귀모형

a. 로지스틱 회귀모형이란?

- 반응변수가 범주형인 경우에 적용되는 회귀분석 모형

- 즉, 반응변수가 성공/ 실패 같이 두 가지 범주로 되어 있을 때 종속변수와 독립변수간의 관계식으로 두 집단을 분류할 수 있다.

b. 로지스틱 회귀모형이 선호되는 이유

- 독립변수에 대해 어떤 가정도 필요하지 않음

- 독릭변수가 연속형 및 이산형 모두 가능하기때문에 판별분석보다 선호됨

c. 오즈비 (Odds ratio)

- 변수가 성공 또는 실패로 구성된다면 Odds는 한 집단이 다른 집단에 비해 성공할 승산 비에 대한 측정량

- 오즈비 = 성공률/실패욜 = Pi/(1-Pi) 단, Pi는 성공률

§ 성공 가능성이 높은 경우는 1보다 크고

§ 실패 가능성이 높은 경우는 1보다 작다

d. 선형회귀분석 vs 로지스틱 회귀분석

- 최대우도추정법이란?

§ 관측값이 가정된 모집단에서 하나의 표본으로 추출된 가능성이 가장 크게 되도록 하는 회귀계수 추정방법

§ 표본의 수가 클 경우에 최대우도추정법은 안정적

	일반선형 회귀분석	로지스틱 회귀분석
종속변수	연속형 변수	이산형 변수
모형 탐색 방법	최소자승법	최대우도법, 가중최소자승법
모형 검정	F검정, t검정	카이제곱 검정

e. 로지스틱 회귀분석 함수 glm()

- glm(모형, data, family="binominal")

3. 신경망 모형

a. 인공신경망 모형(ANN, Artificial Neuron Network)

- 몇 개의 층을 만들고, 층 마다 뉴런을 넣는다. 각 뉴런들은 자신에게 들어온 신호에 가중치를 주고 다음 뉴런으로 전송하는 방식

- 신경망에 입력이 주어지면 은닉층(Hidden Layer)에 도달한다.

- 은닉층의 노드는 주어진 입력에 따라 활성화된다.

- 활성화된 은닉 노드는 출력값을 계산하고 그 결과를 출력층에(Output Layer) 전달한다.

- 이 출력값이 최종 예측결과가 된다.

b. 역전파알고리즘(back-propagation algorithm)

- 인공신경망을 학습시키기 위한 가장 기본적이고 일반적인 알고리즘

- 계산적 편의성이 큼

- 오차가 본래 진행 방향과 반대 방향으로 전파되어 붙여진 이름

c. 신경망 학습 과정

- 가중치(Weight)를 조절하는 작업이다.

- 입력값과 출력값이 있을 떄, 입력값을 입력층에 준 다음, 모델의 출력값이 원하는 값과 같은지 확인한다. 같이 않다면 가중치를 조정한다.

- 가중치를 계산하는 함수를 활성함수(activation function)라 한다.

§ 결과 범위를 제한

§ 계산의 편의성 제공

§ 시그모이드함수(미분에 용이), 부호함수, 소프트맥스 함수 등

d. 은닉층 및 은닉노드 수를 정할 때 고려할 사항

- 다층신경망은 단층신경망에 비해 훈련이 어려움

- 노드가 많을수록 복잡성을 잡아내기 쉽지만, 과적합의 가능성이 높아짐

- 은닉층 노드가 너무 적으면 복잡한 의사결정 경계를 만들기 어려움

- 시그모이드 활성함수를 가지는 2개 층의 네트워크는 임의의 의사결정 경계를 모형화할 수 있음

- 출력층의 노드수는 출력 범주의 수로 결정, 입력의 수는 입력 차원의 수로 결정

e. 신경망 모형의 장점

- 변수가 많거나 입력, 출력변수가 복잡한 비선형 관계에 유용

- 잡음에 대해서도 민감하게 반응하지 않음

- 입력변수와 결과변수가 연속형이나 이산형인 경우 모두 처리가능

f. 신경망 모형의 단점

- 결과에 대한 해석이 쉽지 않음

- 최적의 모형을 도출하는 것이 상대적으로 어려움

- 데이터를 정규화하지 않으면 지역해(local minimum)에 빠질 수 있음

- 모형이 복잡하면 훈련 과정에 시간이 많이 소비

4. 의사결정나무 모형

a. 의사결정나무란?

- 의사결정 규칙을 나무(tree) 구조로 나타내어 전체 자료를 몇 개의 소집단으로 분류하거나 예측을 수행하는 분석 방법

b. 의사결정나무의 구성요소

- 뿌리마디(root node): 시작되는 마디로 자료 전체를 포함

- 자식마디(child node): 하나의 마디로부터 분리되어 나간 2개 이상의 마디

- 부모마디(parent node): 주어진 마디의 상위 마디

- 최종마디(terminal node): 자식마디가 없는 마디

- 중간마디(internal node): 부모마디와 자식마디가 있는 마디

- 가지(branch): 뿌리마디로부터 최종마디까지 연결된 마디들

- 깊이(depth): 뿌리마디부터 최종마디까지 중간 마디들의 수

- 가지분할(split): 나무의 가지를 생성하는 과정

- 가지치기(pruning): 생성된 가지를 잘라내어 모형을 단순화하는 과정

c. 과대적합

- 과대적합(Over fitting) : training set이 정확한 결과를 보여주기 위해 복잡하게 모델을 만든것.

- 과소적합(Under fitting) : 모델이 너무 간단하여 정확도가 낮은 모델을 만든것

- 과대적합의 경우 training set에 대해서는 높은 정확도를 보여주지만, 새로운 데이터가 입력되면 잘못된 결과를 예측할 수 있다.

- 과소적합의 경우 모델은 간단하지만 training set에 대해서도 정확한 결과가 나오지 않을 수 있음

d. 의사결정나무 구분

- 분류나무(classification tree)

§ 분류기준방법 : 카이제곱통계량의 p값, 지니 지수, 엔트로피 지수

§ 카이제곱통계량의 p값이 작을 수록, 지니 지수와 엔트로피 지수가 클 수록 자식노드 내의 이질성이 큼. 

§ 따라서 이 값이 작아지는 방향으로 가지분할을 수행

- 회귀나무(regression tree)

§ 분류기준방법 : F통계량의 p값, 분산의 감소량

§ F통계량의 값이 클 수록 오차변동에 비해 처리의 변동이 크다는 것을 의미하고, 자식노드간 이질성이 큼을 의미

§ 따라서 p값이 작아지는 방향으로 가지분할을 수행

§ 의사결정나무 알고리즘 분류 및 기준변수의 선택법

	이산형 목표변수	연속형 목표변수
CHAID	카이제곱통계량	ANOVA F통계량
CART	지니 지수	분산 감소량
C4.5	엔트로피 지수

e. 의사결정나무 장점

- 구조가 단순하여 해석이 용이함

- 유용한 입력변수의 파악과 예측변수 간의 상호작용 및 비선형성을 고려한 분석이 가능

- 선형성, 정규성, 등분산성 등의 수학적 가정이 불필요한 비모수적 모형

- 계산 비용이 낮아 대규모의 데이터셋에서도 비교적 빠른 연산이 가능

- 수치형/ 범주형 변수를 모두 사용 가능

f. 의사결정나무 단점

- 분류 기준값의 경계선 부군의 자료값에 대해서는 오차가 큼 (비연속성)

- 로지스틱회귀와 같이 각 예측변수의 효과를 파악하기 어려움

- 새로운 자료에 대한 예측이 불안정

5. 앙상블 모형

a. 앙상블 모형이란?

- 여러 개의 분류모형에 의한 결과를 종합하여 분류의 정확도를 높이는 방법

b. 배깅(bagging)

- bootstrap appregationg의 준말

- 원 데이터 집합으로부터 크기가 같은 표본을 여러 번 단순 윔의 복원추출하여,

- 각 표본(붓스트랩 표본)에 대해 분류기(classifiers)를 생성 후 그 결과를 앙상블하는 방법

- 반복추출을 하기 때문에 데이터가 한 표본에 여러 번 추출될 수도 있고, 어떤 데이터는 추출되지 않을 수 있다.

- train data를 모집단으로 생각하고 평균예측모델을 구하기 때문에 분산을 줄이고 예측력을 향상시킬 수 있다.

- 일반적으로 과적합 모델에 사용하면 좋다.

c. 부스팅(boosting)

- 배깅의 과정과 유사하나 붓스트랩 표본을 구성하는 표본추출 과정에서 각 자료에 동일한 확률을 부여하는 것이 아니라,

- 분류가 잘못된 데이터에 더 큰 가중을 주어 표본을 추출한다.

- 잘못된 데이터에 가중치를 주는 것 외에는 배깅과 동일하다.

- 가장 많이 사용되는 알고리즘은 Adaboostiong

d. 랜덤포리스트(random forest)

- 배깅에 랜덤 과정을 추가한 것이다.

- 각 노드마다 모든 예측변수 안에서 최적의 분할을 택하는 대신 예측 변수들을 임의로 추출하고, 

- 추출된 변수 내에서 최적의 분할을 만들어가는 방법을 사용

- 랜덤포리스트는 두 가지 방법을 사용해 의사결정나무를 만든다.

§ 데이터의 일부를 복원추출로 꺼내고 해당 데이터에 대해서만 만드는 방식

§ 노드 내 데이터를 자식노드로 나누는 기준을 정할 때 전체 변수가 아니라 일부 변수만 대상으로 하여 가지를 나눌 기준을 찾는 방법

6. 서포트 벡터 머신(SVM, Support Vector Machine)

a. 서포트 벡터 머신이란?

- 서로 다른 분류에 속한 데이터 간의 간격이 최대가 되는 선을 찾아 이를 기준으로 데이터를 분류하는 모델

- 서로 유사한 그룹끼리 칸막이를 쳐서 나누는 것이다. 이 칸막이를 초평면(Hyperplane)이라고 부른다.

- 분류 및 수치 예측 등 거의 모든 학습 문제에 잘 대처할 수 있는데, 특히 패턴 인식 분야에 활용됨

- 패키지는 Kerlab, e1071이 있음

b. SVM의 장점

- 에러율이 낮음

- 결과를 해석하기 용이

c. SVM의 단점

- 튜닝 파라미터 및 커널 선택에 민감

- 이진분류(Binary Classification)에만 다룰 수 있음

7. 나이브 베이즈 분류모형(naïve Bayes classification)

a. 나이브 베이즈 분류 모형이란?

- 사후확률(일종의 조건부 결합확률)의 계산 시 조건부 독립을 가정하여 계산을 단순화한 방법으로,

- 사후확률이 큰 집단으로 새로운 데이터를 분류하게 된다.

- 베이즈정리에 기반한 방법

b. 나이브 베이즈 분류의 장점

- 지도학습 환경에서 매우 효율적으로 훈련가능

- 분류에 필요한 파라미터 추정을 위한 training data가 매우 적어도 사용 가능

- 분류가 multi-class에서 쉽고 빠르게 예측이 가능

c. 나이브 베이즈 분류의 단점

- training data에는 없고, test data에 있는 범주에서는 확률이 0으로 나타나 정상적인 예측이 불가능한 zero frequency가 됨

- 서로 확률적으로 독립이라는 가정이 위반되는 경우 오류 발생

8. 모형 평가

a. 모형 평가의 목적

- 가장 적합한 모형을 선택하기 위해 성과를 평가

- 모형의 평가를 위해 전체 자료에서 모형 구축을 위한 훈련용 데이터(training data)와 검증용 자료(test data)를 추출한다.

- 이는 주어진 데이터에서만 높은 성과를 보이는 과적합화 문제를 해결하기 위함

b. 홀드아웃(hold-out) 방법

- 주어진 원천 데이터를 랜덤하게 두 분류로 분리하여 교차검정을 실시하는 방법

- 하나는 훈련용 자료로, 하나는 성과 평가를 위한 검증용 자료로 사용

- 전체 데이터의 70%는 훈련용 자료로 사용하고, 나머지를 검증용 자료로 사용

- 검증용 자료는 분류분석 모형에는 영향을 미치지 않고 성과 측정만을 위해 사용

c. 교차검증(Cross Validation)

- 주어진 데이터를 갖고 반복적으로 성과를 측정하여 그 결과를 평균한 것으로 분류분석 모형을 평가하는 방법

- k-fold 교차검증

§ 전체 데이터를 크기가 동일한 k개의 하부집합으로 나눈다.

§ k번째 하부집합을 검증용 자료로, 나머지 k-1개의 하부집합을 훈련용 자료로 사용

§ 이를 k번 반복 측정하고 각각의 반복 측정 결과를 평균 낸 값을 최종 평가로 사용

§ 일반적으로 10-fold 교차검증이 사용

d. 붓스트랩

- 평가를 반복한다는 점에서 교차검증과 유사하나 훈련용 자료를 반복 재선정한다는 차이점이 있음.

- 즉 관측치를 한 번 이상 훈련용 자료로 사용하는 복원추출법에 기반.

- 전체 데이터의 양이 크지 않은 경우의 모형평가에 가장 적합

- 오분류표(confusion matrix)

§ TP : 실제값과 예측치 모두 True인 빈도

§ TN : 실제값과 예측치 모두 False인 빈도

§ FP : 실제값은 False 이나 True로 예측한 빈도

§ FN : 실제값은 True 이나 False로 예측한 빈도

- 오분류표를 활용한 평가 지표

매트릭	계산식	의미
Precision 정확도	TP / (TP + FP)	Y로 예측된 것 중 실제로도 Y인 비율
Accuracy 정분류율	TP + TN / (TP + FP + FN + TN)	전체 예측에서 옳은 예측의 비율
Recall(Sensitivity) 재현율(민감도)	TP/ (TP + FN)	실제로 Y인 것들 중 예측이 Y로 된 경우의 비율
Specificity 특이도	TN / (FP + TN)	실제로 N인 것들 중 예측이 N으로 된 경우의 비율
FP Rate	FP / (FP + TN)	Y가 아닌데 Y로 예측된 비율 = 1 - Specificity
F1	2 × Precision × Recall / (Precision + Recall)	Precision과 Recall의 조화평균. 시스템의 성능을 하나의 수치로 표현하는 점수 0 ~ 1 사이의 값을 가짐
Kappa	Accuracy - P(e) / (1 - P(e))	두 평가자의 평가가 얼마나 일치하는지 평가하는 값 0 ~ 1 사이의 값을 가짐

- ROC 그래프(Receiver Operating Characteristic)

§ x축에는 FP Ratio(1-특이도), y축에는 민감도를 나타냄

§ 그래프의 아래 부분 면적이 넓을 수록 좋은 모형

e. 이익도표와 향상도

- 이익(gain)은 목표 범주에 속하는 개체들이 각 등급에 얼마나 분포하고 있는지를 나타내는 값.

- 해당 등급에 따라 계산된 이익값을 누적으로 연결한 도표가 이익도표

- 즉, 분류분석 모형을 사용하여 분류된 관측치가 각 등급별로 얼마나 포함되는지를 나타내는 도표

- 향상도 곡선(lift curve)는 랜덤모델과 비교하여 해당 모델의 성과가 얼마나 향상 되었는지를 각 등급별로 파악하는 그래프

§ 상위 등급에서 향상도가 매우 크고

§ 하위 등급으로 갈 수록 향상도가 감소

§ 일반적으로 이러한 모형을 예측력이 적절함을 의미하지만, 등급에 관계없이 향상도 차이가 없으면 모형의 예측력이 좋지 않음을 의미