KFold클래스를 이용한 벡터기계(SVM) 알고리즘 교차 검증

● KFold클래스를 이용한 벡터기계(SVM) 알고리즘 교차 검증

> 실행

1. 제일 성능이 좋다는 벡터기계(SVM) 알고리즘을 이용하여 이전 모델의(MultinoialNB클래스) 예측보다 정확도를 평균 20%정도 상승시켰다. 결과 편차가 있긴해도 대략적으로 정확도 평균이 75%정도다(굉장히 신기하다!). 학습 자료와 테스트 자료는 랜덤하게 뽑았고 단 한개도 중복되지 않게 만들었다.

그런데 좀 이상한 것은 그 뒤에 KFold클래스를 사용했을 때다. 이 클래스에 총 문서수를 넣고 교차검증을 하면 자기가 알아서 섞이는 일이 없도록 정확히 구분한다고 하는데, 그렇다면 내가 전에 만들었던 9:1 훈련 문서 분류 작업과 동일한 작업이라는 건데 결과는 이게 훨씬 나쁘게 나온다. 아래가 그 결과다.

Accuracy        Precision       Recall          F1

0.59242         0.49665         0.52332         0.48513

0.75355         0.50795         0.51563         0.48133

0.77014         0.66157         0.61531         0.62512

0.56872         0.37439         0.38265         0.37612

0.17577         0.22627         0.16359         0.17597

Avg Accuracy: 0.5721212189438373, Std Dev: 0.21431124575385863

Avg Precision: 0.4533648469984103, Std Dev: 0.14561024367169234

Avg Recall: 0.4400986255677289, Std Dev: 0.15690035193922436

Avg F1: 0.4287327556310334, Std Ddev: 0.1491106614903449

결과가 이상해서 fold를 5에서 10으로 늘려봤다. 크게 좋아졌지만 여전히 나쁘다.

Accuracy        Precision       Recall          F1

0.56872         0.38732         0.37059         0.37097

0.69668         0.55945         0.58298         0.56342

0.74882         0.54664         0.48895         0.50428

0.79147         0.65780         0.62903         0.59844

0.78673         0.79259         0.67680         0.69774

0.81043         0.83130         0.64801         0.68566

0.72038         0.62562         0.55983         0.56030

0.47867         0.26723         0.27148         0.26221

0.40284         0.23416         0.33309         0.19256

0.28095         0.30852         0.15568         0.19884

Avg Accuracy: 0.6285691717445273, Std Dev: 0.17606564810343844

Avg Precision: 0.5210634391275499, Std Dev: 0.20286311462199674

Avg Recall: 0.47164299640376256, Std Dev: 0.16963090837090414

Avg F1: 0.46344254182131894, Std Ddev: 0.1832991835545736

마지막 검증으로 갈수록 결과가 나빠진다. 그 전의 모델로 여러 번 테스트 해봤지만 정확도가 저렇게 낮게 나온적이 없었는데 여기서는 10, 20%대가 나오기도 하고 표준편차가 무려 18~21%다. 나머지 factor들은 말할 것도 없다. 여러 번 돌려봤는데 매번 위와 완전히 동일한 값이 나온다(무언가 잘못되었다는 직감이다ㅡ,ㅡ)

테스트 결과가 동일하다는 것도 이상하지만 내가 처음 만들었던 같은 벡터기계알고리즘 모델의' 9:1 훈련데이터 모듈'에서 저 평균 정확도가 훨씬 높았고 결과도 매번 바뀌어 나왔는데 이건 많이 이상해보인다. (강사님의 답변을 기다리고 있다..) → 답변을 해주셨다. 소스코드에 문제가 있었다.

cross_val_set = KFold(n=len(docs), n_folds=num_folds, shuffle=True)

위와 같이 끝에  shuffle=True 가 들어가야 한다. 즉 자르기 전에 뒤섞어 놓아야 한다!

KFold는 기본적으로는 셔플링을 하지 않고 학습/실험 집합을 생성하기 때문에 항상 결과가 같습니다. 그리고 앞에서부터 주어진 절수에 따라 자르기 때문에 데이터에 몰림 현상이 있으면 실험 결과 역시 균일하지 않게 나옵니다.

2. 어쨌든 여세를 몰아 혼동행렬 이미지도 만들었다.

matplotlib.pyplot를 이용하여 예측의 정확율과 재현율을 이미지로 보여준다.

단 한글이 깨지는데 해결방법은 아래와 같다.

from matplotlib import font_manager, rc font_manager.get_fontconfig_fonts() #한글폰트 설정 font_info = {'family' : 'nanumgothic', 'weight' : 'bold', 'size' : 10} #나눔고딕으로 설정. 다른 폰트로 설정해도 된다 rc('font', **font_info) # dict로 모든 인자들을 전달할때

정규화 되지 않은 혼동행렬

정규화 된 혼동행렬

이 정도면 뭐 보고서 내용만 보고도 어떤 보고서인지 딱딱 맞추는 알파고 수준이다. 초짜인 나에게는 놀라운 결과가 아닐 수 없다!

매우 재밌다.