분류기의 튜닝 - 최적의 파라미터 찾기

● 분류기의 튜닝

> 들어가는 말

1. 엄청나게 고생했다.

2. 윈도우에서 병렬 컴퓨팅을 실행시키기 위해서는 메인루프를  "if __name__ == '__main__'"로 감싸야 한다. sklearn의 joblib 모듈 문서를 살펴보라는데 봐도 별거 없다. 이젠 에러 메세지까지 나한테 뻥을 친다ㅡ,ㅡ 어쨌든 감싸고 나니 그 에러 메세지는 없어졌다.

3. 맥에서는 그냥 된다고 한다. 

> 실행

1. MultinomialNB()와 SGDClassifier()의 최적 파라미터를 찾아봤다.

2. 이것도 엄청 고생했다.

3. pipeline과 parameters들을 set과 dictionary로 만들어 놓는게 핵심이다.

4. 최적 파라미터를 측정할 분류기를 MultinomialNB()나 SGDClassifier() 둘 중에 선택한다.( KFold로 교차검증도 할 수 있더라)

classifier = MultinomialNB() #sgd = SGDClassifier() pipeline = Pipeline([ ('vect', vectorizer), ('clf', classifier), #('clf', sgd), ])

parameters = { "vect__max_features": (5000, None), "vect__ngram_range": ((1, 1), (1, 2)), "vect__use_idf": (True, False), "vect__smooth_idf": (True, False), "vect__sublinear_tf": (True, False), "vect__norm": ("l1", "l2", None), "clf__alpha": (0,0.1, 1.0), # SGDClassifier() 돌릴때는 인자값이 달라진다. "clf__alpha": (0.001, 1.0), #"clf__loss":("hinge", "log", "modified_huber", "squared_hinge", "perceptron", "squared_loss", "huber", "epsilon_insensitive", "squared_epsilon_insensitive"), #"clf__penalty" : ("none", "l2", "l1", "elasticnet") }

5. 각각의 parameters가 다르므로 최적화를 진행할 인자를 넣는 것도 달라져야 한다.

6. naive_bayes.py의 664줄 np.log(smoothed_fc)의 smoothed_fc 값에 0이 들어가서 계속 에러가 난다.

stackoverflow를 뒤져도 딱히 이거다하는게 없어 땜빵으로 np.log(smoothed_fc +0.000000001) 이렇게 넣었다.

smoothed_fc 이 무엇인지 제대로 이해하지 못하고 땜빵처리하니 굉장히 찝찝하다. 팬티를 입고 똥을 싼 후에 2시간 앉아 있는 기분이다.

7. 어쨌든 분류기 별로 모두 최적화 파라미터를 찾았다. 결과는 대략 아래와 같다. weighted가 뭔지 모르겠지만 이제 안쓰는데 호출하니 뜨는 경고다. 앞서 하도 많은 에러를 만났더니 이제 경고 따위 신경도 안쓰인다.

Fitting 3 folds for each of 288 candidates, totalling 864 fits

[Parallel(n_jobs=-1)]: Done  42 tasks      | elapsed:   11.8s

[Parallel(n_jobs=-1)]: Done 192 tasks      | elapsed:  1.0min

[Parallel(n_jobs=-1)]: Done 442 tasks      | elapsed:  3.0min

[Parallel(n_jobs=-1)]: Done 792 tasks      | elapsed:  6.9min

[Parallel(n_jobs=-1)]: Done 864 out of 864 | elapsed:  8.2min finished

Best score: 0.7813333333333333

Best parameter set:

        clf__alpha: 1.0

        vect__max_features: None

        vect__ngram_range: (1, 2)

        vect__norm: None

        vect__smooth_idf: True

        vect__sublinear_tf: True

        vect__use_idf: True

Accurary: 0.806

C:\Users\Alice\Anaconda3\lib\site-packages\sklearn\metrics\classification.py:1203: DeprecationWarning: The default `weighted` averaging is deprecated, and from version 0.18, use of precision, recall or F-score with multiclass or multilabel data or pos_label=None will result in an exception. Please set an explicit value for `average`, one of (None, 'micro', 'macro', 'weighted', 'samples'). In cross validation use, for instance, scoring="f1_weighted" instead of scoring="f1".

  sample_weight=sample_weight)

Precision: 0.8136573785950023

C:\Users\Alice\Anaconda3\lib\site-packages\sklearn\metrics\classification.py:1304: DeprecationWarning: The default `weighted` averaging is deprecated, and from version 0.18, use of precision, recall or F-score with multiclass or multilabel data or pos_label=None will result in an exception. Please set an explicit value for `average`, one of (None, 'micro', 'macro', 'weighted', 'samples'). In cross validation use, for instance, scoring="f1_weighted" instead of scoring="f1".

  sample_weight=sample_weight)

Recall: 0.806

위에서 구한 최적의 파라미터를 이용해 앞으로 분류기를 사용할때 그와같이 세팅해주면 되는거다. 뭐 극적으로 정확도가 올라가고 그런건 잘 모르겠다. 좀 더 (많은) 공부가 필요해보인다.

> 반성

1. 최근에 느끼는 점인데, 데이터 분석이나 과학 또는 인공지능같은 사전 지식 없이 그냥 이렇게 바닥을 파는게 맞는 건가 싶다. 솔직히 어렵지는 않다. 파고 들어가는 만큼 이해도가 높아지는 것도 정직하다. 일단은 이렇게 강사님이 내려준 '동아줄'을 부여잡고 열심히 따라가는 것이 효율적이고 좋은 것 같다. 다음 여유가 있을 때 관련 책들을 읽어서 기본기를 닦아야겠다. 

2. 시간날때마다 이렇게 해도 같이 수업을 듣는 다른 사람들의 절반도 못따라가는 것 같다. 수업 중 내가 하는 질문은 강사님의 답변을 듣고나면 내가 생각해도 부끄럽기 그지 없는데 다른 사람들이 하는 질문은 일단 무슨 질문인지 이해가 가지 않아 뭐라 말을 할수도 없다ㅡ,ㅡ

3. 그럴 때마다 나는 재미로 배우는 거니까. 그럴 수도 있지 하는 '비겁한' 변명에 빠진다.

4. 하지만 세상에 텍스트 마이닝이 절실해서 배우는 사람이 몇명이나 있겠는가. 아마 저 분들도 재미로 배우는 걸거다.

5. 그래도 다행인 것은 '나는 무언가를 처음 배울 때 언제나 남들보다 몇배는 못했다'는 사실이다. 이번에도 변함이 없는 것 뿐이다.

6. 왜 자꾸 눙물이 나지 ㅠㅠ