학습 모델 저장 및 읽어오기

● 학습 모델 저장 및 읽어오기

> 들어가는 말

테스트를 할때마다 매번 학습을 시킬 수 없으니 저장하는 건 당연하다.

1. 학습 모델을 저장 방식에는 (현재 내가 알고 있는 것이 딱) 2가지 방법이 있다.

2. pickle모듈로 직렬화하는 방법이 하나고

3. skilearn.externals의 joblib모듈이 다른 하나다.

> 과정

1. pickle이 가장 보편적이라고 해서 사용해 보니 파일 용량이 42.5MB가 나왔다.

2. joblib로 compress=9로 해서 저장해 보니 파일 용량이 9.5MB가 나왔다.

3. 속도는 둘다 비슷.

4. 학습 내용을 바이너리로 저장해 놨다가 다시 로드해서 쓰는 방식이다.

5. 지금까지는 확실하게 joblib의 승리다.

> 실행

1. GridSearchCV()를 돌려 최적의 파라미터들을 찾아봤다.

Fitting 3 folds for each of 288 candidates, totalling 864 fits

[Parallel(n_jobs=-1)]: Done  42 tasks      | elapsed:   24.0s

[Parallel(n_jobs=-1)]: Done 192 tasks      | elapsed:  2.5min

[Parallel(n_jobs=-1)]: Done 442 tasks      | elapsed:  6.5min

[Parallel(n_jobs=-1)]: Done 792 tasks      | elapsed: 11.5min

[Parallel(n_jobs=-1)]: Done 864 out of 864 | elapsed: 13.4min finished

Best score: 0.60695468914647

Best parameter set:

        clf__alpha: 1.0

        vect__max_features: None

        vect__ngram_range: (1, 2)

        vect__norm: None

        vect__smooth_idf: False

        vect__sublinear_tf: True

        vect__use_idf: True

이것을 바탕으로 MultinomialNB() 클래스를 돌려서 나온 테스트 결과는 아래와 같다. 몇번 돌려봐도 그다지 좋아진걸 모르겠다 ㅡ,ㅡ

최적화는 좀 더 공부하고 저장과 로드만 숙달시켜야겠다.

2. SGDClassifier()클래스를 이용해 학습시킨 후 저장 및 로드도 해봤다. 역시 좋다. MultinomialNB() 아무리 최적화 시켜봤자 SGDClassifier() 새발의 피다.