Wookang makes AI

● 학습 모델 저장 및 읽어오기 > 들어가는 말테스트를 할때마다 매번 학습을 시킬 수 없으니 저장하는 건 당연하다.1. 학습 모델을 저장 방식에는 (현재 내가 알고 있는 것이 딱) 2가지 방법이 있다.2. pickle모듈로 직렬화하는 방법이 하나고3. skilearn.externals의 joblib모듈이 다른 하나다. > 과정1. pickle이 가장 보편적이라고 해서 사용해 보니 파일 용량이 42.5MB가 나왔다.2. joblib로 compress=9로 해서 저장해 보니 파일 용량이 9.5MB가 나왔다.3. 속도는 둘다 비슷.4. 학습 내용을 바이너리로 저장해 놨다가 다시 로드해서 쓰는 방식이다.5. 지금까지는 확실하게 joblib의 승리다. > 실행1. GridSearchCV()를 돌려 최적의 파라미터..

● KFold클래스를 이용한 벡터기계(SVM) 알고리즘 교차 검증 > 실행1. 제일 성능이 좋다는 벡터기계(SVM) 알고리즘을 이용하여 이전 모델의(MultinoialNB클래스) 예측보다 정확도를 평균 20%정도 상승시켰다. 결과 편차가 있긴해도 대략적으로 정확도 평균이 75%정도다(굉장히 신기하다!). 학습 자료와 테스트 자료는 랜덤하게 뽑았고 단 한개도 중복되지 않게 만들었다. 그런데 좀 이상한 것은 그 뒤에 KFold클래스를 사용했을 때다. 이 클래스에 총 문서수를 넣고 교차검증을 하면 자기가 알아서 섞이는 일이 없도록 정확히 구분한다고 하는데, 그렇다면 내가 전에 만들었던 9:1 훈련 문서 분류 작업과 동일한 작업이라는 건데 결과는 이게 훨씬 나쁘게 나온다. 아래가 그 결과다. Accuracy P..

● 현대경제연구원 보고서 벡터기계(SVM: support vector machine)알고리즘을 이용한 분석 > 실행1. 이전 모델(MultinomialNB클래스)과 달라진 부분은 아래 3줄 뿐이다. sgd = SGDClassifier(loss="hinge", penalty="l2", alpha=1e-3, n_iter=5, random_state=42) sgd.fit(train_doc_term_mat, train_labels) pred_labels = sgd.predict(test_doc_term_mat) 2. 놀랍다. 사용 알고리즘만 바꿨는데 평균 정확도가 20% 이상 올랐다. 심지어 정확도가 83%를 넘긴적도 있다(딱 한번).3. 일반적으로 75% 내외의 정확도를 보이고 있다. 게다가 한번도 맞춘적 없..

● 현대경제연구원 보고서 Scikit-learn 모듈을 이용한 베이즈 분류 적용 > 들어가는 말종일 비가 올 것 같았는데 밤이 되니 비가 멈췄다.덕분에 비를 맞지 않고 운동을 했다. 빡시게 했더니 몸이 나른하다. 그리고 또 컴퓨터 앞에 앉았다. > 계획1. 베이즈 분류 모델을 적용하기 위해서 9:1 비율로 보고서들을 먼저 학습 시킨 후 테스트 과정을 거친다. 보고서가 중복되지 않게 조심한다.2. 현재 2,109개의 자료가 있고 여기에 7개의 MagazineID가 있다.3. 즉, 약 1900개의 리포트로 학습을 시킨 후 나머지 200개를 가지고 리포트 내용만 보여주고 MagazineID를 맞춰보게 하는거다. 최종 정확도(accuracy)를 보여준다. 그냥 랜덤하게 찍는다면 14% 정확도가 평균이고 숫자가 ..

● 현대경제연구원 보고서 Scikit-learn과 scipy를 이용한 비계층 군집 분석 > 들어가는 말 1. 이제 (약간의)인공지능이 들어간다. 알아서 문서의 중심(centroid)을 설정하고 이로부터 각 자료와의 거리에 드는 비용을 최소한하는 군집 알고리즘(K-평균기법)을 이용한다. 이것도 결과가 궁금하다. > 계획1. scikit-learn 라이브러리에서 이미 K-평균 군집화 기능을 제공한단다.2. 처리 속도가 빨라 많은 분야에서 사용하고 있단다.3. 문서를 행렬로 만들때 개발자가 일일이 만들 필요없이 vectorizer = TfidfVectorizer(min_df=1) doc_term_mat = vectorizer.fit_transform(documents) 이렇게 하는 것으로 원샷 생성이 가능하다..