Wookang makes AI

● KFold클래스를 이용한 벡터기계(SVM) 알고리즘 교차 검증 > 실행1. 제일 성능이 좋다는 벡터기계(SVM) 알고리즘을 이용하여 이전 모델의(MultinoialNB클래스) 예측보다 정확도를 평균 20%정도 상승시켰다. 결과 편차가 있긴해도 대략적으로 정확도 평균이 75%정도다(굉장히 신기하다!). 학습 자료와 테스트 자료는 랜덤하게 뽑았고 단 한개도 중복되지 않게 만들었다. 그런데 좀 이상한 것은 그 뒤에 KFold클래스를 사용했을 때다. 이 클래스에 총 문서수를 넣고 교차검증을 하면 자기가 알아서 섞이는 일이 없도록 정확히 구분한다고 하는데, 그렇다면 내가 전에 만들었던 9:1 훈련 문서 분류 작업과 동일한 작업이라는 건데 결과는 이게 훨씬 나쁘게 나온다. 아래가 그 결과다. Accuracy P..

● 현대경제연구원 보고서 벡터기계(SVM: support vector machine)알고리즘을 이용한 분석 > 실행1. 이전 모델(MultinomialNB클래스)과 달라진 부분은 아래 3줄 뿐이다. sgd = SGDClassifier(loss="hinge", penalty="l2", alpha=1e-3, n_iter=5, random_state=42) sgd.fit(train_doc_term_mat, train_labels) pred_labels = sgd.predict(test_doc_term_mat) 2. 놀랍다. 사용 알고리즘만 바꿨는데 평균 정확도가 20% 이상 올랐다. 심지어 정확도가 83%를 넘긴적도 있다(딱 한번).3. 일반적으로 75% 내외의 정확도를 보이고 있다. 게다가 한번도 맞춘적 없..

● 현대경제연구원 보고서 Scikit-learn 모듈을 이용한 베이즈 분류 적용 > 들어가는 말종일 비가 올 것 같았는데 밤이 되니 비가 멈췄다.덕분에 비를 맞지 않고 운동을 했다. 빡시게 했더니 몸이 나른하다. 그리고 또 컴퓨터 앞에 앉았다. > 계획1. 베이즈 분류 모델을 적용하기 위해서 9:1 비율로 보고서들을 먼저 학습 시킨 후 테스트 과정을 거친다. 보고서가 중복되지 않게 조심한다.2. 현재 2,109개의 자료가 있고 여기에 7개의 MagazineID가 있다.3. 즉, 약 1900개의 리포트로 학습을 시킨 후 나머지 200개를 가지고 리포트 내용만 보여주고 MagazineID를 맞춰보게 하는거다. 최종 정확도(accuracy)를 보여준다. 그냥 랜덤하게 찍는다면 14% 정확도가 평균이고 숫자가 ..

● 현대경제연구원 보고서 Scikit-learn과 scipy를 이용한 비계층 군집 분석 > 들어가는 말 1. 이제 (약간의)인공지능이 들어간다. 알아서 문서의 중심(centroid)을 설정하고 이로부터 각 자료와의 거리에 드는 비용을 최소한하는 군집 알고리즘(K-평균기법)을 이용한다. 이것도 결과가 궁금하다. > 계획1. scikit-learn 라이브러리에서 이미 K-평균 군집화 기능을 제공한단다.2. 처리 속도가 빨라 많은 분야에서 사용하고 있단다.3. 문서를 행렬로 만들때 개발자가 일일이 만들 필요없이 vectorizer = TfidfVectorizer(min_df=1) doc_term_mat = vectorizer.fit_transform(documents) 이렇게 하는 것으로 원샷 생성이 가능하다..

● 현대경제연구원 보고서 KL발산 분석 > 들어가는 말 1. 예상하기는 했지만 생각보다 빨리 다시 하고 싶어졌다. 그 동안 내가 이 정도 하다가 무언가를 그만둔 적이 평생에 한번도 없기 때문이다. 2. 그래도 헬대라는 생각에는 변화가 없다. > 계획 1. 먼저 season2로 새로운 프로젝트를 만든다. 새술은 새부대에! 2. morphed 폴더 안에 이미 형태소 분석한 보고서 txt파일들을 몽땅 넣는다. (2109개다) 3. 보고서의 내용을 (요약)정리한 json파일에 이 형태소 txt 파일의 이름을 dictionary로 추가한다. 4. 이것으로 현대경제연구소 보고서 분석에 대한 모든 재료가 준비되었다. 보기 좋게 indent을 4정도 주면 아래같이 이쁘게 뽑힌다.[ { "fileName":"2016.0..