'분류 전체보기' 카테고리의 글 목록 (14 Page)

모두 보기

2008서버에서 IIS도 잘 설치 하셨다면 해당 포트도 열어줘야 접속이 가능하다 2016.08.08
분류기의 튜닝 - 최적의 파라미터 찾기 2016.07.09
학습 모델 저장 및 읽어오기 2016.07.08
KFold클래스를 이용한 벡터기계(SVM) 알고리즘 교차 검증 2016.07.07
현대경제연구원 보고서 벡터기계(SVM: support vector machine)알고리즘을 이용한 분석 2016.07.06
현대경제연구원 보고서 Scikit-learn 모듈을 이용한 베이즈 분류 적용 2016.07.06
현대경제연구원 보고서 Scikit-learn과 scipy를 이용한 비계층 군집 분석 2016.07.04
현대경제연구원 보고서 쿨백라이블러 발산 (Kullback–Leibler divergence) 분석 2016.07.03
아. 헬대. 현다이 ㅅㅂ 2016.07.02
현대 경제 연구원 분석 중 - 1차 결과 2016.07.01

2008서버에서 IIS도 잘 설치 하셨다면 해당 포트도 열어줘야 접속이 가능하다

푸른깃발🏳️ 2016. 8. 8. 20:30

2016. 8. 8. 20:30

2008서버에서 IIS도 잘 설치 하셨다면 해당 포트도 열어줘야 접속이 가능하다. (방화벽을 열어줘야 한다.)

1. 제어판 -> 시스템 및 보안-> Windows 방화벽을 클릭하면 오른쪽에 고급설정 버튼이 있다. 클릭!

2. 고급 보안이 포함된 Widows 방화벽 창이 나온다.

여기서 인바운드 규칙, 아웃바운드 규칙을 모두 열어줘야 한다.
들어오는 포트 , 나가는 포트를 열어준다고 생각하면 된다.

3. 인바운드규칙에서의 포트를 열어주는 예를 들어보겠다.

인바운드규칙을 클릭하면 오른쪽에 작업 부분의 "새 규칙..." 요놈을 클릭한다.

4. 새 인바운드 규칙 마법사 창이 뜬다. 단계별로 진행이 된다.

먼저 우리가 허용할 것은 포트이기 때문에 두번째 포트를 선택해주고 다음 버튼을 눌러준다.

5. 두번째 프로토콜 및 포트 부분이다.

포트의 설정 부분으로 나의 경우 Tomcat 포트를 열어주는 것으로 속성이 TCP이다.
특정 로컬 포트는 나의 경우 9001 로 세팅하여 다음을 클릭한다.
(포트의 경우 Tomcat 에 설정한것을 적어주셔야 합니다. - 설정에 따라 달라집니다.)

6. 세번째 작업 부분이다. 첫번째 연결 허용을 선택하고 다음 버튼을 눌러준다.

7. 네번째 프로필이다. 나의 경우 모두 클릭하고 다음 버튼을 눌러줬다.(연결된 네트워크 환경에 따라 달라질수 있습니다.)

8.마지막 이름. 여기서의 이름은 처음에 보았던 인바운드 규칙내에서의 볼수 있던 리스트의 이름이다.

아무거나 적어도 상관 없지만 포트 번호를 쉽게 알 수 있기 위해 Tomcat-9001 로 적어 주었다. 그리고 마침.

9. 이제 인바운드 규칙 리스트에 방금전 작성한 포트가 열려 있는것을 볼수 있다.

10. 아웃바운드 규칙도 똑같은 방법으로 포트를 열어주면 방화벽에서의 설정은 끝이 난다.

저작자표시 비영리 변경금지

분류기의 튜닝 - 최적의 파라미터 찾기

푸른깃발🏳️ 2016. 7. 9. 17:29

2016. 7. 9. 17:29

● 분류기의 튜닝

> 들어가는 말

1. 엄청나게 고생했다.

2. 윈도우에서 병렬 컴퓨팅을 실행시키기 위해서는 메인루프를 "if __name__ == '__main__'"로 감싸야 한다. sklearn의 joblib 모듈 문서를 살펴보라는데 봐도 별거 없다. 이젠 에러 메세지까지 나한테 뻥을 친다ㅡ,ㅡ 어쨌든 감싸고 나니 그 에러 메세지는 없어졌다.

3. 맥에서는 그냥 된다고 한다.

> 실행

1. MultinomialNB()와 SGDClassifier()의 최적 파라미터를 찾아봤다.

2. 이것도 엄청 고생했다.

3. pipeline과 parameters들을 set과 dictionary로 만들어 놓는게 핵심이다.

4. 최적 파라미터를 측정할 분류기를 MultinomialNB()나 SGDClassifier() 둘 중에 선택한다.( KFold로 교차검증도 할 수 있더라)

5. 각각의 parameters가 다르므로 최적화를 진행할 인자를 넣는 것도 달라져야 한다.

6. naive_bayes.py의 664줄 np.log(smoothed_fc)의 smoothed_fc 값에 0이 들어가서 계속 에러가 난다.

stackoverflow를 뒤져도 딱히 이거다하는게 없어 땜빵으로 np.log(smoothed_fc +0.000000001) 이렇게 넣었다.

smoothed_fc 이 무엇인지 제대로 이해하지 못하고 땜빵처리하니 굉장히 찝찝하다. 팬티를 입고 똥을 싼 후에 2시간 앉아 있는 기분이다.

7. 어쨌든 분류기 별로 모두 최적화 파라미터를 찾았다. 결과는 대략 아래와 같다. weighted가 뭔지 모르겠지만 이제 안쓰는데 호출하니 뜨는 경고다. 앞서 하도 많은 에러를 만났더니 이제 경고 따위 신경도 안쓰인다.

Fitting 3 folds for each of 288 candidates, totalling 864 fits
[Parallel(n_jobs=-1)]: Done 42 tasks | elapsed: 11.8s
[Parallel(n_jobs=-1)]: Done 192 tasks | elapsed: 1.0min
[Parallel(n_jobs=-1)]: Done 442 tasks | elapsed: 3.0min
[Parallel(n_jobs=-1)]: Done 792 tasks | elapsed: 6.9min
[Parallel(n_jobs=-1)]: Done 864 out of 864 | elapsed: 8.2min finished
Best score: 0.7813333333333333
Best parameter set:
clf__alpha: 1.0
vect__max_features: None
vect__ngram_range: (1, 2)
vect__norm: None
vect__smooth_idf: True
vect__sublinear_tf: True
vect__use_idf: True
Accurary: 0.806
C:\Users\Alice\Anaconda3\lib\site-packages\sklearn\metrics\classification.py:1203: DeprecationWarning: The default `weighted` averaging is deprecated, and from version 0.18, use of precision, recall or F-score with multiclass or multilabel data or pos_label=None will result in an exception. Please set an explicit value for `average`, one of (None, 'micro', 'macro', 'weighted', 'samples'). In cross validation use, for instance, scoring="f1_weighted" instead of scoring="f1".
sample_weight=sample_weight)
Precision: 0.8136573785950023
C:\Users\Alice\Anaconda3\lib\site-packages\sklearn\metrics\classification.py:1304: DeprecationWarning: The default `weighted` averaging is deprecated, and from version 0.18, use of precision, recall or F-score with multiclass or multilabel data or pos_label=None will result in an exception. Please set an explicit value for `average`, one of (None, 'micro', 'macro', 'weighted', 'samples'). In cross validation use, for instance, scoring="f1_weighted" instead of scoring="f1".
sample_weight=sample_weight)
Recall: 0.806

위에서 구한 최적의 파라미터를 이용해 앞으로 분류기를 사용할때 그와같이 세팅해주면 되는거다. 뭐 극적으로 정확도가 올라가고 그런건 잘 모르겠다. 좀 더 (많은) 공부가 필요해보인다.

> 반성

1. 최근에 느끼는 점인데, 데이터 분석이나 과학 또는 인공지능같은 사전 지식 없이 그냥 이렇게 바닥을 파는게 맞는 건가 싶다. 솔직히 어렵지는 않다. 파고 들어가는 만큼 이해도가 높아지는 것도 정직하다. 일단은 이렇게 강사님이 내려준 '동아줄'을 부여잡고 열심히 따라가는 것이 효율적이고 좋은 것 같다. 다음 여유가 있을 때 관련 책들을 읽어서 기본기를 닦아야겠다.

2. 시간날때마다 이렇게 해도 같이 수업을 듣는 다른 사람들의 절반도 못따라가는 것 같다. 수업 중 내가 하는 질문은 강사님의 답변을 듣고나면 내가 생각해도 부끄럽기 그지 없는데 다른 사람들이 하는 질문은 일단 무슨 질문인지 이해가 가지 않아 뭐라 말을 할수도 없다ㅡ,ㅡ

3. 그럴 때마다 나는 재미로 배우는 거니까. 그럴 수도 있지 하는 '비겁한' 변명에 빠진다.

4. 하지만 세상에 텍스트 마이닝이 절실해서 배우는 사람이 몇명이나 있겠는가. 아마 저 분들도 재미로 배우는 걸거다.

5. 그래도 다행인 것은 '나는 무언가를 처음 배울 때 언제나 남들보다 몇배는 못했다'는 사실이다. 이번에도 변함이 없는 것 뿐이다.

6. 왜 자꾸 눙물이 나지 ㅠㅠ

저작자표시 비영리 변경금지

'그 밖에 AI' 카테고리의 다른 글

학습 모델 저장 및 읽어오기 (0)	2016.07.08
KFold클래스를 이용한 벡터기계(SVM) 알고리즘 교차 검증 (0)	2016.07.07
현대경제연구원 보고서 벡터기계(SVM: support vector machine)알고리즘을 이용한 분석 (0)	2016.07.06
현대경제연구원 보고서 Scikit-learn 모듈을 이용한 베이즈 분류 적용 (0)	2016.07.06
현대경제연구원 보고서 Scikit-learn과 scipy를 이용한 비계층 군집 분석 (0)	2016.07.04

학습 모델 저장 및 읽어오기

푸른깃발🏳️ 2016. 7. 8. 18:47

2016. 7. 8. 18:47

● 학습 모델 저장 및 읽어오기

> 들어가는 말

테스트를 할때마다 매번 학습을 시킬 수 없으니 저장하는 건 당연하다.

1. 학습 모델을 저장 방식에는 (현재 내가 알고 있는 것이 딱) 2가지 방법이 있다.

2. pickle모듈로 직렬화하는 방법이 하나고

3. skilearn.externals의 joblib모듈이 다른 하나다.

> 과정

1. pickle이 가장 보편적이라고 해서 사용해 보니 파일 용량이 42.5MB가 나왔다.

2. joblib로 compress=9로 해서 저장해 보니 파일 용량이 9.5MB가 나왔다.

3. 속도는 둘다 비슷.

4. 학습 내용을 바이너리로 저장해 놨다가 다시 로드해서 쓰는 방식이다.

5. 지금까지는 확실하게 joblib의 승리다.

> 실행

1. GridSearchCV()를 돌려 최적의 파라미터들을 찾아봤다.

Fitting 3 folds for each of 288 candidates, totalling 864 fits
[Parallel(n_jobs=-1)]: Done 42 tasks | elapsed: 24.0s
[Parallel(n_jobs=-1)]: Done 192 tasks | elapsed: 2.5min
[Parallel(n_jobs=-1)]: Done 442 tasks | elapsed: 6.5min
[Parallel(n_jobs=-1)]: Done 792 tasks | elapsed: 11.5min
[Parallel(n_jobs=-1)]: Done 864 out of 864 | elapsed: 13.4min finished
Best score: 0.60695468914647
Best parameter set:
clf__alpha: 1.0
vect__max_features: None
vect__ngram_range: (1, 2)
vect__norm: None
vect__smooth_idf: False
vect__sublinear_tf: True
vect__use_idf: True

이것을 바탕으로 MultinomialNB() 클래스를 돌려서 나온 테스트 결과는 아래와 같다. 몇번 돌려봐도 그다지 좋아진걸 모르겠다 ㅡ,ㅡ

최적화는 좀 더 공부하고 저장과 로드만 숙달시켜야겠다.

2. SGDClassifier()클래스를 이용해 학습시킨 후 저장 및 로드도 해봤다. 역시 좋다. MultinomialNB() 아무리 최적화 시켜봤자 SGDClassifier() 새발의 피다.

저작자표시 비영리 변경금지

'그 밖에 AI' 카테고리의 다른 글

분류기의 튜닝 - 최적의 파라미터 찾기 (0)	2016.07.09
KFold클래스를 이용한 벡터기계(SVM) 알고리즘 교차 검증 (0)	2016.07.07
현대경제연구원 보고서 벡터기계(SVM: support vector machine)알고리즘을 이용한 분석 (0)	2016.07.06
현대경제연구원 보고서 Scikit-learn 모듈을 이용한 베이즈 분류 적용 (0)	2016.07.06
현대경제연구원 보고서 Scikit-learn과 scipy를 이용한 비계층 군집 분석 (0)	2016.07.04

KFold클래스를 이용한 벡터기계(SVM) 알고리즘 교차 검증

푸른깃발🏳️ 2016. 7. 7. 01:41

2016. 7. 7. 01:41

● KFold클래스를 이용한 벡터기계(SVM) 알고리즘 교차 검증

> 실행

1. 제일 성능이 좋다는 벡터기계(SVM) 알고리즘을 이용하여 이전 모델의(MultinoialNB클래스) 예측보다 정확도를 평균 20%정도 상승시켰다. 결과 편차가 있긴해도 대략적으로 정확도 평균이 75%정도다(굉장히 신기하다!). 학습 자료와 테스트 자료는 랜덤하게 뽑았고 단 한개도 중복되지 않게 만들었다.

그런데 좀 이상한 것은 그 뒤에 KFold클래스를 사용했을 때다. 이 클래스에 총 문서수를 넣고 교차검증을 하면 자기가 알아서 섞이는 일이 없도록 정확히 구분한다고 하는데, 그렇다면 내가 전에 만들었던 9:1 훈련 문서 분류 작업과 동일한 작업이라는 건데 결과는 이게 훨씬 나쁘게 나온다. 아래가 그 결과다.

Accuracy Precision Recall F1
0.59242 0.49665 0.52332 0.48513
0.75355 0.50795 0.51563 0.48133
0.77014 0.66157 0.61531 0.62512
0.56872 0.37439 0.38265 0.37612
0.17577 0.22627 0.16359 0.17597

Avg Accuracy: 0.5721212189438373, Std Dev: 0.21431124575385863
Avg Precision: 0.4533648469984103, Std Dev: 0.14561024367169234
Avg Recall: 0.4400986255677289, Std Dev: 0.15690035193922436
Avg F1: 0.4287327556310334, Std Ddev: 0.1491106614903449

결과가 이상해서 fold를 5에서 10으로 늘려봤다. 크게 좋아졌지만 여전히 나쁘다.

Accuracy Precision Recall F1
0.56872 0.38732 0.37059 0.37097
0.69668 0.55945 0.58298 0.56342
0.74882 0.54664 0.48895 0.50428
0.79147 0.65780 0.62903 0.59844
0.78673 0.79259 0.67680 0.69774
0.81043 0.83130 0.64801 0.68566
0.72038 0.62562 0.55983 0.56030
0.47867 0.26723 0.27148 0.26221
0.40284 0.23416 0.33309 0.19256
0.28095 0.30852 0.15568 0.19884

Avg Accuracy: 0.6285691717445273, Std Dev: 0.17606564810343844
Avg Precision: 0.5210634391275499, Std Dev: 0.20286311462199674
Avg Recall: 0.47164299640376256, Std Dev: 0.16963090837090414
Avg F1: 0.46344254182131894, Std Ddev: 0.1832991835545736

마지막 검증으로 갈수록 결과가 나빠진다. 그 전의 모델로 여러 번 테스트 해봤지만 정확도가 저렇게 낮게 나온적이 없었는데 여기서는 10, 20%대가 나오기도 하고 표준편차가 무려 18~21%다. 나머지 factor들은 말할 것도 없다. 여러 번 돌려봤는데 매번 위와 완전히 동일한 값이 나온다(무언가 잘못되었다는 직감이다ㅡ,ㅡ)

테스트 결과가 동일하다는 것도 이상하지만 내가 처음 만들었던 같은 벡터기계알고리즘 모델의' 9:1 훈련데이터 모듈'에서 저 평균 정확도가 훨씬 높았고 결과도 매번 바뀌어 나왔는데 이건 많이 이상해보인다. (강사님의 답변을 기다리고 있다..) → 답변을 해주셨다. 소스코드에 문제가 있었다.

위와 같이 끝에 shuffle=True 가 들어가야 한다. 즉 자르기 전에 뒤섞어 놓아야 한다!

KFold는 기본적으로는 셔플링을 하지 않고 학습/실험 집합을 생성하기 때문에 항상 결과가 같습니다. 그리고 앞에서부터 주어진 절수에 따라 자르기 때문에 데이터에 몰림 현상이 있으면 실험 결과 역시 균일하지 않게 나옵니다.

2. 어쨌든 여세를 몰아 혼동행렬 이미지도 만들었다.

matplotlib.pyplot를 이용하여 예측의 정확율과 재현율을 이미지로 보여준다.

단 한글이 깨지는데 해결방법은 아래와 같다.

정규화 되지 않은 혼동행렬

정규화 된 혼동행렬

이 정도면 뭐 보고서 내용만 보고도 어떤 보고서인지 딱딱 맞추는 알파고 수준이다. 초짜인 나에게는 놀라운 결과가 아닐 수 없다!

매우 재밌다.

저작자표시 비영리 변경금지

'그 밖에 AI' 카테고리의 다른 글

분류기의 튜닝 - 최적의 파라미터 찾기 (0)	2016.07.09
학습 모델 저장 및 읽어오기 (0)	2016.07.08
현대경제연구원 보고서 벡터기계(SVM: support vector machine)알고리즘을 이용한 분석 (0)	2016.07.06
현대경제연구원 보고서 Scikit-learn 모듈을 이용한 베이즈 분류 적용 (0)	2016.07.06
현대경제연구원 보고서 Scikit-learn과 scipy를 이용한 비계층 군집 분석 (0)	2016.07.04

현대경제연구원 보고서 벡터기계(SVM: support vector machine)알고리즘을 이용한 분석

푸른깃발🏳️ 2016. 7. 6. 17:15

2016. 7. 6. 17:15

● 현대경제연구원 보고서 벡터기계(SVM: support vector machine)알고리즘을 이용한 분석

> 실행

1. 이전 모델(MultinomialNB클래스)과 달라진 부분은 아래 3줄 뿐이다.

2. 놀랍다. 사용 알고리즘만 바꿨는데 평균 정확도가 20% 이상 올랐다. 심지어 정확도가 83%를 넘긴적도 있다(딱 한번).

3. 일반적으로 75% 내외의 정확도를 보이고 있다. 게다가 한번도 맞춘적 없던 연금시장과 통일경제까지 맞췄다!

4. 이번에 사용한 벡터기계(SVM) 알고리즘이 일반적으로 문서 분류 과제에서 가장 좋은 성능을 보인다고 한다. 진짜 그런거 같다.

VIP Report(정답) : 한국경제주평(예측)
한국경제주평(정답) : 한국경제주평(예측) correct
VIP Report(정답) : VIP Report(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
VIP Report(정답) : 한국경제주평(예측)
이슈리포트(정답) : 이슈리포트(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
VIP Report(정답) : VIP Report(예측) correct
이슈리포트(정답) : 한국경제주평(예측)
이슈리포트(정답) : 이슈리포트(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
이슈리포트(정답) : VIP Report(예측)
한국경제주평(정답) : 한국경제주평(예측) correct
VIP Report(정답) : VIP Report(예측) correct
이슈리포트(정답) : 이슈리포트(예측) correct
이슈리포트(정답) : 한국경제주평(예측)
이슈리포트(정답) : 이슈리포트(예측) correct
VIP Report(정답) : 한국경제주평(예측)
한국경제주평(정답) : 한국경제주평(예측) correct
VIP Report(정답) : VIP Report(예측) correct
이슈리포트(정답) : 한국경제주평(예측)
한국경제주평(정답) : 한국경제주평(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
VIP Report(정답) : VIP Report(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
이슈리포트(정답) : 한국경제주평(예측)
Chairperson Note(정답) : Chairperson Note(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
이슈리포트(정답) : 이슈리포트(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
이슈리포트(정답) : 한국경제주평(예측)
한국경제주평(정답) : 한국경제주평(예측) correct
이슈리포트(정답) : 한국경제주평(예측)
이슈리포트(정답) : 이슈리포트(예측) correct
Chairperson Note(정답) : Chairperson Note(예측) correct
연금시장리뷰(정답) : 연금시장리뷰(예측) correct
Chairperson Note(정답) : Chairperson Note(예측) correct
이슈리포트(정답) : 통일경제(예측)
이슈리포트(정답) : 이슈리포트(예측) correct
연금시장리뷰(정답) : 연금시장리뷰(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
Chairperson Note(정답) : Chairperson Note(예측) correct
연금시장리뷰(정답) : 연금시장리뷰(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
Chairperson Note(정답) : Chairperson Note(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
Chairperson Note(정답) : Chairperson Note(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
Chairperson Note(정답) : Chairperson Note(예측) correct
이슈리포트(정답) : Chairperson Note(예측)
Chairperson Note(정답) : Chairperson Note(예측) correct
이슈리포트(정답) : 이슈리포트(예측) correct
이슈리포트(정답) : Chairperson Note(예측)
Chairperson Note(정답) : Chairperson Note(예측) correct
연금시장리뷰(정답) : 연금시장리뷰(예측) correct
Chairperson Note(정답) : Chairperson Note(예측) correct
Chairperson Note(정답) : Chairperson Note(예측) correct
이슈리포트(정답) : 한국경제주평(예측)
Chairperson Note(정답) : Chairperson Note(예측) correct
이슈리포트(정답) : 이슈리포트(예측) correct
이슈리포트(정답) : 한국경제주평(예측)
Chairperson Note(정답) : Chairperson Note(예측) correct
이슈리포트(정답) : 한국경제주평(예측)
이슈리포트(정답) : 연금시장리뷰(예측)
이슈리포트(정답) : 이슈리포트(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
Chairperson Note(정답) : Chairperson Note(예측) correct
Chairperson Note(정답) : Chairperson Note(예측) correct
Chairperson Note(정답) : Chairperson Note(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
Chairperson Note(정답) : Chairperson Note(예측) correct
Chairperson Note(정답) : Chairperson Note(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
Chairperson Note(정답) : Chairperson Note(예측) correct
Chairperson Note(정답) : Chairperson Note(예측) correct
VIP Report(정답) : VIP Report(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
VIP Report(정답) : VIP Report(예측) correct
연금시장리뷰(정답) : 연금시장리뷰(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
Chairperson Note(정답) : Chairperson Note(예측) correct
VIP Report(정답) : VIP Report(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
통일경제(정답) : 한국경제주평(예측)
VIP Report(정답) : 이슈리포트(예측)
한국경제주평(정답) : 한국경제주평(예측) correct
이슈리포트(정답) : 이슈리포트(예측) correct
Chairperson Note(정답) : Chairperson Note(예측) correct
이슈리포트(정답) : 이슈리포트(예측) correct
Chairperson Note(정답) : Chairperson Note(예측) correct
연금시장리뷰(정답) : 연금시장리뷰(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
Chairperson Note(정답) : Chairperson Note(예측) correct
VIP Report(정답) : VIP Report(예측) correct
Chairperson Note(정답) : Chairperson Note(예측) correct
이슈리포트(정답) : 이슈리포트(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
Chairperson Note(정답) : Chairperson Note(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
Chairperson Note(정답) : Chairperson Note(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
한국경제주평(정답) : VIP Report(예측)
한국경제주평(정답) : 한국경제주평(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
Chairperson Note(정답) : Chairperson Note(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
Chairperson Note(정답) : Chairperson Note(예측) correct
Chairperson Note(정답) : Chairperson Note(예측) correct
Chairperson Note(정답) : Chairperson Note(예측) correct
이슈리포트(정답) : 이슈리포트(예측) correct
VIP Report(정답) : 이슈리포트(예측)
VIP Report(정답) : Chairperson Note(예측)
한국경제주평(정답) : 한국경제주평(예측) correct
통일경제(정답) : 한국경제주평(예측)
이슈리포트(정답) : 한국경제주평(예측)
한국경제주평(정답) : 한국경제주평(예측) correct
Chairperson Note(정답) : Chairperson Note(예측) correct
VIP Report(정답) : 이슈리포트(예측)
한국경제주평(정답) : 한국경제주평(예측) correct
Chairperson Note(정답) : Chairperson Note(예측) correct
VIP Report(정답) : 한국경제주평(예측)
이슈리포트(정답) : 이슈리포트(예측) correct
이슈리포트(정답) : 지식경제(예측)
한국경제주평(정답) : 한국경제주평(예측) correct
Chairperson Note(정답) : Chairperson Note(예측) correct
이슈리포트(정답) : 이슈리포트(예측) correct
Chairperson Note(정답) : Chairperson Note(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
VIP Report(정답) : VIP Report(예측) correct
Chairperson Note(정답) : Chairperson Note(예측) correct
이슈리포트(정답) : 이슈리포트(예측) correct
이슈리포트(정답) : 이슈리포트(예측) correct
Chairperson Note(정답) : Chairperson Note(예측) correct
VIP Report(정답) : Chairperson Note(예측)
통일경제(정답) : 통일경제(예측) correct
통일경제(정답) : 통일경제(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
Chairperson Note(정답) : Chairperson Note(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
Chairperson Note(정답) : Chairperson Note(예측) correct
VIP Report(정답) : 한국경제주평(예측)
Chairperson Note(정답) : Chairperson Note(예측) correct
Chairperson Note(정답) : Chairperson Note(예측) correct
이슈리포트(정답) : 이슈리포트(예측) correct
VIP Report(정답) : VIP Report(예측) correct
한국경제주평(정답) : 이슈리포트(예측)
Chairperson Note(정답) : Chairperson Note(예측) correct
VIP Report(정답) : 이슈리포트(예측)
이슈리포트(정답) : Chairperson Note(예측)
한국경제주평(정답) : 한국경제주평(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
Chairperson Note(정답) : Chairperson Note(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
이슈리포트(정답) : 이슈리포트(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
이슈리포트(정답) : 이슈리포트(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
한국경제주평(정답) : 연금시장리뷰(예측)
한국경제주평(정답) : 한국경제주평(예측) correct
한국경제주평(정답) : VIP Report(예측)
한국경제주평(정답) : 한국경제주평(예측) correct
한국경제주평(정답) : Chairperson Note(예측)
한국경제주평(정답) : 한국경제주평(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
VIP Report(정답) : Chairperson Note(예측)
VIP Report(정답) : Chairperson Note(예측)
VIP Report(정답) : VIP Report(예측) correct
VIP Report(정답) : 한국경제주평(예측)
한국경제주평(정답) : 한국경제주평(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
한국경제주평(정답) : VIP Report(예측)
한국경제주평(정답) : 한국경제주평(예측) correct
VIP Report(정답) : VIP Report(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
VIP Report(정답) : VIP Report(예측) correct
VIP Report(정답) : VIP Report(예측) correct
VIP Report(정답) : 한국경제주평(예측)
VIP Report(정답) : VIP Report(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
VIP Report(정답) : VIP Report(예측) correct
VIP Report(정답) : 한국경제주평(예측)
이슈리포트(정답) : Chairperson Note(예측)
VIP Report(정답) : VIP Report(예측) correct
VIP Report(정답) : 한국경제주평(예측)
VIP Report(정답) : VIP Report(예측) correct
VIP Report(정답) : VIP Report(예측) correct
VIP Report(정답) : Chairperson Note(예측)
이슈리포트(정답) : 이슈리포트(예측) correct
통일경제(정답) : 통일경제(예측) correct
이슈리포트(정답) : Chairperson Note(예측)
이슈리포트(정답) : Chairperson Note(예측)
VIP Report(정답) : 이슈리포트(예측)
VIP Report(정답) : VIP Report(예측) correct
VIP Report(정답) : Chairperson Note(예측)
VIP Report(정답) : VIP Report(예측) correct
이슈리포트(정답) : Chairperson Note(예측)
이슈리포트(정답) : VIP Report(예측)
VIP Report(정답) : VIP Report(예측) correct
통일경제(정답) : 통일경제(예측) correct
통일경제(정답) : 통일경제(예측) correct
VIP Report(정답) : VIP Report(예측) correct
VIP Report(정답) : 한국경제주평(예측)
Accuracy: 0.7594339622641509

저작자표시 비영리 변경금지

'그 밖에 AI' 카테고리의 다른 글

학습 모델 저장 및 읽어오기 (0)	2016.07.08
KFold클래스를 이용한 벡터기계(SVM) 알고리즘 교차 검증 (0)	2016.07.07
현대경제연구원 보고서 Scikit-learn 모듈을 이용한 베이즈 분류 적용 (0)	2016.07.06
현대경제연구원 보고서 Scikit-learn과 scipy를 이용한 비계층 군집 분석 (0)	2016.07.04
현대경제연구원 보고서 쿨백라이블러 발산 (Kullback–Leibler divergence) 분석 (0)	2016.07.03

현대경제연구원 보고서 Scikit-learn 모듈을 이용한 베이즈 분류 적용

푸른깃발🏳️ 2016. 7. 6. 02:03

2016. 7. 6. 02:03

● 현대경제연구원 보고서 Scikit-learn 모듈을 이용한 베이즈 분류 적용

> 들어가는 말

종일 비가 올 것 같았는데 밤이 되니 비가 멈췄다.

덕분에 비를 맞지 않고 운동을 했다. 빡시게 했더니 몸이 나른하다. 그리고 또 컴퓨터 앞에 앉았다.

> 계획

1. 베이즈 분류 모델을 적용하기 위해서 9:1 비율로 보고서들을 먼저 학습 시킨 후 테스트 과정을 거친다. 보고서가 중복되지 않게 조심한다.

2. 현재 2,109개의 자료가 있고 여기에 7개의 MagazineID가 있다.

3. 즉, 약 1900개의 리포트로 학습을 시킨 후 나머지 200개를 가지고 리포트 내용만 보여주고 MagazineID를 맞춰보게 하는거다. 최종 정확도(accuracy)를 보여준다. 그냥 랜덤하게 찍는다면 14% 정확도가 평균이고 숫자가 제일 많은 '한국경제지평'만 찍는다면 32.5%가 평균이다. 그러니까 최소 32.5%보다는 높게 나와야 의미가 있는 숫자가 되겠다.

4. 기본 report 정보가 담긴 json파일이 하나있고 여기에 연결되어 있는 2,109개의 (형태소분석된)보고서 파일이 따로 있다.

5. json파일은 raw버전이라 오류가 있거나 magazineID가 없는 것들도 모두 포함하고 있고 따라서 전체 4300개의 정보를 가지고 있다.

6. 역시나 좀 지겨운 전처리 작업이지만 뭐.. 인생이 그런거지. 그냥 하자.

> 실행

1. 뚝딱뚝딱. 아래가 그 결과다. 같은 자료로 10번을 돌려봤다.

2. 2109개의 파일들을 임의로 알아서 9:1의 비율로 나눈 후 9를 훈련 데이터로 1을 테스트 데이터로 사용한다.

3. 처음 1898개를 훈련하고 211개로 테스트 했을 때는 정확도가 48.1%가 나왔다. 정말 딱 한번만 그랬다. 그 후 여러번 돌려봤는데 대부분 55%를 넘었고 일반적으로 57% 내외였다.

3. 이 말인 즉, 컴퓨터가 테스트 보고서 211개의 내용만 보고 이 문서의 MagazineID가 전체 7개중에 하나를 골라 맞출 확률이 최소 48%이상, 평균 55%이상이었다는 거다.

4. 결과를 보면 2번째부터 정확도가 80%이상으로 확 올라가는데 이유는 이미 학습한 문서를 테스트를 했기 때문이다. 강사님 말씀에 의하면 텍스트 문서에서 머신러닝으로 정확도 80% 넘기는 것이 굉장히 어렵다고 한다.

5. 그런데 나는 그것보다 알고리즘이 문서만 보고 7개의 MagazineID중에 하나를 맞출 확률이 55%가 넘는다는게 너무 신기했다. 솔직히 믿을 수가 없었다. 그래서 어떻게 맞춘건지 과정을 한번 찍어봤다.

VIP Report(정답) : 한국경제주평(예측)
한국경제주평(정답) : Chairperson Note(예측)
한국경제주평(정답) : 한국경제주평(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
이슈리포트(정답) : 한국경제주평(예측)
한국경제주평(정답) : 한국경제주평(예측) correct
VIP Report(정답) : VIP Report(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
이슈리포트(정답) : 한국경제주평(예측)
한국경제주평(정답) : 한국경제주평(예측) correct
이슈리포트(정답) : 한국경제주평(예측)
VIP Report(정답) : VIP Report(예측) correct
이슈리포트(정답) : 한국경제주평(예측)
한국경제주평(정답) : VIP Report(예측)
이슈리포트(정답) : 한국경제주평(예측)
한국경제주평(정답) : 한국경제주평(예측) correct
이슈리포트(정답) : 한국경제주평(예측)
한국경제주평(정답) : 한국경제주평(예측) correct
이슈리포트(정답) : 이슈리포트(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
연금시장리뷰(정답) : 한국경제주평(예측)
한국경제주평(정답) : 한국경제주평(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
연금시장리뷰(정답) : 한국경제주평(예측)
Chairperson Note(정답) : Chairperson Note(예측) correct
연금시장리뷰(정답) : 한국경제주평(예측)
한국경제주평(정답) : 한국경제주평(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
Chairperson Note(정답) : Chairperson Note(예측) correct
Chairperson Note(정답) : Chairperson Note(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
Chairperson Note(정답) : Chairperson Note(예측) correct
이슈리포트(정답) : 한국경제주평(예측)
Chairperson Note(정답) : Chairperson Note(예측) correct
이슈리포트(정답) : 한국경제주평(예측)
이슈리포트(정답) : 한국경제주평(예측)
Chairperson Note(정답) : Chairperson Note(예측) correct
이슈리포트(정답) : VIP Report(예측)
한국경제주평(정답) : 한국경제주평(예측) correct
Chairperson Note(정답) : Chairperson Note(예측) correct
Chairperson Note(정답) : Chairperson Note(예측) correct
Chairperson Note(정답) : Chairperson Note(예측) correct
이슈리포트(정답) : 한국경제주평(예측)
한국경제주평(정답) : 한국경제주평(예측) correct
이슈리포트(정답) : 한국경제주평(예측)
연금시장리뷰(정답) : 한국경제주평(예측)
한국경제주평(정답) : 한국경제주평(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
연금시장리뷰(정답) : 한국경제주평(예측)
이슈리포트(정답) : 한국경제주평(예측)
연금시장리뷰(정답) : 한국경제주평(예측)
한국경제주평(정답) : 한국경제주평(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
이슈리포트(정답) : 한국경제주평(예측)
한국경제주평(정답) : 한국경제주평(예측) correct
Chairperson Note(정답) : Chairperson Note(예측) correct
연금시장리뷰(정답) : 한국경제주평(예측)
한국경제주평(정답) : 한국경제주평(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
이슈리포트(정답) : 한국경제주평(예측)
Chairperson Note(정답) : 한국경제주평(예측)
Chairperson Note(정답) : Chairperson Note(예측) correct
연금시장리뷰(정답) : 한국경제주평(예측)
Chairperson Note(정답) : Chairperson Note(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
Chairperson Note(정답) : Chairperson Note(예측) correct
Chairperson Note(정답) : Chairperson Note(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
Chairperson Note(정답) : Chairperson Note(예측) correct
연금시장리뷰(정답) : 한국경제주평(예측)
Chairperson Note(정답) : Chairperson Note(예측) correct
Chairperson Note(정답) : Chairperson Note(예측) correct
이슈리포트(정답) : 한국경제주평(예측)
Chairperson Note(정답) : Chairperson Note(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
연금시장리뷰(정답) : 한국경제주평(예측)
Chairperson Note(정답) : Chairperson Note(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
VIP Report(정답) : 한국경제주평(예측)
이슈리포트(정답) : 한국경제주평(예측)
이슈리포트(정답) : 한국경제주평(예측)
Chairperson Note(정답) : Chairperson Note(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
이슈리포트(정답) : 한국경제주평(예측)
VIP Report(정답) : 한국경제주평(예측)
이슈리포트(정답) : 한국경제주평(예측)
VIP Report(정답) : 한국경제주평(예측)
연금시장리뷰(정답) : 한국경제주평(예측)
한국경제주평(정답) : 한국경제주평(예측) correct
Chairperson Note(정답) : Chairperson Note(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
Chairperson Note(정답) : Chairperson Note(예측) correct
Chairperson Note(정답) : Chairperson Note(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
VIP Report(정답) : VIP Report(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
VIP Report(정답) : 한국경제주평(예측)
Chairperson Note(정답) : Chairperson Note(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
Chairperson Note(정답) : Chairperson Note(예측) correct
VIP Report(정답) : 한국경제주평(예측)
Chairperson Note(정답) : 한국경제주평(예측)
Chairperson Note(정답) : Chairperson Note(예측) correct
지식경제(정답) : 한국경제주평(예측)
VIP Report(정답) : VIP Report(예측) correct
Chairperson Note(정답) : Chairperson Note(예측) correct
이슈리포트(정답) : 한국경제주평(예측)
한국경제주평(정답) : 한국경제주평(예측) correct
VIP Report(정답) : VIP Report(예측) correct
VIP Report(정답) : VIP Report(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
이슈리포트(정답) : 한국경제주평(예측)
VIP Report(정답) : VIP Report(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
이슈리포트(정답) : 한국경제주평(예측)
VIP Report(정답) : 한국경제주평(예측)
한국경제주평(정답) : 한국경제주평(예측) correct
VIP Report(정답) : Chairperson Note(예측)
VIP Report(정답) : 한국경제주평(예측)
VIP Report(정답) : 한국경제주평(예측)
한국경제주평(정답) : 한국경제주평(예측) correct
이슈리포트(정답) : 한국경제주평(예측)
한국경제주평(정답) : 한국경제주평(예측) correct
이슈리포트(정답) : 한국경제주평(예측)
이슈리포트(정답) : 한국경제주평(예측)
이슈리포트(정답) : 한국경제주평(예측)
이슈리포트(정답) : 한국경제주평(예측)
Chairperson Note(정답) : Chairperson Note(예측) correct
Chairperson Note(정답) : 한국경제주평(예측)
한국경제주평(정답) : 한국경제주평(예측) correct
이슈리포트(정답) : 한국경제주평(예측)
한국경제주평(정답) : 한국경제주평(예측) correct
Chairperson Note(정답) : Chairperson Note(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
VIP Report(정답) : 한국경제주평(예측)
Chairperson Note(정답) : Chairperson Note(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
Chairperson Note(정답) : 한국경제주평(예측)
한국경제주평(정답) : 한국경제주평(예측) correct
VIP Report(정답) : Chairperson Note(예측)
통일경제(정답) : 한국경제주평(예측)
한국경제주평(정답) : 한국경제주평(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
Chairperson Note(정답) : Chairperson Note(예측) correct
Chairperson Note(정답) : Chairperson Note(예측) correct
이슈리포트(정답) : 한국경제주평(예측)
Chairperson Note(정답) : Chairperson Note(예측) correct
한국경제주평(정답) : Chairperson Note(예측)
한국경제주평(정답) : 한국경제주평(예측) correct
이슈리포트(정답) : 이슈리포트(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
VIP Report(정답) : 한국경제주평(예측)
이슈리포트(정답) : 한국경제주평(예측)
한국경제주평(정답) : 한국경제주평(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
이슈리포트(정답) : 한국경제주평(예측)
한국경제주평(정답) : 한국경제주평(예측) correct
Chairperson Note(정답) : Chairperson Note(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
VIP Report(정답) : 한국경제주평(예측)
VIP Report(정답) : 한국경제주평(예측)
Chairperson Note(정답) : 한국경제주평(예측)
한국경제주평(정답) : 한국경제주평(예측) correct
이슈리포트(정답) : 한국경제주평(예측)
한국경제주평(정답) : 한국경제주평(예측) correct
이슈리포트(정답) : 한국경제주평(예측)
한국경제주평(정답) : 한국경제주평(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
VIP Report(정답) : Chairperson Note(예측)
VIP Report(정답) : 한국경제주평(예측)
VIP Report(정답) : 한국경제주평(예측)
한국경제주평(정답) : 한국경제주평(예측) correct
VIP Report(정답) : VIP Report(예측) correct
VIP Report(정답) : 한국경제주평(예측)
한국경제주평(정답) : 한국경제주평(예측) correct
VIP Report(정답) : 한국경제주평(예측)
VIP Report(정답) : VIP Report(예측) correct
한국경제주평(정답) : VIP Report(예측)
한국경제주평(정답) : 한국경제주평(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
VIP Report(정답) : VIP Report(예측) correct
이슈리포트(정답) : Chairperson Note(예측)
VIP Report(정답) : 한국경제주평(예측)
VIP Report(정답) : 한국경제주평(예측)
VIP Report(정답) : 한국경제주평(예측)
VIP Report(정답) : 한국경제주평(예측)
통일경제(정답) : 한국경제주평(예측)
VIP Report(정답) : 한국경제주평(예측)
VIP Report(정답) : VIP Report(예측) correct
VIP Report(정답) : 한국경제주평(예측)
VIP Report(정답) : 한국경제주평(예측)
VIP Report(정답) : VIP Report(예측) correct
VIP Report(정답) : 한국경제주평(예측)
VIP Report(정답) : VIP Report(예측) correct
이슈리포트(정답) : Chairperson Note(예측)
이슈리포트(정답) : Chairperson Note(예측)
VIP Report(정답) : 한국경제주평(예측)
통일경제(정답) : 한국경제주평(예측)
VIP Report(정답) : Chairperson Note(예측)
VIP Report(정답) : 한국경제주평(예측)
이슈리포트(정답) : Chairperson Note(예측)
통일경제(정답) : VIP Report(예측)
VIP Report(정답) : 한국경제주평(예측)
Accuracy: 0.5518867924528302

6. 예측을 보면 확실히 절대수가 적은 지식경제나 통일, 연금이 정답으로 나온 문제는 몽땅 틀렸다. 한개도 맞추지 못했다 ㅡ,ㅡ 그리고 다른 리포트는 별로 티가 안나지만 Chairperson같은 경우는 형태소 안에 Chairperson이 들어가 있었다. 그럼 뭐 맞출수 있지. 나도 맞추겠다ㅋ 그런데 녀석의 예측을 보면 딱히 그런 방식만으로 예측한 것 같진 않다.

7. 어쨌든 재밌다.

8. 다음번에는 아예 작성자의 이름과 보고서명(MagazineID)를 없앤 후 모든 보고서를 다시 형태소로 바꾼 후 테스트를 해봐야겠다. 그럴 때 정확도가 어찌 될지 궁금하다.

> 중간 추가!

8번이 너무 궁금해서 실제로 작업 완료 후 모든 보고서명과 저자명(whoID)이 삭제된 것을 확인한 후 다시 돌려봤는데

결과는 아래와 같다.

이슈리포트(정답) : 한국경제주평(예측)
이슈리포트(정답) : 한국경제주평(예측)
한국경제주평(정답) : 한국경제주평(예측) correct
이슈리포트(정답) : 한국경제주평(예측)
한국경제주평(정답) : 한국경제주평(예측) correct
VIP Report(정답) : 한국경제주평(예측)
이슈리포트(정답) : 한국경제주평(예측)
이슈리포트(정답) : 한국경제주평(예측)
VIP Report(정답) : VIP Report(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
이슈리포트(정답) : 한국경제주평(예측)
VIP Report(정답) : VIP Report(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
VIP Report(정답) : VIP Report(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
이슈리포트(정답) : 한국경제주평(예측)
이슈리포트(정답) : 한국경제주평(예측)
VIP Report(정답) : VIP Report(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
이슈리포트(정답) : 한국경제주평(예측)
한국경제주평(정답) : 한국경제주평(예측) correct
Chairperson Note(정답) : Chairperson Note(예측) correct
Chairperson Note(정답) : Chairperson Note(예측) correct
연금시장리뷰(정답) : 한국경제주평(예측)
Chairperson Note(정답) : Chairperson Note(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
연금시장리뷰(정답) : 한국경제주평(예측)
한국경제주평(정답) : 한국경제주평(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
Chairperson Note(정답) : Chairperson Note(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
이슈리포트(정답) : 한국경제주평(예측)
Chairperson Note(정답) : Chairperson Note(예측) correct
이슈리포트(정답) : 한국경제주평(예측)
한국경제주평(정답) : 한국경제주평(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
Chairperson Note(정답) : Chairperson Note(예측) correct
연금시장리뷰(정답) : 한국경제주평(예측)
연금시장리뷰(정답) : 한국경제주평(예측)
한국경제주평(정답) : 한국경제주평(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
Chairperson Note(정답) : Chairperson Note(예측) correct
Chairperson Note(정답) : Chairperson Note(예측) correct
Chairperson Note(정답) : Chairperson Note(예측) correct
이슈리포트(정답) : 한국경제주평(예측)
한국경제주평(정답) : 한국경제주평(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
Chairperson Note(정답) : Chairperson Note(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
연금시장리뷰(정답) : 한국경제주평(예측)
Chairperson Note(정답) : Chairperson Note(예측) correct
연금시장리뷰(정답) : 한국경제주평(예측)
이슈리포트(정답) : 한국경제주평(예측)
이슈리포트(정답) : 한국경제주평(예측)
이슈리포트(정답) : 한국경제주평(예측)
연금시장리뷰(정답) : 한국경제주평(예측)
한국경제주평(정답) : 한국경제주평(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
이슈리포트(정답) : 한국경제주평(예측)
이슈리포트(정답) : 한국경제주평(예측)
이슈리포트(정답) : 한국경제주평(예측)
이슈리포트(정답) : Chairperson Note(예측)
한국경제주평(정답) : 한국경제주평(예측) correct
Chairperson Note(정답) : Chairperson Note(예측) correct
이슈리포트(정답) : 한국경제주평(예측)
한국경제주평(정답) : 한국경제주평(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
연금시장리뷰(정답) : 한국경제주평(예측)
Chairperson Note(정답) : Chairperson Note(예측) correct
이슈리포트(정답) : 한국경제주평(예측)
VIP Report(정답) : VIP Report(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
VIP Report(정답) : 한국경제주평(예측)
연금시장리뷰(정답) : 한국경제주평(예측)
VIP Report(정답) : 한국경제주평(예측)
연금시장리뷰(정답) : 한국경제주평(예측)
VIP Report(정답) : 한국경제주평(예측)
한국경제주평(정답) : 한국경제주평(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
Chairperson Note(정답) : Chairperson Note(예측) correct
Chairperson Note(정답) : Chairperson Note(예측) correct
Chairperson Note(정답) : Chairperson Note(예측) correct
VIP Report(정답) : 한국경제주평(예측)
Chairperson Note(정답) : Chairperson Note(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
Chairperson Note(정답) : Chairperson Note(예측) correct
VIP Report(정답) : 한국경제주평(예측)
한국경제주평(정답) : 한국경제주평(예측) correct
Chairperson Note(정답) : Chairperson Note(예측) correct
이슈리포트(정답) : 한국경제주평(예측)
Chairperson Note(정답) : Chairperson Note(예측) correct
연금시장리뷰(정답) : 한국경제주평(예측)
한국경제주평(정답) : 한국경제주평(예측) correct
VIP Report(정답) : VIP Report(예측) correct
Chairperson Note(정답) : Chairperson Note(예측) correct
Chairperson Note(정답) : Chairperson Note(예측) correct
Chairperson Note(정답) : Chairperson Note(예측) correct
Chairperson Note(정답) : Chairperson Note(예측) correct
VIP Report(정답) : VIP Report(예측) correct
Chairperson Note(정답) : Chairperson Note(예측) correct
VIP Report(정답) : VIP Report(예측) correct
VIP Report(정답) : VIP Report(예측) correct
지식경제(정답) : 한국경제주평(예측)
Chairperson Note(정답) : Chairperson Note(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
Chairperson Note(정답) : Chairperson Note(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
이슈리포트(정답) : 한국경제주평(예측)
이슈리포트(정답) : 한국경제주평(예측)
이슈리포트(정답) : 한국경제주평(예측)
VIP Report(정답) : VIP Report(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
VIP Report(정답) : 한국경제주평(예측)
VIP Report(정답) : 한국경제주평(예측)
Chairperson Note(정답) : Chairperson Note(예측) correct
통일경제(정답) : VIP Report(예측)
통일경제(정답) : 한국경제주평(예측)
Chairperson Note(정답) : Chairperson Note(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
이슈리포트(정답) : 한국경제주평(예측)
VIP Report(정답) : 한국경제주평(예측)
한국경제주평(정답) : 한국경제주평(예측) correct
VIP Report(정답) : 한국경제주평(예측)
통일경제(정답) : 한국경제주평(예측)
통일경제(정답) : VIP Report(예측)
통일경제(정답) : 한국경제주평(예측)
Chairperson Note(정답) : Chairperson Note(예측) correct
Chairperson Note(정답) : Chairperson Note(예측) correct
VIP Report(정답) : 한국경제주평(예측)
VIP Report(정답) : VIP Report(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
통일경제(정답) : VIP Report(예측)
통일경제(정답) : 한국경제주평(예측)
통일경제(정답) : 한국경제주평(예측)
한국경제주평(정답) : 한국경제주평(예측) correct
Chairperson Note(정답) : Chairperson Note(예측) correct
이슈리포트(정답) : 한국경제주평(예측)
Chairperson Note(정답) : 한국경제주평(예측)
한국경제주평(정답) : 이슈리포트(예측)
이슈리포트(정답) : 한국경제주평(예측)
한국경제주평(정답) : 한국경제주평(예측) correct
이슈리포트(정답) : 한국경제주평(예측)
Chairperson Note(정답) : 한국경제주평(예측)
VIP Report(정답) : 한국경제주평(예측)
한국경제주평(정답) : 한국경제주평(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
Chairperson Note(정답) : Chairperson Note(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
이슈리포트(정답) : Chairperson Note(예측)
한국경제주평(정답) : 한국경제주평(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
한국경제주평(정답) : VIP Report(예측)
VIP Report(정답) : VIP Report(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
이슈리포트(정답) : 한국경제주평(예측)
한국경제주평(정답) : 한국경제주평(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
VIP Report(정답) : 한국경제주평(예측)
VIP Report(정답) : 한국경제주평(예측)
한국경제주평(정답) : 한국경제주평(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
VIP Report(정답) : 한국경제주평(예측)
한국경제주평(정답) : 한국경제주평(예측) correct
VIP Report(정답) : 한국경제주평(예측)
한국경제주평(정답) : VIP Report(예측)
한국경제주평(정답) : VIP Report(예측)
한국경제주평(정답) : 한국경제주평(예측) correct
VIP Report(정답) : 한국경제주평(예측)
한국경제주평(정답) : 한국경제주평(예측) correct
한국경제주평(정답) : 한국경제주평(예측) correct
VIP Report(정답) : VIP Report(예측) correct
VIP Report(정답) : 한국경제주평(예측)
VIP Report(정답) : 한국경제주평(예측)
VIP Report(정답) : 한국경제주평(예측)
VIP Report(정답) : 한국경제주평(예측)
VIP Report(정답) : 한국경제주평(예측)
통일경제(정답) : Chairperson Note(예측)
VIP Report(정답) : 한국경제주평(예측)
VIP Report(정답) : VIP Report(예측) correct
이슈리포트(정답) : 이슈리포트(예측) correct
통일경제(정답) : VIP Report(예측)
통일경제(정답) : VIP Report(예측)
VIP Report(정답) : VIP Report(예측) correct
VIP Report(정답) : 한국경제주평(예측)
이슈리포트(정답) : Chairperson Note(예측)
통일경제(정답) : VIP Report(예측)
VIP Report(정답) : 한국경제주평(예측)
이슈리포트(정답) : 한국경제주평(예측)
이슈리포트(정답) : Chairperson Note(예측)
VIP Report(정답) : 한국경제주평(예측)
이슈리포트(정답) : Chairperson Note(예측)
VIP Report(정답) : VIP Report(예측) correct
이슈리포트(정답) : Chairperson Note(예측)
VIP Report(정답) : 한국경제주평(예측)
Accuracy: 0.5592417061611374

거의 차이가 없다. 어떻게 이렇게 잘 맞추는 건지. 기똥차다. 각 보고서마다 내가 모르는 어떤 공통된 패턴이 들어가 있는 것 같은데, 눈으로 일일이 비교 분석하지 않아 잘 모르겠다.

심지어 표준편차도 그리 크지 않다.

신기하다.

-----------------------------------------------------------

9. 만약 그래도 정확도가 그럴듯하게 나오면 아예 작성자가 누군자 맞춰보게해야겠다. 크하하. 그건 진짜 못맞추겠지.

10. 어쨌든 오늘도 하나는 만들고 잔다.

저작자표시 비영리 변경금지

'그 밖에 AI' 카테고리의 다른 글

KFold클래스를 이용한 벡터기계(SVM) 알고리즘 교차 검증 (0)	2016.07.07
현대경제연구원 보고서 벡터기계(SVM: support vector machine)알고리즘을 이용한 분석 (0)	2016.07.06
현대경제연구원 보고서 Scikit-learn과 scipy를 이용한 비계층 군집 분석 (0)	2016.07.04
현대경제연구원 보고서 쿨백라이블러 발산 (Kullback–Leibler divergence) 분석 (0)	2016.07.03
아. 헬대. 현다이 ㅅㅂ (0)	2016.07.02

현대경제연구원 보고서 Scikit-learn과 scipy를 이용한 비계층 군집 분석

푸른깃발🏳️ 2016. 7. 4. 19:09

2016. 7. 4. 19:09

● 현대경제연구원 보고서 Scikit-learn과 scipy를 이용한 비계층 군집 분석

> 들어가는 말

1. 이제 (약간의)인공지능이 들어간다. 알아서 문서의 중심(centroid)을 설정하고 이로부터 각 자료와의 거리에 드는 비용을 최소한하는 군집 알고리즘(K-평균기법)을 이용한다. 이것도 결과가 궁금하다.

> 계획

1. scikit-learn 라이브러리에서 이미 K-평균 군집화 기능을 제공한단다.

2. 처리 속도가 빨라 많은 분야에서 사용하고 있단다.

3. 문서를 행렬로 만들때 개발자가 일일이 만들 필요없이

이렇게 하는 것으로 원샷 생성이 가능하다.

3. KL발산을 이용한 분석과 마찬가지로 개발자가 할일은 오로지 '요리재료 준비하기' 뿐이다. 실제 요리는 Scikit-learn이 다 해준다. 물론 요리가 나오면 먹기좋게 꾸미는 건 내 몫이다. 뭔가 내가 '을'이 된 기분이다 ㅡ,ㅡ

> 실행

1. 어차피 이 코드를 공유한다고 해서 갑자기 많은 사람들이 현대경제연구원에 몰려 들어가 자료들을 빼올거라 전혀 생각치 않기 때문에 지난번과 마찬가지로 전체 코드를 공유한다. 코드에 쓰인 몇가지 팁들은 도움이 될 법(?)하다.

#!/usr/bin/env python3
# -*- coding: utf-8 -*-

import sys
import os.path
import ujson
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.cluster import KMeans

FILTER_MAGAZINE_ID = "Nowhere"
FILTER_POSES = {"NNG", "NNP", "NP", "VV", "VA", "MM", "MAG", "MAJ", "XR"}
PRED_POSES = {"VV", "VA"}
NUM_CLUSTERS = 10

def read_docs(input_file_name):

titles = []
    fileNames = []
    documents = []
    information = []
    inputfileList = []
    inputFolder = 'HyunEco_Season2/morphed/'

for root, dirs, files in os.walk(inputFolder): # 입력 폴더에서 파일리스트를 받아
        for file in files:
            inputfileList.append(file) # 리스트로 만든다.

with open(input_file_name, "r", encoding="utf-8") as f:
        information = ujson.load(f)

for i in range(len(information)):

if FILTER_MAGAZINE_ID in information[i]['magazineID'] or information[i]['morphedName'] not in inputfileList:
                continue
            title = information[i]['titleID']
            fileName = information[i]['fileName']
            document = gen_doc(information[i]["morphedName"])
            titles.append(title)
            fileNames.append(fileName)
            documents.append(document)
    return titles, fileNames, documents

def gen_doc(morphedName):

document =" "
    morphed_file = "HyunEco_Season2/morphed/" + morphedName
    try:
        with open(morphed_file, 'r', encoding='utf-8') as morphedReport:
            morphedText = ujson.load(morphedReport)
            for j in range(len(morphedText)):
                document = ext_morphs(morphedText[j]['morphAnal'], document)
    except:
        pass

return document

def ext_morphs(morphAnal, morphs):

morphs = []

for word in morphAnal:
        #for word in sen:
        for morph_lex, morph_pos in word:
            if morph_pos not in FILTER_POSES: #지금은 모든 MazagineID를 실험한다
                continue
            if morph_pos in PRED_POSES:
                morph = morph + u"다"

morphs.append(morph_lex)
    document = " ".join(morphs)

return document

def get_doc_term_mat(documents):

vectorizer = TfidfVectorizer(min_df=1)
    doc_term_mat = vectorizer.fit_transform(documents)

return doc_term_mat, vectorizer

def get_kmeans_clusters(doc_term_mat):

km = KMeans(n_clusters=NUM_CLUSTERS, init="k-means++", verbose=1)
    km.fit(doc_term_mat)

return km

def print_clusters(km, titles, fileNames,w):

result = {}
    text = []

for doc_num, cluster_num in enumerate(km.labels_):
        if cluster_num not in result:
            result[cluster_num] = []

result[cluster_num].append(doc_num)
    
    text.append(u"군집 분석 결과\n")
    text.append(u"목표 군집 수: " + str(NUM_CLUSTERS)+ "\n\n")

for cluster_num, doc_nums in result.items():
        clustered_titles = []

for doc_num in doc_nums:
            txt = titles[doc_num] + '(' + fileNames[doc_num]+')'
            clustered_titles.append(txt)

# clustered_titles = [titles[doc_num] for doc_num in doc_nums]
        instant_titles = " ".join(clustered_titles)
        text.append(u"군집 : "+ str(cluster_num) + u"\t총개수 : " + str(len(clustered_titles)) + u"\t보고서 :\n" + instant_titles +"\n\n")
    text = "".join(text)
    w.write(text)

def print_centroid_words(km, vectorizer, titles,w):

text = []
    text.append(u"군집별 중심 어휘\n\n")

ordered_centroids = km.cluster_centers_.argsort()[:, ::-1]
    words = vectorizer.get_feature_names()

for cluster_num in range(NUM_CLUSTERS):
        center_word_nums = []

for word_num in ordered_centroids[cluster_num, :20]:
            center_word_nums.append(word_num)

# center_word_nums = [word_num
        #                     for word_num in ordered_centroids[cluster_num,
        #                                                       :20]]

center_words = []

for word_num in center_word_nums:
            center_words.append(words[word_num])

text.append(u"군집 " + str(cluster_num) + " : " + ", ".join(center_words) + "\n\n")
    text = "".join(text)
    w.write(text)

def main():

input_file_name = "HyunEco_Season2/report_infomation.txt"
    output_file_name= "HyunEco_Season2/cluster_HyunEco_flat.txt"

titles, fileNames, documents = read_docs(input_file_name)
    doc_term_mat, vectorizer = get_doc_term_mat(documents)
    km = get_kmeans_clusters(doc_term_mat)

with open(output_file_name, 'w', encoding = 'utf-8') as w:
        print_clusters(km, titles, fileNames,w)
        print_centroid_words(km, vectorizer, titles,w)
    w.close()

main()

> 결과

1. 짜잔~ 군집은 10개로 했고 키워드는 상위 20개까지만 뽑았다. 속도가 매우 빠르다.

군집 분석 결과
목표 군집 수: 10

군집 : 0 총개수 : 1810 보고서 :
일본 고령자 일자리 창출 사례와 시사점(2016.06.27[0].pdf) 브렉시트의 불확실성 차단과 성장잠재력 확충을 위한 2016 추경 편성 방향 제언(2016.06.24[1].pdf) 2016년 하반기 국내외 주요 경제 이슈(2016.06.22[2].pdf) 2000~2015년 북중 교역 변화 분석(2016.06.21[3].pdf) Qarterly Economic Review (16-2) - 中文(2016.06.20[5].pdf) 경기 침체기의 가계소비 비교와 시사점(2016.06.15[6].pdf) 과거 불황기와 최근 고용 현황 비교(2016.06.10[8].pdf) 중국 자본유출 현황과 시사점(2016.06.08[9].pdf) 통화정책의 방향성 점검과 시사점(2016.06.07[10].pdf) 최근 경제 동향과 경기 판단(2016년 2분기)(2016.06.03[11].pdf) -- 너무 많아 하략

군집 : 1 총개수 : 136 보고서 :
청년 고용보조지표의 현황과 개선방안(2016.06.13[7].pdf) 시니어시프트 도래에 따른 경제환경 변화와 기업대응 트렌드(2016.05.11[19].pdf) 對中 수출 절벽 극복 방안(2016.05.02[21].pdf) 국제유가의 국내 물가 변수에 미치는 영향(2016.04.25[24].pdf) 최근 유가 급락의 한국 경제 파급영향(2016.01.26[47].pdf) 독일통일 25주년의 경제적 성과와 한계(2015.10.01[75].pdf) 최근 산업경기의 5대 특징과 시사점(2015.09.30[76].pdf) 한·러 수교 25주년 의미와 시사점(2015.09.24[77].pdf) 미국 기준금리 인상의 한국 경제 파급 영향(2015.09.16[79].pdf) 미국 경제 회복과 시사점(2015.09.14[80].pdf) 트리플 쇼크에 취약한 아시아 신흥 3개국 점검(2015.09.07[82].pdf) 한국 경제， 트리플 딥(triple-dip)에 빠지나?(2015.08.31[84].pdf) 글로벌 금융위기 전후 한중일 3국간 역내 직접투자 특징과 시사점(2015.08.03[93].pdf) 미국 제조업 르네상스의 진행 현황과 시사점(2015.07.28[95].pdf) 세계 M&A와의 비교를 통해 본 국내 M&A의 특징(2015.07.21[98].pdf) 경제적 행복감， 2013년 이래 최저(2015.07.07[104].pdf) 지난 10년간， 한중일 국경간 M&A 특징과 시사점(2015.06.30[107].pdf) 국내 외국인 체류자의 특징과 시사점(2015.05.12[129].pdf) 2015년 남북관계 현안에 관한 전문가 설문조사(2015.05.07[131].pdf) 2015년 1/4분기 한반도 평화지수 전망(2015.01.29[165].pdf) 국민의 안일한 인식이 부정부패를 키운다(2014.10.29[199].pdf) 한국 사회자본 나를 넘어 공동체로(2014.07.31[237].pdf) 2014년 글로벌 10대 트렌드(2013.12.30[352].pdf) 한중일 관계 개선，산업협력부터가 시작이다!(2013.12.23[354].pdf) 원화 강세 당분간 지속 가능성 높다.(2013.12.16[357].pdf) 유로존의 그레이 스완， 재정위기국의 불안요인(2013.12.09[363].pdf) 원화 절상이 제조업 수익성에 미치는 영향(2013.12.02[364].pdf) 에너지 수급 불균형 해소를 위한 생산 효율성 제고 방안(2013.11.25[368].pdf) 2014년 주택시장 전망과 시사점(2013.11.18[372].pdf) 우리나라 재정수지의 특징과 시사점(2013.11.11[376].pdf) 한국 DAC 가입 4년차 사업 현황과 시사점(2013.11.04[380].pdf) 아베노믹스， 일본경제 살리고 있다!(2013.10.28[382].pdf) 평균소비성향에 영향을 미치는 주된 요인과 시사점(2013.10.21[385].pdf) 설비투자 자본재의 수입의존도 현황과 시사점(2013.10.14[391].pdf) 2014년 국내 경제 전망(2013.10.07[394].pdf) 최근 규제개혁의 성과와 한계(2013.09.30[395].pdf) 미국 출구전략과 파급 영향(2013.09.23[399].pdf) 제조업 경쟁력이 국가 경쟁력 결정한다!(2013.09.09[404].pdf) 제조업이 살아야 경제가 산다(2013.09.02[408].pdf) 가계부채 위험의 급등과 시사점(2013.08.23[414].pdf) 중국경제의 구조조정 현황과 전망(2013.08.19[417].pdf) 국내 디플레이션 발생 가능성 점검(2013.08.12[422].pdf) 엔 캐리트레이드 향방과 시사점(2013.08.05[424].pdf) 중국의 경제구조 변화와 한국의 수출산업(2013.07.29[427].pdf) 독일 고용률 73% 달성의 비결(2013.07.22[431].pdf) 구매력평가 환율로 본 엔화 가치(2013.07.15[438].pdf) 시간제 일자리의 실상과 대응방안(2013.07.08[441].pdf) 한중 통화협력 강화해야 한다!(2013.07.01[445].pdf) 상반기 경제의 5대 패러독스와 하반기 리스크 요인 점검(2013.06.24[448].pdf) 고령화로 인한 지자체 지속가능성 점검(2013.06.17[453].pdf) 창조경제의 성공은 창조산업 육성부터(2013.06.10[455].pdf) 엔화 가치 급락과 한국경제에 미치는 영향(2013.05.27[459].pdf) 여성 경제활동 증가의 긍정적 효과(2013.05.20[464].pdf) 동북아 인프라 시장 전망과 시사점(2013.05.13[465].pdf) 베이비붐세대 고용의 특징과 시사점(2013.05.06[469].pdf) 인프라 고령화의 실태와 개선 과제(2013.04.29[472].pdf) 과소투자 고착화되고 있다(2013.04.22[476].pdf) 창조형 창업이 없다!(2013.04.15[479].pdf) 아시아 중산층을 잡아라!(2013.04.08[483].pdf) 차이나머니가 몰려온다!(2013.04.01[485].pdf) 창조경제의 의미와 새정부의 실현 전략(2013.03.25[490].pdf) 한국의 창조경제역량지수 개발과 평가(2013.03.25[491].pdf) 세대별 행복도 차이의 배경과 시사점(2013.03.18[496].pdf) 저소득층 가계부채의 특징과 시사점(2013.03.11[500].pdf) 지하경제 해소 방안(2013.03.04[504].pdf) 정부별 주요 경제지표 추이(2013.02.25[508].pdf) 한국경제의 중진국 함정 탈출 전략(2013.02.18[511].pdf) 한중 과학기술 경쟁력 비교와 시사점(2013.02.12[518].pdf) 아베노믹스가 국내경제에 미치는 영향과 시사점(2013.02.04[520].pdf) 새정부의 경제정책에 대한 국민 의견 조사(2013.01.28[523].pdf) 새 정부 출범과 2013년 국내 10대 트렌드(2013.01.14[534].pdf) 한국경제 재도약을 위한 5대 분야별 ‘10+3’ 정책 제언(2013.01.10[536].pdf) 2013년 글로벌 10대 트렌드(2013.01.07[538].pdf) 소득과 삶의 질 격차 확대되고 있다 - 삶의 질 지수(HQLI) 추이와 시사점(2012.02.06[673].pdf) 중국 경제의 경착륙 가능성 확대와 대응 과제(2012.01.30[675].pdf) 잠재성장률의 위기 - 글로벌 금융위기 이후 3%대로 추락(2012.01.25[676].pdf) 2012년 10대 희망요인(2012.01.18[679].pdf) 2012 국내 10대 트렌드(2012.01.09[682].pdf) 은퇴빈곤층(Retire Poor)의 추정과 5대 특성-은퇴 준비 안 된 가구 100만 이상(2011.08.22[728].pdf) 美 주택가격지수 5개월 만에 상승세 기록(2010.12.27[809].pdf) 11월 미국 생산자 물가 5개월째 상승세 지속(2010.12.20[813].pdf) 11월 미국 실업률 전월대비 0.2%p 상승(2010.12.13[817].pdf) 美 제조업지수 전월대비 하락(2010.12.06[820].pdf) 美 3/4분기 국내총생산 성장률 2.5% 기록(2010.11.29[823].pdf) 10월 美 생산자물가 4개월째 상승(2010.11.22[827].pdf) 美 9월 무역수지 적자규모 전월대비 5.37% 감소(2010.11.15[832].pdf) 美 제조업지수 상승세로 전환(2010.11.08[836].pdf) 10월 美 소비자신뢰지수 소폭 상승(2010.11.01[840].pdf) 9월 美 소비자 물가 3개월 연속 상승세(2010.10.25[845].pdf) 9월 미국 실업률 9.6%로 전달과 동일(2010.10.18[848].pdf) 美 공급자관리협회(ISM)의 제조업지수(2010.10.11[851].pdf) 미국 소비 심리 악화(2010.10.04[855].pdf) 8월 美 생산자 물가 2개월째 상승세(2010.09.20[861].pdf) 8월 美 실업률 전월대비 0.1% 상승(2010.09.13[866].pdf) 미국 공급자관리협회(ISM)의 제조업지수(2010.09.06[871].pdf) 6월 미국 주택가격지수 3개월 만에 하락(2010.08.30[873].pdf) 7월 미국 소비자 물가 4개월 만에 상승(2010.08.23[880].pdf) 美， 제조업지수 전월 대비 하락세(2010.08.09[886].pdf) 미국 소비 심리 악화(2010.08.02[890].pdf) 한국의 OECD 경기선행지수 6개월 연속 하락세(2010.07.19[899].pdf) IMF 세계 경제 성장률 전망 상향 조정(2010.07.12[904].pdf) 4월 미국 주택가격지수 전월대비 상승(2010.07.07[907].pdf) 美 공급자관리협회(ISM)의 제조업지수 전월대비 하락세(2010.07.07[908].pdf) 미국 전역에서 완만한 경기 회복세(2010.06.14[918].pdf) 경상수지 3개월째 흑자 기록(2010.05.31[924].pdf) 4월 미국 소비자 물가 하락세로 전환(2010.05.24[927].pdf) 미국의 3월 소비자신용 증가(2010.05.10[934].pdf) 남유럽 국가의 국가신용등급 하향(2010.05.03[936].pdf) 3월 미국 생산자 물가 상승세로 전환(2010.04.26[940].pdf) 3월 미국 소비자 물가 소폭 상승(2010.04.19[943].pdf) 미국의 2월 소비자신용 큰 폭 하락(2010.04.12[946].pdf) 美 제조업지수 상승세 지속(2010.04.05[950].pdf) 美 주택가격지수 2달 연속 하락(2010.03.29[953].pdf) 2월 미국 소비자 물가 안정세 유지(2010.03.22[957].pdf) 미국 완만한 경기 회복세 확산(2010.03.08[964].pdf) 1월 소비자물가 전월대비 0.2% 상승(2010.03.02[967].pdf) 미국의 산업 생산 7개월 연속 상승세 지속(2010.02.22[970].pdf) 美 실업률 소폭 하락(2010.02.16[974].pdf) 북한 나무심기 사업의 의의와 활성화 방안(2010.02.04[980].pdf) 미국 소비자 신뢰지수 상승세 지속(2010.02.01[984].pdf) 중국 출구전략의 배경과 파급영향(2010.01.27[991].pdf) 美 경제활동 소폭 개선(2010.01.25[993].pdf) 美 소매판매， 하락세로 반전(2010.01.18[996].pdf) 美 제조업 부문 회복세 지속(2010.01.11[1002].pdf) 한미 정상 회담의 성과 제고 방안(2009.06.12[1104].pdf) 전통서비스업: 고부가 주력 산업으로의 전환 필요(2009.05.20[1117].pdf) 최근 중산층 붕괴 현황과 시사점(2009.04.22[1128].pdf) 중국 산업진흥계획의 특징과 한국에 미치는 영향(2009.04.16[1134].pdf) 최근 미국 부동산 경기 특징과 전망(2009.04.06[1138].pdf) 수출 산업의 한ㆍ중ㆍ일 경쟁력 비교와 시사점(2009.04.01[1141].pdf) 서민 경제 살리기 시급하다(2009.03.30[1142].pdf) 북한 미사일 발사의 영향과 과제(2009.03.16[1155].pdf) 한국을 이끌 9대 부품소재산업(2009.02.18[1168].pdf) 관광산업의 5대 트렌드 변화와 육성을 위한 시사점(2009.02.11[1171].pdf) 중국 경착륙이 한국경제에 미치는 영향과 시사점(2009.02.05[1174].pdf) 최근 한중일 국가간 M&A 특징 비교 분석(2009.01.22[1179].pdf)

군집 : 2 총개수 : 34 보고서 :
경상수지 악화 여건과 대응(2010.09.10[867].pdf) 하반기 소비둔화 가능성 높다(2010.07.23[894].pdf) 6. 25 참전국에 대한 경제적 보은 과제(2010.06.25[912].pdf) 최근 수출 증가 배경과 전망(2010.05.20[929].pdf) 최근 국내 통상마찰의 증가와 배경(2010.03.29[954].pdf) 최근 소비 회복세 약화와 과제(2010.03.22[958].pdf) 원화 환율 변동 리스크 커지고 있다(2010.02.10[977].pdf) 도요타 경영위기의 교훈과 시사점(2010.02.08[978].pdf) 한ㆍ미 정상 회담의 5대 경제 현안과 과제(2009.11.17[1024].pdf) 카드 문제의 교훈과 재발 방지 방안(2004.01.12[1897].pdf) 후세인 체포의 중장기적 파급 효과(2003.12.22[1906].pdf) 최근 부동산 가격의 하락 지속 여부 평가(2003.12.15[1908].pdf) 최근 금리 동향과 금융시장의 구조적 문제 재점검(2003.12.08[1909].pdf) 최근 세계 경제의 흐름과 시사점(2003.12.01[1912].pdf) 서울 뉴타운 지구 및 균형발전 촉진지구 개발 계획(2003.11.24[1918].pdf) KEDO 경수로 공사 잠정 중단 결정과 향후 전망(2003.11.17[1920].pdf) 2004년 국내 부동산 시장 전망(2003.11.17[1921].pdf) 10.29 주택시장 안정 종합대책의 평가(2003.11.10[1922].pdf) 이라크 파병의 경제적 영향과 대응 과제(2003.11.02[1925].pdf) 집단 소송제의 문제점 및 대안(2003.10.13[1935].pdf) 투자 활성화 방안(2003.10.06[1937].pdf) 향후 환율 전망과 과제(2003.09.29[1938].pdf) 국제 원유 가격 안정 예상(2003.09.29[1940].pdf) 주5일 근무제의 파급 영향과 보완책(2003.09.22[1945].pdf) 북한 동향: 6자 회담의 성과와 과제(2003.09.08[1953].pdf) 최근 금융산업 재편의 기본 방향과 문제점(2003.09.01[1955].pdf) 차세대 10대 성장 동력 산업 선정과 육성 과제(2003.09.01[1956].pdf) 최근 금리 변화의 특징과 문제점(2003.08.18[1960].pdf) 향후 남북경협 전망과 과제(2003.08.11[1962].pdf) 4대 경협 합의서 발효의 의미와 효과(2003.08.04[1964].pdf) 환율 동향과 전망(2003.07.28[1966].pdf) 경기부양 정책의 기대효과와 보완 과제(2003.07.21[1972].pdf) 위엔화 평가 절상 움직임과 환율 전망(2003.07.21[1973].pdf) 국내 금융 구조조정의 추진 현황과 향후 전망(2003.07.14[1975].pdf)

군집 : 3 총개수 : 63 보고서 :
이란 경제제재 해제의 한국 경제 파급 영향(2016.01.18[52].pdf) 국내 저물가 지속 배경과 시사점(2015.12.30[56].pdf) 온라인 소매업의 경쟁 기반 평가와 시사점(2015.11.03[67].pdf) ICT 산업의 발전 과제와 시사점(2015.09.10[81].pdf) 한중 수교 23주년 의미와 시사점(2015.08.19[87].pdf) 주요국 우주산업 경쟁력 현황과 시사점(2015.08.04[92].pdf) 위안화 국제화 정책 점검과 시사점(2015.07.14[101].pdf) Open R&D， 창조 경제를 담보한다(2015.06.23[110].pdf) 첨단기술기반 서비스업의 특징과 시사점(2015.06.16[115].pdf) 중국의 무역영토 확장 전략 및 시사점(2015.06.09[118].pdf) 유해폐기물 재활용 산업 현황 및 시사점(2015.06.04[120].pdf) 2015년 2/4분기 HRI 한반도 평화지수 전망(2015.04.28[134].pdf) 아세안(ASEAN) 주요 4개국의 성장 잠재력 및 시사점(2015.04.20[137].pdf) 국내 고부가가치 산업의 특징과 시사점(2015.04.14[139].pdf) 한.독(韓.獨) 외국인재 유치 기반 비교 및 시사점(2015.04.07[141].pdf) 콘텐츠산업의 시장 현황과 시사점(2015.03.31[144].pdf) 체감경제고통지수 조사 결과(2015.03.23[147].pdf) 해외직접투자 증가의 특징과 시사점(2015.03.04[155].pdf) 광복 70년， 삶의 질 변화와 시사점(2015.01.21[168].pdf) 광복 70년， 경제·산업 변화와 시사점(2015.01.14[171].pdf) 경제적 행복 추이와 시사점(2015.01.07[173].pdf) 지역특구 10년의 평가와 개선 방안(2014.10.08[209].pdf) 인공지능(AI) 관련 유망산업 동향 및 시사점(2014.09.16[219].pdf) 미국 에너지 정책 변화와 시사점(2014.08.13[232].pdf) 중국의 외투기업 유치정책 7대 변화와 시사점(2014.07.22[242].pdf) 경제적 행복 추이와 시사점(2014.07.08[250].pdf) 당신은 중산층입니까?(2014.06.12[265].pdf) 최근 북한 경제정책 특징과 통일에의 시사점(2014.05.20[276].pdf) 동북아 역내 교역 변화의 특징과 시사점(2009.12.09[1012].pdf) 여행업 선진화， 시스템의 정비가 필요하다(2009.12.02[1016].pdf) 민간 건축 경기 침체의 문제점과 대응 방안(2009.11.27[1020].pdf) 위안화 국제화 진전과 시사점(2009.11.18[1023].pdf) 한국 반도체 산업의 무역 역조 현황과 시사점(2009.10.28[1034].pdf) 녹색 소비가 녹색 성장의 원동력이다(2009.10.21[1037].pdf) 2010년 주요 산업 전망과 현안(2009.10.19[1038].pdf) 중ㆍ일의 희소금속자원 확보전략과 시사점(2009.10.07[1044].pdf) 업종간 희비가 교차되는 제조업 경기(2009.09.21[1055].pdf) 한국 녹색세제의 현황과 시사점(2009.09.02[1064].pdf) 국내 제조업의 3대 취약 요인과 시사점(2009.08.26[1066].pdf) 베이비 붐 세대의 은퇴와 정책적 대응방안(2009.07.09[1088].pdf) 산업재해 예방이 경쟁력이다(2009.06.10[1105].pdf) 가계신용 악화 현황과 시사점(2009.05.28[1114].pdf) 신성장산업 인력 수급의 애로와 시사점(2009.05.13[1120].pdf) 신 성장모델의 모색， 태양광 클러스터(2009.05.07[1122].pdf) 해외직접투자의 한일간 비교 및 정책적 시사점(2009.04.29[1125].pdf) 국내 물류부문의 에너지 과소비 현황과 정책적 시사점(2009.04.08[1137].pdf) 국내 이산화탄소 과(過)배출 원인과 시사점(2009.03.25[1151].pdf) 고용 안정과 미래 성장잠재력 확충 방안(2009.03.18[1154].pdf) 도시브랜드가 국가경쟁력이다(2009.03.12[1157].pdf) 대공황시기 세계 해운경기 침체현황과 시사점(2009.03.05[1160].pdf) 엔高-원低 활용 방안(2009.02.25[1165].pdf) 한일간 외국인 직접투자 비교와 시사점(2008.12.17[1201].pdf) 대-중소기업 동반 성장을 위한 바람직한 협력 모델 구축 방안(2008.12.04[1211].pdf) 오바마의 산업정책， New Apollo 프로젝트의 의미와 시사점(2008.11.27[1216].pdf) 중국 경기급랭과 한국의 대응방안(2008.11.20[1219].pdf) 2009년 주요 산업 전망과 현안(2008.11.14[1223].pdf) 對 중국 수출 둔화의 원인과 전망(2008.11.07[1226].pdf) 2008년 주요 산업경기 전망과 현안(2007.11.30[1425].pdf) 중국 경제특구와 개성공단의 성공 조건 비교와 시사점(2007.11.23[1428].pdf) 차기 정부의 주요 정책 방향 [정동영 후보 초청 토론](2007.11.16[1431].pdf) 자통법 이후 투자은행 발전 전략(2007.11.02[1438].pdf) 직장인 글로벌 의식과 과제(2007.10.25[1441].pdf) 차기 정부의 주요 정책 방향 [이명박후보 초청토론](2007.10.15[1454].pdf)

군집 : 4 총개수 : 4 보고서 :
경제 불안감 지속(2003.01.15[2015].pdf) 금융 불안 속 실물 경기 호조(2002.10.01[2031].pdf) 불안정한 경기 회복세(2002.09.09[2041].pdf) 경기 회복세 지속, 금융 시장 다소 불안(2002.06.10[2077].pdf)

군집 : 5 총개수 : 28 보고서 :
주간 경제 동향의 특징(2004.01.12[1898].pdf) 주간 경제 동향의 특징(2004.01.05[1899].pdf) 주간 경제 동향의 특징(2003.12.22[1905].pdf) 주간 경제 동향의 특징(2003.12.15[1907].pdf) 주간 경제 동향의 특징(2003.12.08[1910].pdf) 주간 경제 동향의 특징(2003.12.01[1911].pdf) 주간 경제 동향의 특징(2003.11.24[1917].pdf) 주간 경제 동향의 특징(2003.11.17[1919].pdf) 주간 경제 동향의 특징(2003.11.10[1923].pdf) 주간 경제 동향의 특징(2003.11.02[1924].pdf) 주간 경제 동향의 특징(2003.10.27[1931].pdf) 주간 경제 동향의 특징(2003.10.20[1933].pdf) 주간 경제 동향의 특징(2003.10.13[1934].pdf) 주간 경제 동향의 특징(2003.10.06[1936].pdf) 주간 경제 동향의 특징(2003.09.29[1939].pdf) 주간 경제 동향의 특징(2003.09.22[1944].pdf) 주간 경제 동향의 특징(2003.09.08[1952].pdf) 주간 경제 동향의 특징(2003.09.01[1954].pdf) 주간 경제 동향의 특징(2003.08.25[1957].pdf) 주간 경제 동향의 특징(2003.08.18[1959].pdf) 주간 경제 동향의 특징(2003.08.11[1961].pdf) 주간 경제 동향의 특징(2003.08.04[1963].pdf) 주간 경제 동향의 특징(2003.07.28[1965].pdf) 주간 경제 동향의 특징(2003.07.21[1971].pdf) 주간 경제 동향의 특징(2003.07.14[1974].pdf) 최근 주요국의 채권 금리 급등세의 원인과 전망(2003.07.07[1976].pdf) 최근 세계 주요 증시 상승의 원인 및 전망(2003.06.30[1977].pdf) 주간 경제 동향의 특징(2003.01.27[2010].pdf)

군집 : 6 총개수 : 5 보고서 :
제 4회 대한민국 경제 행복지수(2009.07.08[1089].pdf) 제 3회 대한민국 경제 행복지수(2009.01.22[1180].pdf) 국토해양 관련 주요 이슈와 정책 과제(2008.07.11[1296].pdf) 대한민국 경제 행복지수(2008.07.09[1299].pdf) 대한민국 경제 행복지수(2008.01.16[1403].pdf)

군집 : 7 총개수 : 3 보고서 :
한국 경제 성장 활력 잃고 있다(2006.08.14[1555].pdf) 국민주도형 국가브랜드 제고방안과 과제(2006.08.10[1556].pdf) 뉴 밀레니엄 시대의 건강관리 - CEO의 건강경영(2006.08.07[1557].pdf)

군집 : 8 총개수 : 10 보고서 :
저물가의 가계 특성별 영향 및 시사점(2016.03.28[32].pdf) 올해 추석 물가 심각하다(2011.09.01[721].pdf) 미시적인 물가 대응책 시급하다 - 물가 요인의 상호 상승작용 확대(2011.08.01[735].pdf) 하반기 물가 불안 지속-비용ㆍ수요 측면 물가 상승 요인 증대(2011.07.09[743].pdf) 소득 계층별 체감 물가 괴리(2011.04.13[775].pdf) 연초 물가 상승 배경과 대책(2011.01.12[806].pdf) 체감과 지수 물가 괴리 배경(2010.09.16[864].pdf) 국내 물가 상승 배경과 전망(2010.06.16[916].pdf) 위장된 저물가 현상(2005.10.12[1639].pdf) 2/4분기 경기 회복 전망 불투명(2001.03.09[2256].pdf)

군집 : 9 총개수 : 16 보고서 :
Quarterly Economic Review (16-2) - 英文(2016.06.20[4].pdf) Quarterly Economic Review (16-1) - 英文(2016.03.18[35].pdf) Quarterly Economic Review (15-4) - 英文(2015.12.21[58].pdf) Quarterly Economic Review (15-3) - 英文(2015.09.18[78].pdf) Monthly Economic Review (14-6)(2014.06.20[258].pdf) Monthly Economic Review (14-5)(2014.05.23[274].pdf) Monthly Economic Review (14-4)(2014.04.22[293].pdf) Monthly Economic Review (14-3)(2014.03.20[307].pdf) Monthly Economic Review (14-2)(2014.02.26[319].pdf) Monthly Economic Review (14-1)(2014.01.28[337].pdf) Monthly Economic Review (13-12)(2013.12.16[358].pdf) Monthly Economic Review (13-11)(2013.11.15[373].pdf) Monthly Economic Review (13-10)(2013.10.17[387].pdf) Monthly Economic Review (13-08)(2013.08.20[415].pdf) Monthly Economic Review (13-07)(2013.07.17[436].pdf) Monthly Economic Review (13-06)(2013.06.19[450].pdf)

군집별 중심 어휘

군집 0 : 경제, 시사점, 중국, 과제, 전략, 전망, 산업, 변화, 경영, 경기, 국내, 한국, 시장, 현안, 정책, 특징, 방안, 성장, 시대, 투자
군집 1 : 통권, 희소금속, 배우자, 방법, 방송, 방안, 방일, 방직, 방한, 방향, 배경, 배럴, 배출, 발행인, 백흥기, 밴드, 밸리, 버블, 번영, 범위
군집 2 : 현안, 과제, 자료, 이슈, 경상수지, 회담, 약화, 악화, 회복세, 여건, 경제, 소비, 대응, 최근, 성숙, 정상회담, 일정, 의제, 정상, 관계
군집 3 : 편집, 위원, 종로구, 서울시, 현대, 경제연구원, 주간, 계동, 통권, 주원, 시사점, 이장균, 백흥기, 율곡로, 주량, 부형, 형편, 산업, 김주현, 연지동
군집 4 : 생산, 증가, 증가세, 출하, 활동, 반도체, 동월, 전년, 대비, 산업, 소비, 투자, 화학제품, 감소세, 모두, 전반, 설비, 통신, 음향, 지속
군집 5 : 동향, 특징, 경제, 주간, 실물, 대비, 실업자, 실업률, 감소, 최근, 고용, 하락, 전망, 원인, 금융, 채권, 급등세, 주요국, 금리, 조치
군집 6 : 행복지수, 대한민국, 결과, 조사, 정책, 시사점, 경제, 희소금속, 방한, 발효, 방법, 방송, 방안, 방일, 방직, 배경, 방향, 배럴, 배우자, 배출
군집 7 : 건강, 장수, 비결, 상식, 밀레니엄, 관리, 시대, 경영, 목차, 배출, 방직, 방한, 방향, 배경, 배럴, 동계, 배우자, 동력, 방안, 백흥기
군집 8 : 물가, 소비자, 상승, 배경, 생산자, 위장, 수입, 수산, 제품, 농축, 공업, 근원, 현상, 가계, 서비스, 격차, 신선, 동월, 월간, 전년
군집 9 : ph, us, 희소금속, 배출, 방안, 방일, 방직, 방한, 방향, 배경, 배럴, 배우자, 밴드, 백흥기, 베이비붐, 밸리, 버블, 번영, 범위, 법적

> 반성

1. 형태소 txt파일들이 이만큼 중요할 줄은 몰랐다. 모든 분석은 이 파일들을 기준으로 했다. 그래서 text 파일들을 좀 더 자세히 살펴봤더니 모든 text가 형태소로 바뀌어 있지 않고 누락된 부분이 많았다. 이유는 텍스트 중간중간에 널값이 들어가 있어 분석이 중도 정지 되었던 것이다(Simpo PDF는 공짜인 대신 text문서 중간중간에 자기들만의 water mark를 박아놓는다. 아주 많이)

어쨌든 모두 제거하고 다시 형태소 파일을 만들었다. 전보다 몇배는 더 많은 형태소들이 들어왔다. ㅡ,ㅡ pdf에서 txt로 바꾸는 일이 전체 작업에서 제일 지루한 작업이었는데 그러다보니 은근슬쩍 대충 해버렸던 것 같다.

깨끗한 형태소 txt파일들을 준비해 놓는게 모든 분석의 시작이다(라는 걸 지금 알게 되었다)

위 결과는 그 놈들을 토대로 나왔다.

저작자표시 비영리 변경금지

'그 밖에 AI' 카테고리의 다른 글

현대경제연구원 보고서 벡터기계(SVM: support vector machine)알고리즘을 이용한 분석 (0)	2016.07.06
현대경제연구원 보고서 Scikit-learn 모듈을 이용한 베이즈 분류 적용 (0)	2016.07.06
현대경제연구원 보고서 쿨백라이블러 발산 (Kullback–Leibler divergence) 분석 (0)	2016.07.03
아. 헬대. 현다이 ㅅㅂ (0)	2016.07.02
현대 경제 연구원 분석 중 - 1차 결과 (0)	2016.07.01

현대경제연구원 보고서 쿨백라이블러 발산 (Kullback–Leibler divergence) 분석

푸른깃발🏳️ 2016. 7. 3. 20:23

2016. 7. 3. 20:23

● 현대경제연구원 보고서 KL발산 분석

> 들어가는 말

1. 예상하기는 했지만 생각보다 빨리 다시 하고 싶어졌다. 그 동안 내가 이 정도 하다가 무언가를 그만둔 적이 평생에 한번도 없기 때문이다.

2. 그래도 헬대라는 생각에는 변화가 없다.

> 계획

1. 먼저 season2로 새로운 프로젝트를 만든다. 새술은 새부대에!

2. morphed 폴더 안에 이미 형태소 분석한 보고서 txt파일들을 몽땅 넣는다. (2109개다)

3. 보고서의 내용을 (요약)정리한 json파일에 이 형태소 txt 파일의 이름을 dictionary로 추가한다.

4. 이것으로 현대경제연구소 보고서 분석에 대한 모든 재료가 준비되었다. 보기 좋게 indent을 4정도 주면 아래같이 이쁘게 뽑힌다.

[

{

"fileName":"2016.06.27[0].pdf",

"morphedName":"2016.06.27[0].txt",

"fileNum":0,

"whoID":"이부형 이사대우",

"reportURL":"https:\/\/hri.co.kr:442\/download.asp?file_path=%2Fpublication%2F&file_name=201662716126%5B1%5D.pdf",

"dateID":"2016.06.27",

"titleID":"일본 고령자 일자리 창출 사례와 시사점",

"magazineID":"VIP Report"

},

{

"fileName":"2016.06.24[1].pdf",

"morphedName":"2016.06.24[1].txt",

"fileNum":1,

"whoID":"홍준표 연구위원",

"reportURL":"https:\/\/hri.co.kr:442\/download.asp?file_path=%2Fpublication%2F&file_name=201662713513%5B1%5D.pdf",

"dateID":"2016.06.24",

"titleID":"브렉시트의 불확실성 차단과 성장잠재력 확충을 위한 2016 추경 편성 방향 제언",

"magazineID":"한국경제주평"

},

5. 접근은 간단하다. 빈배열을 하나 만든 후 json.load(f)를 바로 대입한 후 for문 안에 넣고 print(information[i]['morphedName'])와 같이 접근하면 된다. 게임에서는 xml만 사용해서 json을 처음 써봤는데 이게 4천배 더 좋다. 일단 형식이 있어 좋고 배열과 딕셔너리를 이용해 세상 모든 데이터들을 요리할 수 있겠다. 활용방법이 다양하겠지만 지금 내게는 먼저 배열로 싸고 그 안에 딕셔너리로 구조를 짜고 그 안에 상황에 맞춰 두 가지를 혼용하는 방식이 제일로 (편해)보인다.

즉 [ { }, { }, { } ] 이렇게 사용하는 건데 대량의 데이터를 처리할 때에는 배열로 감싸야 인덱스로 접근이 가능하기 때문이다. 이렇게 처리하지 않으면 매번 for문을 돌려 한줄한줄 파싱해서 문자열 비교를 통해 접근해야 한다.

어쨌든 이 거지같은 셀프 프로젝트를 진행하며 json 사용에 익숙해진 것이 성취라면 성취다. 프로젝트를 발주한 사람이 바로 나라 욕도 못하겠다ㅡ,ㅡ

5. 2001년 2월부터 2016년 6월 27일까지 시기별 단어 빈도수 분석의 경우, 이게 한번도 해본적 없는 사람에게는 흥미롭겠지만 난 이미 지긋지긋하게 했으므로 안한다..만 프로젝트 완료하고 할지도 모르겠다. 2000년 초반에 많이 쓰인 단어와 현재 많이 쓰이는 단어는 분명 차이가 있을 것도 같다.

6. 오늘은 아직 해본적 없는 작업. MagazinID별 키워드 중요도 산출을 할 거다. 룰루~

지금이 제일 신날때다ㅡ,ㅡ

> 실행

1. 먼저 MazingineID별 보고서의 개수를 정리하면 아래와 같다.

{ 전체 : 2109, VIP Report : 443, 한국경제주평 : 686, 이슈리포트 : 401, 연금시장리뷰 : 105, Chairperson Note: 377, 통일경제 : 85, 지식경제 : 12 }

2. 처음 계획대로 json파일을 열어 for문으로 각 형태소에 접근한 후 해당 MagazinID를 기준으로 KL발산을 계산한다.

3. 아래는 전체 코드다.

#!/usr/bin/env python3
# -*- coding: utf-8 -*-

import sys
import os.path
from collections import Counter
import math
import ujson

Subject_KEY = "magazineID"
MagazinID_MAP = { # 이건 지금 할 필요가 없지만 혹시 필터 처리가 필요할지 몰라 넣어놓는다.
    "VIP Report": "VIP Report", # vip
    "한국경제주평" : "한국경제주평", #korea
    "이슈리포트" : "이슈리포트", #issue
    "연금시장리뷰" :"연금시장리뷰", #pension
    "Chairperson Note" : "Chairperson Note", #chair
    "통일경제" : "통일경제", #unity
    "지식경제" : "지식경제" #knowledge
}
FEATURE_POSES = ["NNG"]

def get_subj_morph_counts(input_file_name):

vip_morph_counts = Counter()
    korea_morph_counts = Counter()
    issue_morph_counts = Counter()
    pension_morph_counts = Counter()
    chair_morph_counts = Counter()
    unity_morph_counts = Counter()
    knowledge_morph_counts = Counter()
    all_morphs = set()
    information = []
    subjs_counts = {}

with open(input_file_name, 'r', encoding='utf-8') as f:
        information = ujson.load(f)
        for i in range(len(information)):
            subj_code = information[i][Subject_KEY]
            if subj_code == "Nowhere": #이건 pass!
                continue
            subj = MagazinID_MAP[subj_code]

morphed_file = "HyunEco_Season2/morphed/" + information[i]['morphedName']
            try:
                with open(morphed_file, 'r', encoding='utf-8') as morphedReport:
                    morphedText = ujson.load(morphedReport)
                    morphs = []
                    for j in range(len(morphedText)):
                        morphs = ext_morphs(morphedText[j]['morphAnal'], morphs)

if subj == "VIP Report":
                        vip_morph_counts.update(morphs)
                    elif subj == "한국경제주평":
                        korea_morph_counts.update(morphs)
                    elif subj == "이슈리포트":
                        issue_morph_counts.update(morphs)
                    elif subj == "연금시장리뷰":
                        pension_morph_counts.update(morphs)
                    elif subj == "Chairperson Note":
                        chair_morph_counts.update(morphs)
                    elif subj == "통일경제":
                        unity_morph_counts.update(morphs)
                    elif subj == "지식경제":
                        knowledge_morph_counts.update(morphs)
                    all_morphs.update(morphs)
            except:
                pass

subjs_counts = { "vip" : vip_morph_counts, "korea" : korea_morph_counts, "issue" : issue_morph_counts,\
                    "pension":pension_morph_counts, "chair":chair_morph_counts, "unity":unity_morph_counts,\
                    "knowledge":knowledge_morph_counts, "all" : all_morphs}
    num_counts = {"vip":vip_num, "korea" : korea_num, "issue" : issue_num,"pension":pension_num,"chair":chair_num,\
                  "unity":unity_num,"knowledge":knowledge_num,"all" : all_num}
    return subjs_counts, num_counts

def ext_morphs(ma_res,morphs):

for word in ma_res:
        #for word in sen:
        for morph_lex, morph_pos in word:
            if morph_pos not in FEATURE_POSES: #지금은 모든 MazagineID를 실험한다
                continue

morphs.append(morph_lex)

return morphs

def get_subj_morph_kl_divs(subjs_counts):

sum_vip_morph_counts = 0
    sum_korea_morph_counts = 0
    sum_issue_morph_counts = 0
    sum_pension_morph_counts = 0
    sum_chair_morph_counts = 0
    sum_unity_morph_counts = 0
    sum_knowledge_morph_counts = 0

for count in subjs_counts['vip'].values():
        sum_vip_morph_counts += count

for count in subjs_counts['korea'].values():
        sum_korea_morph_counts += count

for count in subjs_counts['issue'].values():
        sum_issue_morph_counts += count

for count in subjs_counts['pension'].values():
        sum_pension_morph_counts += count

for count in subjs_counts['chair'].values():
        sum_chair_morph_counts += count

for count in subjs_counts['unity'].values():
        sum_unity_morph_counts += count

for count in subjs_counts['knowledge'].values():
        sum_knowledge_morph_counts += count

#드디어 KL발산을 계산한다
    subj_morph_kl_divs = []

for morph in subjs_counts['all']:
        for subj, morph_counts, sum_morph_counts in zip(["VIP Report","한국경제주평","이슈리포트","연금시장리뷰",\
                                                            "Chairperson Note","통일경제","지식경제" ],
                                         [subjs_counts['vip'],subjs_counts['korea'],subjs_counts['issue'],subjs_counts['pension'],\
                                          subjs_counts['chair'],subjs_counts['unity'],subjs_counts['knowledge']],
                                                        [sum_vip_morph_counts,sum_korea_morph_counts,sum_issue_morph_counts,
                                                         sum_pension_morph_counts,sum_chair_morph_counts,
                                                         sum_unity_morph_counts,sum_knowledge_morph_counts]):
            subj_morph_count = morph_counts[morph]
            subj_morph_prob = subj_morph_count / sum_morph_counts

vip = subjs_counts['vip'][morph] / sum_vip_morph_counts
            korea = subjs_counts['korea'][morph] / sum_korea_morph_counts
            issue = subjs_counts['issue'][morph] / sum_issue_morph_counts
            pension = subjs_counts['pension'][morph] / sum_pension_morph_counts
            chair = subjs_counts['chair'][morph] / sum_chair_morph_counts
            unity = subjs_counts['unity'][morph] / sum_unity_morph_counts
            knowledge = subjs_counts['knowledge'][morph] / sum_knowledge_morph_counts

if subj == "VIP Report": # [ korea, vip, issue, pension, chair, unity, knowledge ]
                other_subj_morph_probs = [ korea, issue, pension, chair, unity, knowledge ]

elif subj == "한국경제주평":
                other_subj_morph_probs = [ vip, issue, pension, chair, unity, knowledge ]

elif subj == "이슈리포트":
                other_subj_morph_probs = [ korea, vip, pension, chair, unity, knowledge ]

elif subj == "연금시장리뷰":
                other_subj_morph_probs = [ korea, vip, issue, chair, unity, knowledge ]

elif subj == "Chairperson Note":
                other_subj_morph_probs = [ korea, vip, issue, pension, unity, knowledge ]

elif subj == "통일경제":
                other_subj_morph_probs = [ korea, vip, issue, pension, chair, knowledge ]

elif subj == "지식경제":
                other_subj_morph_probs = [ korea, vip, issue, pension, chair, unity ]

avg_morph_prob = \
                (subj_morph_prob + sum(other_subj_morph_probs)) / 7

try:
                kl_div = calc_kl_div(subj_morph_prob, avg_morph_prob)
            except:
                kl_div = 0.0

subj_morph_kl_divs.append([subj, morph, kl_div])

return subj_morph_kl_divs

def calc_kl_div(subj_morph_prob, avg_morph_prob):

kl_div = subj_morph_prob * math.log(subj_morph_prob / avg_morph_prob)

return kl_div

def write_subj_morph_kl_divs(output_file_name, subj_morph_kl_divs):

with open(output_file_name, "w", encoding="utf-8") as output_file: 
        for output_elems in sorted(subj_morph_kl_divs,
                                   key=get_3rd_elem, reverse=True):
            output_elems = [str(e) for e in output_elems]
            output_file.write("{}\n".format("         \t".join(output_elems)))

def get_3rd_elem(seq):

elem = seq[2]
    return elem

def main():

input_file_name = "HyunEco_Season2/report_infomation.txt"
    output_file_name= "HyunEco_Season2/result_keywords.txt"

subjs_counts = get_subj_morph_counts(input_file_name)
    subj_morph_kl_divs = get_subj_morph_kl_divs(subjs_counts)
    write_subj_morph_kl_divs(output_file_name, subj_morph_kl_divs)
    w.close()

main()

4. 코드를 보면 알겠지만 핵심이 되는 KL발산 부분은 몇 줄 없다.

$D_{{{\mathrm {KL}}}}(P\|Q)=-\int _{X}\log {\frac {dQ}{dP}}dP$

요리를 위한 재료 준비가 90%다. 재료 준비도 자꾸하다보니 이게.. 역시나.. 지겨워진다..

그래도 어제는 현다이의 마수에 걸려 코딩을 한줄도 못했는데 오늘은 코딩할 수 있어 좋았다.

그리고..

다른 사람들은 좀 담담하던데 난 여전히 코드 만들고 돌릴 때 짜릿한 느낌이 있다.

게임보다는 결과를 예측할 수 없는 시뮬레이션 만들 때 그런데, 그래서 연산 중에는 일부로 화면에 숫자들 정신없이 돌아가게 만들기도 한다.

나만의 공식으로 주식 종목 필터 처리해서 결과 볼 때도 그랬고 길찾기 만들어 캐릭터가 알아서 복잡한 길 찾아가는 거 지켜볼때도 그랬고

게임 화폐시스템을 만들어 그 안에서 여러 유형의 유저들이 온갖 화폐 활동 후 기간별 가질 수 있게 되는 화폐의 크기를 시뮬레이션 할때도 손맛이 짜릿했던 기억이다.

어쨌든 결과가 나왔다.

> 결과

1. 아래가 150위까지 결과다. 막상 살펴보니 보고서 숫자가 몇개 없는 지식경제가 상위를 차지했다.

지식경제 지식 0.05117214233259338
지식경제 지역 0.04613919186344038
연금시장리뷰 연금 0.04168524702969031
연금시장리뷰 퇴직 0.03826572708508563
지식경제 능력 0.02361373000643169
지식경제 혁신 0.023407272014866806
지식경제 투입 0.021659357681599493
통일경제 교류 0.018282206808129225
지식경제 기술 0.015020391406510198
Chairperson Note 기업 0.014464712113028735
연금시장리뷰 은퇴 0.013570079603951965
통일경제 통일 0.013314087784168068
지식경제 지표 0.013289696448486162
지식경제 인식 0.012779286403723398
지식경제 해운 0.012614375433823675
통일경제 협력 0.012492566838067633
통일경제 문제 0.011783161263373277
지식경제 한 0.011114488450019729
통일경제 평화 0.010740176199994842
통일경제 합의 0.010660185679314614
통일경제 경협 0.010233035869884567
지식경제 공정 0.010039132171178944
지식경제 데이터 0.00976384959405063
지식경제 특집 0.009752297899769691
지식경제 시스템 0.00971673555612069
지식경제 태그 0.009399179119666468
Chairperson Note 경영 0.009255815209444592
통일경제 사업 0.008922475077681508
통일경제 정책 0.008919643026122791
연금시장리뷰 동향 0.00886013794843319
지식경제 위 0.008662761162350324
지식경제 사용 0.008505749594320948
연금시장리뷰 실물 0.008182718220850142
연금시장리뷰 노후 0.008145603162927336
지식경제 안테나 0.008052783224219581
통일경제 체제 0.007977727440628064
지식경제 당 0.007970174158133286
지식경제 경쟁력 0.007940560715629156
지식경제 창출 0.007856950542174706
Chairperson Note 대비 0.007838667665899975
지식경제 기반 0.007415467704308894
연금시장리뷰 금융 0.0073794446392304635
지식경제 형태 0.007254609500438182
통일경제 회담 0.007237759112368118
통일경제 관계 0.0071531378270205045
지식경제 연구 0.0070560294949536684
연금시장리뷰 제도 0.006985402887290724
연금시장리뷰 국고 0.006955251939446108
연금시장리뷰 지표 0.0068541015551171255
한국경제주평 현안 0.00680721899724958
Chairperson Note 전월 0.0068049742136018785
지식경제 타입 0.006711460463054223
지식경제 영역 0.006689472640431887
지식경제 주파수 0.006638714759447003
연금시장리뷰 급여 0.00658385023328223
한국경제주평 경제 0.006522138559841905
지식경제 저장 0.006468110335549213
연금시장리뷰 이슈 0.006433708634766417
Chairperson Note 노트 0.006382593564160401
지식경제 거리 0.006368700023626369
연금시장리뷰 소득 0.006330997311506695
통일경제 관광 0.006326504316213985
통일경제 지원 0.00619850398386751
지식경제 정보 0.006045104005522932
통일경제 추진 0.005997008018365364
연금시장리뷰 증가 0.005886865413630022
지식경제 제조 0.005884436969748431
지식경제 리더 0.005881759908847569
지식경제 적용 0.005833909208523491
지식경제 인구 0.005780564367417474
연금시장리뷰 국내 0.005703573495686132
지식경제 이용 0.0056705640044322535
연금시장리뷰 도입 0.005662048222275087
한국경제주평 보고서 0.005653909009264356
연금시장리뷰 달러 0.005645620421269845
Chairperson Note 소비자 0.005642737434769391
Chairperson Note 고객 0.005632446318774009
지식경제 활용 0.005620003099021143
통일경제 체육 0.005571340504743894
지식경제 자원 0.005566126797938561
VIP Report 전망 0.00549326095273325
지식경제 과제 0.005469390212293774
연금시장리뷰 물 0.005428563775188254
연금시장리뷰 확정 0.005394936957739391
Chairperson Note 성공 0.00537564737555545
지식경제 사물 0.005375442400705285
지식경제 대역 0.005337794764348844
통일경제 핵 0.005312036049624507
연금시장리뷰 대비 0.005304400274583366
지식경제 대학생 0.0053010543887570755
지식경제 역할 0.005247102728885184
통일경제 위원장 0.0052450771029699614
지식경제 연계 0.005237673531102336
지식경제 무선 0.005188039515486743
지식경제 전국 0.0051595626735444575
지식경제 사교육비 0.005155470674214651
지식경제 전원 0.0051061327239512655
연금시장리뷰 가입자 0.005093427583451424
지식경제 협의회 0.00504424867338268
한국경제주평 주간 0.005038367490807575

2. 그래서 무슨 문제가 있나 싶어 지식경제, 통일경제, 연금시장 리뷰를 제외하고 다시 돌려봤다.

결과가 기존에 제외시킨 녀석들만 빼고 나올놈은 다 나왔다.

Chairperson Note 기업 0.008800099125323136
한국경제주평 경제 0.007870494298962282
한국경제주평 보고서 0.00695416392829662
한국경제주평 현안 0.006191632212335288
Chairperson Note 대비 0.0058210048815597205
Chairperson Note 경영 0.004918691258216475
한국경제주평 연구 0.004760104349834483
Chairperson Note 전월 0.004720491420750464
Chairperson Note 노트 0.004493261417870355
Chairperson Note 소비자 0.004304380938901556
한국경제주평 내용 0.004289653346541593
Chairperson Note 혁신 0.0039811055228721175
한국경제주평 자료 0.003940730650127842
한국경제주평 연구원 0.00393363655175351
Chairperson Note 이슈 0.00383518484260979
Chairperson Note 성공 0.0037401044381968297
Chairperson Note 고객 0.003516831038878191
Chairperson Note 기록 0.00348125781066183
VIP Report 산업 0.0034623918961342497
한국경제주평 구 0.0033929821212152953
VIP Report 정책 0.0033215805789093902
VIP Report 견해 0.0033210855240679822
한국경제주평 주간 0.0033184413662809384
VIP Report 전망 0.0033115636662431128
Chairperson Note 제품 0.003282414478040096
Chairperson Note 전략 0.0032817740999557797
한국경제주평 전재 0.003134234511785528
한국경제주평 문의 0.00312715769159755
한국경제주평 허락 0.003124870931122974
한국경제주평 차례 0.003114894808467614
한국경제주평 작성 0.0030531832284361954
한국경제주평 본부장 0.0030525738155969275
Chairperson Note 리더 0.0030041190203202615
한국경제주평 아래 0.0029747692580969105
Chairperson Note 브랜드 0.0029490104352328387
한국경제주평 인용 0.002901134507212622
한국경제주평 과 0.002852731816593467
Chairperson Note 조직 0.0027017443800774394
한국경제주평 비중 0.002644038206970609
Chairperson Note 요약 0.002613198390622161
VIP Report 건설 0.0025238185419716517
VIP Report 수주 0.0024614316797109286
Chairperson Note 브리프 0.0024577210182765174
VIP Report 동월 0.0024510404233766413
VIP Report 전년 0.0024509582808102098
Chairperson Note 저널 0.002431479015761166
한국경제주평 설명 0.0024302092721613404
Chairperson Note 직원 0.002386912969247453
Chairperson Note 정리 0.00226211493552968
Chairperson Note 분기 0.0022143785047610354
VIP Report 편집 0.0022059487136862352
한국경제주평 금리 0.0021268071556214997

> 반성

1. 솔직히 코딩은 쉬웠다. 강사님의 알고리즘에다가 자료만 알맞게 요리해 넣으면 되니까. utf-8과 cp949가 좀 짜증나게 했지만 뭐 하루이틀도 아니고 ㅋ

2. 그런데 여기서 반전. 저게 무슨 말인지 모르겠다...(하여간에 공식에 로그가 들어가면 그림이 안그려진다)

3. 그러니까 "지식, 지역, 연금, 퇴직, 능력, 혁신, 투입, 교류, 기술, 기업, 은퇴"등이 16년 전체 보고서 중에서 가장 중요한 키워드라는 말인가? 모르겠다. 무식에 대한 해답은 질문이다. 물어봐야겠다.

저작자표시 비영리 변경금지

'그 밖에 AI' 카테고리의 다른 글

현대경제연구원 보고서 Scikit-learn 모듈을 이용한 베이즈 분류 적용 (0)	2016.07.06
현대경제연구원 보고서 Scikit-learn과 scipy를 이용한 비계층 군집 분석 (0)	2016.07.04
아. 헬대. 현다이 ㅅㅂ (0)	2016.07.02
현대 경제 연구원 분석 중 - 1차 결과 (0)	2016.07.01
현대 경제 연구원 분석 중 2 (0)	2016.06.30

아. 헬대. 현다이 ㅅㅂ

푸른깃발🏳️ 2016. 7. 2. 18:12

2016. 7. 2. 18:12

● 현대경제연구원 보고서 분석 - 문서 전처리 작업 중

1. 아. 헬대. 현다이 ㅅㅂ 내가 현대를 왜 그리 몰랐을까.

데이터들을 한 곳에 모으다가 발견했다.

그 동안 나는 각 카테고리별로 교집합없이 나눠져 있는 보고서들을 하나로 합치면 모든 보고서들의 합집합을 이룰 수 있을 것이라 동해안의 태양처럼 당연하게 생각했다. 카테고리란 그런거니까. 나누기 위해 만들어진 것이니까.

방금 발견한 결과는 이런 것이다.

경제 카테고리안의 보고서는 모든 보고서들의 집합이다.

사회문화 카테고리안에 있는 모든 보고서는 경제 카테고리에도 있다. 다른 카테고리에도 있을 확률이 90%이상이다.

산업경영 카테고리안에 있는 모든 보고서는 경제 카테고리에도 있다. 물론 다른 카테고리에도 있을 확률이 두말하면 잔소리다.

ㅅㅂ 통일 카테고리안에 있는 모든 보고서는 경제 카테고리에도 있다. 세말하면 ㅅㅂ이다.

{ 경제 : 2109, 사회문화 : 1421, 산업경영 : 1524, 통일 : 1452 }

보고서들의 전체 숫자가 저리 비슷하다는 것을 몇번이나 확인했으면서도

나는 진짜 중복됐을거라고는 생각하지 않았다. 이게 말이다. 최소한 포유류라면 저렇게 만들지 않기 때문이다.

저럴거면 대체 카테고리를 왜 만들었을까. (각 카테고리별로 보고서가 많은척하려고 그런거냐)

아~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~헬대. 저런 놈들이 연구한 결과를 ㅅㅂ 믿을 수 있겠는가.

너무나 당연하게 생각했기에 카테고리간에는 중복체크 부분을 넣지 않았던 내가 조류다. 내가 닭이야 ㅠ

진짜 의욕이 몽땅 사라졌다.

저작자표시 비영리 변경금지

'그 밖에 AI' 카테고리의 다른 글

현대경제연구원 보고서 Scikit-learn과 scipy를 이용한 비계층 군집 분석 (0)	2016.07.04
현대경제연구원 보고서 쿨백라이블러 발산 (Kullback–Leibler divergence) 분석 (0)	2016.07.03
현대 경제 연구원 분석 중 - 1차 결과 (0)	2016.07.01
현대 경제 연구원 분석 중 2 (0)	2016.06.30
현대 경제 연구원 보고서 분석 중 1 (0)	2016.06.29

현대 경제 연구원 분석 중 - 1차 결과

푸른깃발🏳️ 2016. 7. 1. 20:10

2016. 7. 1. 20:10

● 현대경제연구원 분석 중 3

> 작업 중

1. 고통스러운 전처리 작업 시작 .. 대체 내가 왜 이걸 하고 있는 건지 ㅡ,ㅡ

2. 다행히 어젯밤 순식간에 보고서들을 모두 크롤링했다. sleep.time(2)을 주석처리하는 패기!

> 아래는 파일 정리

경제 = { 전체 : 4300 , 파일 주소 오류 : 146, 파일 다운 오류 : 123, 파일 오류 : 13개, txt로 변환 불가능 : 1912, 유용한 보고서 : 2110 }

사회문화 : { 전체 : 3762 , 파일 주소 오류 : 179, 파일 다운 오류 : 122 , txt로 변환 불가능 : 2010 , 유용한 보고서 : 1572 }

산업경영 : { 전체 : 3731 , 파일 주소 오류 : 142, 파일 다운 오류 : 124 , txt로 변환 불가능 : 2010 , 유용한 보고서 : 1562 }

통일 : { 전체 : 3762, 파일 주소 오류 : 159, 파일 다운 오류 : 176 , txt로 변환 불가능 : 2010 , 유용한 보고서 : 1562 }

3. 느낀 것은 파일명에 날짜를 넣었던 것이 신의 한수였다는 것.

1993년부터 2001년 2월 22일 전까지 pdf파일들은 현재 있는 어떠한 툴을 써도 txt로 거의 변환하지 못했다. 무엇때문인가 알아보니 이미지를 그대로 스캔해서 pdf로 만들었기 때문이다. 글자인식을 해보라고? 싫다. 안한다. 저 정확한 날짜를 알아낸다고 고생한 것만으로 이미 난 하얗게 됐다. (어떻게 소중한 내 인생ㅜ)

2004년 2월 23일부터 3월 11일까지 만들어진 모든 pdf파일들에 오류가 있었다. (달콤한 내 인생..)

또 이유는 모르겠지만 'Simpo PDF to Text'라는 툴을 쓰면 2005년 1월까지 데이터가 잘 뽑이고 그 이후의 pdf는 'PDF to TEXT'에 비해 질이 많이 떨어진다. 그래서 저 시점을 기준으로 컨버팅 툴을 바꾼다. 이것도 찾아내는데 시작이 엄청 걸렸다 (잘가라 내 인생 ㅠ)

> 정리

2001년 2월 22일을 계기로 그나마 온전한 텍스트 파일이 뽑힌다. [ Simpo PDF to Text 로 변환 - 근데 이 녀석은 뻑이 매우 잘난다ㅜ ]

~~2005년 2월을 계기로 완전한 텍스트가 뽑힌다. [ PDF to TEXT 로 변환 - 이 놈은 속도가 매우 느리다 ㅠ 왜 자꾸 눙물이]~~

4. 툴에 오류가 많다. 텍스트 인코딩도 그렇고 파일 누락까지 있다. 그 비율이 2% 정도. 특정 시기에 몰려 있는 문제가 아니라 랜덤하게 발생하는 오류이므로 '통계적'으로 치명적이지 않다. 이 정도는 그냥 넘어가자. 내가 만든 툴도 아니고 자잘하게 손이 계속가서 좀 짜증.

5. 최종 살아남은 txt 파일은 아래와 같다. 전체 갯수는 6506 개다. 처음 예상했던 2만 5천개에서 많이도 줄었다. 그렇다고 고생이 줄진 않았다.

{ 경제 : 2109, 사회문화 : 1421, 산업경영 : 1524, 통일 : 1452 }

> 결과

1. 종합 결과가 개판이다.

2. 모든 분야의 키워드 순위가 매우 흡사하다. 하지만 이건 내 잘못이 아니다.

3. (너무나) 이상(하고 실망)해서 리포트들을 읽어봤는데 ㅅㅂ '현대경제연구원'에서 분류한 리포트 자체가 원래 엉망이었다.

아래 이미지를 보면 분명히 '통일'카테고리인데 그와 전혀 상관없는 보고서들로 가득하다.

4. 2010년 이전 pdf파일들의 포맷이 엉망인게 많은데 그 고생하며 사이트 전체를 크롤링하고 변환하고 그래서 얻은게 겨우 통계적으로 '최신보고서 모음'과 매우 유사한 결과이다. 아래가 결과다.

경제 형태소 분석

산업경영 형태소 분석

사회문화 형태소 분석

통일 형태소 분석

실제로 리포트를 보면 실물경제, 거기경제, 시장경제등등 경제 무지하게 쓴다.

경제를 연구하랬더니, 경제를 쓰기만 한다ㅡ,ㅡ

> 결론

1. 이럴 바에야 분야 구분없이 그냥 시기별 분석이 나아보인다.

2. 그래서 4개 분야를 모두 합친다. 6,506개 txt파일이다.

3. 앞으로는 2001년부터 2016년까지 연도별로 쪼개서 분석을 진행한다.

4. 빈도순 분석은 이제 그만한다. 재미없다.

5. 기존 보고서 메타 파일과 보고서 형태소 분석 파일을 합쳐 하나의 완성된 파일을 만든다.

아래와 같은 느낌으로 report를 추가한다.

{
"fileName":"2016.06.27[0].pdf",
"whoID":"이부형 이사대우",
"magazineID":"VIP Report",
"dateID":"2016.06.27",
"fileNum":0,
"titleID":"일본 고령자 일자리 창출 사례와 시사점",
"reportURL":"https:\/\/hri.co.kr:442\/download.asp?file_path=%2Fpublication%2F&file_name=201662716126%5B1%5D.pdf"
"report" : {"text":"한편, 종류별로는 계속고용제도 도입 기업99.2%에 301인비중이 압도적으로 높고, 정년 연장(15.7%)과 정년제 폐지(2.","morphAnal":[[["한편","NNG"],[",","SP"]],[["종류","NNG"],["별","XSN"],["로","JKB"],["는","JX"]],[["계속","NNG"],["고용","NNG"],["제도","NNG"]],[["도입","NNG"]],[["기업","NNG"],["99","SN"],[".","SF"],["2","SN"],["%","SW"],["에","JKB"]],[["301","SN"],["인","NNG"],["비중","NNG"],["이","JKS"]],[["압도","NNG"],["적","XSN"],["으로","JKB"]],[["높","VA"],["고","EC"],[",","SP"]],[["정년","NNG"]],[["연장","NNG"],["(","SS"],["15","SN"],[".","SF"],["7","SN"],["%","SW"],[")","SS"],["과","JC"]],[["정년","NNG"],["제","XSN"]],[["폐지","NNG"],["(","SS"],["2","SN"],[".","SF"]]]}
{"text":"상대적으론99.9%가낮았다.","morphAnal":[[["상대","NNG"],["적","XSN"],["으로","JKB"],["ㄴ","JX"],["99","SN"],[".","SF"],["9","SN"],["%","SW"],["가","JKS"],["낮","VA"],["았","EP"],["다","EF"],[".","SF"]]]}
{"text":" 고용에 대한 영향) 한편, 고연령자고용확보조치 시행에 따라 일본 내에81.7%로 6%)는서도 청년 고용과의 트레이드 오프(trade-off)에 대한 우려가 높았지만 현실화되지는 않았(청년층다.","morphAnal":[[["고용","NNG"],["에","JKB"]],[["대하","VV"],["ㄴ","ETM"]],[["영향","NNG"],[")","SS"]],[["한편","NNG"],[",","SP"]],[["고","XPN"],["연령","NNG"],["자","NNG"],["고용","NNG"],["확보","NNG"],["조치","NNG"]],[["시행","NNG"],["에","JKB"]],[["따르","VV"],["아","EC"]],[["일본","NNP"]],[["내","NP"],["에","JKB"],["81","SN"],[".","SF"],["7","SN"],["%","SW"],["로","JKB"]],[["6","SN"],["%","SW"],[")","SS"],["는","JX"],["서","JKB"],["도","JX"]],[["청년","NNG"]],[["고용","NNG"],["과","JKB"],["의","JKG"]],[["트레이드","NNG"]],[["오프","NNG"],["(","SS"],["trade","SL"],["-","SS"],["off","SL"],[")","SS"],["에","JKB"]],[["대하","VV"],["ㄴ","ETM"]],[["우려","NNG"],["가","JKS"]],[["높","VA"],["았","EP"],["지만","EC"]],[["현실화","NNG"],["되","XSV"],["지","EC"],["는","JX"]],[["않","VX"],["았","EP"],["(","SS"],["청년","NNG"],["층","XSN"],["다","JX"],[".","SF"]]]}}
}

6. 이것을 가지고 magazinID(현대경제연구소에서는 이걸 '보고서명'이라고 한다)별로 키워드 중요도를 산출한다. 이건 아직 해본적이 없으니 궁금하다.

7. 다음 연도별 구분 없이 각 문서들을 군집한다. 문서별로 거리를 측정하고 군집별 중심어휘를 뽑는다.

8. 마지막으로 다음주에 나올 새로운 보고서를 보여주고 어떤 Magazine에서 나온 것인지, 누가 쓴 것인지 맞춰보게한다.

9. 이 다음은 다하고 그때가서 생각해보겠다. 확실하것은 한동안 크롤링과 전처리 작업은 쳐다도 보고 싶지 않다는 것.

10. 그럼 5번부터 시작.

저작자표시 비영리 변경금지

'그 밖에 AI' 카테고리의 다른 글

현대경제연구원 보고서 쿨백라이블러 발산 (Kullback–Leibler divergence) 분석 (0)	2016.07.03
아. 헬대. 현다이 ㅅㅂ (0)	2016.07.02
현대 경제 연구원 분석 중 2 (0)	2016.06.30
현대 경제 연구원 보고서 분석 중 1 (0)	2016.06.29
현대 경제 연구원 보고서 간략 분석 (0)	2016.06.27

PREV 이전 1 ···11 12 13 14 15 NEXT 다음

Wookang makes AI

모두 보기

2008서버에서 IIS도 잘 설치 하셨다면 해당 포트도 열어줘야 접속이 가능하다

분류기의 튜닝 - 최적의 파라미터 찾기

'그 밖에 AI' 카테고리의 다른 글

학습 모델 저장 및 읽어오기

'그 밖에 AI' 카테고리의 다른 글

KFold클래스를 이용한 벡터기계(SVM) 알고리즘 교차 검증

'그 밖에 AI' 카테고리의 다른 글

현대경제연구원 보고서 벡터기계(SVM: support vector machine)알고리즘을 이용한 분석

'그 밖에 AI' 카테고리의 다른 글

현대경제연구원 보고서 Scikit-learn 모듈을 이용한 베이즈 분류 적용

'그 밖에 AI' 카테고리의 다른 글

현대경제연구원 보고서 Scikit-learn과 scipy를 이용한 비계층 군집 분석

'그 밖에 AI' 카테고리의 다른 글

현대경제연구원 보고서 쿨백라이블러 발산 (Kullback–Leibler divergence) 분석

'그 밖에 AI' 카테고리의 다른 글

아. 헬대. 현다이 ㅅㅂ

'그 밖에 AI' 카테고리의 다른 글

현대 경제 연구원 분석 중 - 1차 결과

'그 밖에 AI' 카테고리의 다른 글

+ Recent posts

티스토리툴바