현대 경제 연구원 분석 중 - 1차 결과

● 현대경제연구원 분석 중 3

> 작업 중

1. 고통스러운 전처리 작업 시작 .. 대체 내가 왜 이걸 하고 있는 건지 ㅡ,ㅡ

2. 다행히 어젯밤 순식간에 보고서들을 모두 크롤링했다. sleep.time(2)을 주석처리하는 패기! 

> 아래는 파일 정리

경제 = { 전체 : 4300 , 파일 주소 오류 : 146, 파일 다운 오류 : 123, 파일 오류 : 13개, txt로 변환 불가능 : 1912, 유용한 보고서 : 2110 }

사회문화 : { 전체 : 3762 , 파일 주소 오류 : 179, 파일 다운 오류 : 122 , txt로 변환 불가능 : 2010 , 유용한 보고서 : 1572 }

산업경영 : {  전체 : 3731 , 파일 주소 오류 : 142, 파일 다운 오류 : 124 , txt로 변환 불가능 : 2010 , 유용한 보고서 : 1562 }

통일 : { 전체 : 3762, 파일 주소 오류 : 159, 파일 다운 오류 : 176 , txt로 변환 불가능 : 2010 , 유용한 보고서 : 1562 }

3. 느낀 것은 파일명에 날짜를 넣었던 것이 신의 한수였다는 것.

1993년부터 2001년 2월 22일 전까지 pdf파일들은 현재 있는 어떠한 툴을 써도 txt로 거의 변환하지 못했다. 무엇때문인가 알아보니 이미지를 그대로 스캔해서 pdf로 만들었기 때문이다. 글자인식을 해보라고? 싫다. 안한다. 저 정확한 날짜를 알아낸다고 고생한 것만으로 이미 난 하얗게 됐다. (어떻게 소중한 내 인생ㅜ)

2004년 2월 23일부터 3월 11일까지 만들어진 모든 pdf파일들에 오류가 있었다. (달콤한 내 인생..)

또 이유는 모르겠지만 'Simpo PDF to Text'라는 툴을 쓰면 2005년 1월까지 데이터가 잘 뽑이고 그 이후의 pdf는 'PDF to TEXT'에 비해 질이 많이 떨어진다. 그래서 저 시점을 기준으로 컨버팅 툴을 바꾼다. 이것도 찾아내는데 시작이 엄청 걸렸다 (잘가라 내 인생 ㅠ)

> 정리

2001년 2월 22일을 계기로 그나마 온전한 텍스트 파일이 뽑힌다. [ Simpo PDF to Text 로 변환 - 근데 이 녀석은 뻑이 매우 잘난다ㅜ ]

2005년 2월을 계기로 완전한 텍스트가 뽑힌다. [ PDF to TEXT 로 변환 - 이 놈은 속도가 매우 느리다 ㅠ 왜 자꾸 눙물이]

4. 툴에 오류가 많다. 텍스트 인코딩도 그렇고 파일 누락까지 있다. 그 비율이 2% 정도. 특정 시기에 몰려 있는 문제가 아니라 랜덤하게 발생하는 오류이므로 '통계적'으로 치명적이지 않다. 이 정도는 그냥 넘어가자. 내가 만든 툴도 아니고 자잘하게 손이 계속가서 좀 짜증.

5. 최종 살아남은 txt 파일은 아래와 같다. 전체 갯수는 6506 개다. 처음 예상했던 2만 5천개에서 많이도 줄었다. 그렇다고 고생이 줄진 않았다. 

{ 경제 : 2109, 사회문화 : 1421, 산업경영 : 1524, 통일 : 1452 }

> 결과

1. 종합 결과가 개판이다. 

2. 모든 분야의 키워드 순위가 매우 흡사하다. 하지만 이건 내 잘못이 아니다.

3. (너무나) 이상(하고 실망)해서 리포트들을 읽어봤는데 ㅅㅂ '현대경제연구원'에서 분류한 리포트 자체가 원래 엉망이었다.

 아래 이미지를 보면 분명히 '통일'카테고리인데 그와 전혀 상관없는 보고서들로 가득하다.

4. 2010년 이전 pdf파일들의 포맷이 엉망인게 많은데 그 고생하며 사이트 전체를 크롤링하고 변환하고 그래서 얻은게 겨우 통계적으로 '최신보고서 모음'과 매우 유사한 결과이다. 아래가 결과다.  

경제 형태소 분석

산업경영 형태소 분석

사회문화 형태소 분석

통일 형태소 분석

실제로 리포트를 보면 실물경제, 거기경제, 시장경제등등 경제 무지하게 쓴다.

경제를 연구하랬더니, 경제를 쓰기만 한다ㅡ,ㅡ

> 결론

1. 이럴 바에야 분야 구분없이 그냥 시기별 분석이 나아보인다.

2. 그래서 4개 분야를 모두 합친다. 6,506개 txt파일이다.

3. 앞으로는 2001년부터 2016년까지 연도별로 쪼개서 분석을 진행한다.

4. 빈도순 분석은 이제 그만한다. 재미없다.

5. 기존 보고서 메타 파일과 보고서 형태소 분석 파일을 합쳐 하나의 완성된 파일을 만든다.

 아래와 같은 느낌으로 report를 추가한다. 

{

    "fileName":"2016.06.27[0].pdf",

    "whoID":"이부형 이사대우",

    "magazineID":"VIP Report",

    "dateID":"2016.06.27",

    "fileNum":0,

    "titleID":"일본 고령자 일자리 창출 사례와 시사점",

    "reportURL":"https:\/\/hri.co.kr:442\/download.asp?file_path=%2Fpublication%2F&file_name=201662716126%5B1%5D.pdf"

    "report" : {"text":"한편, 종류별로는 계속고용제도 도입 기업99.2%에           301인비중이       압도적으로 높고, 정년 연장(15.7%)과 정년제 폐지(2.","morphAnal":[[["한편","NNG"],[",","SP"]],[["종류","NNG"],["별","XSN"],["로","JKB"],["는","JX"]],[["계속","NNG"],["고용","NNG"],["제도","NNG"]],[["도입","NNG"]],[["기업","NNG"],["99","SN"],[".","SF"],["2","SN"],["%","SW"],["에","JKB"]],[["301","SN"],["인","NNG"],["비중","NNG"],["이","JKS"]],[["압도","NNG"],["적","XSN"],["으로","JKB"]],[["높","VA"],["고","EC"],[",","SP"]],[["정년","NNG"]],[["연장","NNG"],["(","SS"],["15","SN"],[".","SF"],["7","SN"],["%","SW"],[")","SS"],["과","JC"]],[["정년","NNG"],["제","XSN"]],[["폐지","NNG"],["(","SS"],["2","SN"],[".","SF"]]]}

{"text":"상대적으론99.9%가낮았다.","morphAnal":[[["상대","NNG"],["적","XSN"],["으로","JKB"],["ㄴ","JX"],["99","SN"],[".","SF"],["9","SN"],["%","SW"],["가","JKS"],["낮","VA"],["았","EP"],["다","EF"],[".","SF"]]]}

{"text":"     고용에 대한 영향) 한편, 고연령자고용확보조치 시행에 따라 일본 내에81.7%로                                                      6%)는서도 청년 고용과의 트레이드 오프(trade-off)에 대한 우려가 높았지만 현실화되지는 않았(청년층다.","morphAnal":[[["고용","NNG"],["에","JKB"]],[["대하","VV"],["ㄴ","ETM"]],[["영향","NNG"],[")","SS"]],[["한편","NNG"],[",","SP"]],[["고","XPN"],["연령","NNG"],["자","NNG"],["고용","NNG"],["확보","NNG"],["조치","NNG"]],[["시행","NNG"],["에","JKB"]],[["따르","VV"],["아","EC"]],[["일본","NNP"]],[["내","NP"],["에","JKB"],["81","SN"],[".","SF"],["7","SN"],["%","SW"],["로","JKB"]],[["6","SN"],["%","SW"],[")","SS"],["는","JX"],["서","JKB"],["도","JX"]],[["청년","NNG"]],[["고용","NNG"],["과","JKB"],["의","JKG"]],[["트레이드","NNG"]],[["오프","NNG"],["(","SS"],["trade","SL"],["-","SS"],["off","SL"],[")","SS"],["에","JKB"]],[["대하","VV"],["ㄴ","ETM"]],[["우려","NNG"],["가","JKS"]],[["높","VA"],["았","EP"],["지만","EC"]],[["현실화","NNG"],["되","XSV"],["지","EC"],["는","JX"]],[["않","VX"],["았","EP"],["(","SS"],["청년","NNG"],["층","XSN"],["다","JX"],[".","SF"]]]}}

}

6. 이것을 가지고 magazinID(현대경제연구소에서는 이걸 '보고서명'이라고 한다)별로 키워드 중요도를 산출한다. 이건 아직 해본적이 없으니 궁금하다.

7. 다음 연도별 구분 없이 각 문서들을 군집한다. 문서별로 거리를 측정하고 군집별 중심어휘를 뽑는다.

8. 마지막으로 다음주에 나올 새로운 보고서를 보여주고 어떤 Magazine에서 나온 것인지, 누가 쓴 것인지 맞춰보게한다.

9. 이 다음은 다하고 그때가서 생각해보겠다. 확실하것은 한동안 크롤링과 전처리 작업은 쳐다도 보고 싶지 않다는 것.

10. 그럼 5번부터 시작.