현대 경제 연구원 보고서 분석 중 1

● 현대 경제 연구원 보고서 분석 1

> 들어가며

1. 다시 크롤링을 하기 위해 사이트를 보니 지난 번 내가 분석했던 보고서들은 특정 카테고리의 보고서가 아니라 '최신 보고서'라는 어디에도 없는(?) 카테고리의 보고서들이었다. (즉, 처음 들어보면 '최신연구보고서'만 보여주고 왼쪽의 카테고리를 클릭했을 때 해당 카테고리의 보고서를 보여주는 것이다. 그런데 카테고리 목록에 '최신연구보고서'는 없다 ㅡ,ㅡ 모를 수 밖에 없었다)

2. 지난 번 파일이름을 너무 대충 만들어서 이번에는 제대로 만들어 한번 더 크롤링했다. 아래와 같은 방식이다.

{"reportURL":"https:\/\/hri.co.kr:442\/download.asp?file_path=%2Fpublication%2F&file_name=201662810818%5B1%5D.pdf","whoID":"이해정 연구위원","magazineID":"이슈리포트","fileName":"2016.06.28[1].pdf","fileNum":1,"titleID":"북한의 재생에너지 관련 사업 추진 현황","dateID":"2016.06.28"},{"reportURL":"https:\/\/hri.co.kr:442\/download.asp?file_path=%2Fpublication%2F&file_name=201662716126%5B1%5D.pdf","whoID":"이부형 이사대우","magazineID":"VIP Report","fileName":"2016.06.27[2].pdf","fileNum":2,"titleID":"일본 고령자 일자리 창출 사례와 시사점","dateID":"2016.06.27"}

3. 처음부터 ujson을 이용해 incoding과 decoing을 했다. 그냥 dump하면 한글 인코딩이 깨진다. 아래와 같이 해야한다.

reportfile = ujson.dumps(reportInfoList, ensure_ascii=False)

파일 저장 중 서버 무응답으로 뻗는 경우가 있는데 (이건 어떻게 해결해야 할지 감이 없다) 지난 번 코드에서는 그때마다 다시 페이지 전체를 크롤링을 한 후 다운로드를 시작했다. 파일을 쪼개지 않고 한방에 처리하려던 욕심이었다. (난 아직 사멸치 않은 전근대적이고 절차지향적인 개발자다.)

어쨌든 한방에 가는 걸 두개로 쪼개서 크롤링 페이지에 대한 정보들을 json으로 저장하고 그걸 다시 로드해서 바로 쓰는 방식으로 변경했다.(이게 당연한 거라는 것쯤 지금 알았다!)

4. 보고서들 중에 정확하게 90개가 잘못 크롤링되었다. 하나하나 분석해봤는데 파일이름 생성 방식이 다른 1250개의 파일들과 달랐다. 이름끝에 알수없는 숫자들이 들어가 있었는데 패턴을 찾아보려 노력했지만 아무런 패턴이 보이지 않았다. 대부분이 오래전 파일들이었고 같은날 시리즈처럼 올라온 것들이었다. 그래서 노가다로 받아도 금방 받을만 했지만 그럴만한 가치도 없어 보였고 내가 돈받고 해주는 것도 아니고 하고 싶지도 않아 안했다.

4. 지난 번 계획했던 각 카테고리별 분석의 의욕이 싹 사라졌다. 그냥 이 뭉뚱그려진 '최신 보고서' 1250개만 (지구)끝까지 분석해볼 계획이다.

5. LG 경제 연구원 분석에 대한 의욕도 사라졌다. 이제 크롤링은 좀 지겹다.

6. 현재 모든 pdf 파일을 txt로 바꾸고 있다. 이것도 대량으로 잘 안되서 지겹게 소량으로 컨버팅 중이다. 이것도 오래걸리고 지겨운 작업. 여러 유틸을 확인해 봤는데 그나마 pdf to text라는 정직한 이름의 유틸이 제일 나아서 선택.

> 목표

1. 먼저 연도별로 데이터 구분.  2010 , 2011, 2012, 2013, 2014, 2015, 2016 이렇게 6년.

2. 연도별로 제목과 보고서 내용을 나눠 따로따로 wordcloud까지 진행.

* 현재 준비한 메타 데이터가 많아서 재밌는 분석도 가능하긴 한데 (예를들어 각 연구원마다의 보고서 특성) 이건 기술적으로 뻔하고 내가 현대경제연구원들을 개인적으로 아는 것도 아니어서 흥미가 생기지 않는다. 그래서 안할거다.

3. 연도별로 키워드(중요 어휘) 추출. 쿨백-라이블러 발산(Kullback-Leibler divergence)

4. 이건 결과가 나도 좀 궁금한데 문서 간 거리 측정이 가능하다. 이것을 이용해 각 보고서들간의 거리를 측정하고 k-평균 기법으로 군집을 해본다. 이것으로 어떤 연구원이 계속 똑같은 연구만 하는지, 어떤 연구원과 어떤 연구원의 성향이 유사한지, 어떤 보고서와 어떤 보고서가 긴요한 관계를 갖는지 알 수 있다.

* 아직 해본적이 없는 거라 해보고 싶다.

5. 이것도 재밌을 것 같기는 한데. 지금까지 나온 (겨우) 1250개의 보고서를 컴퓨터에게 학습시킨 후 더 이전의 보고서나 앞으로 나올 새로운 보고서를 컴퓨터에게 보여주고 어느 연구원이 쓴 것인지, 또는 이것의 보고서명이 무엇인지 맞춰보게 할 수 있다. 진짜 내가 왜 이런 쓸데없는 짓이 (매우) 하고 싶은지 모르겠지만 그냥 해보려고 한다.

> 정리

아직도 txt로 바꾸고 있다ㅡ,ㅡ 그래서 오늘은 이걸로 끝.