Wookang makes AI

● 현대경제연구원 보고서 분석 - 문서 전처리 작업 중

1. 아. 헬대. 현다이 ㅅㅂ 내가 현대를 왜 그리 몰랐을까.

데이터들을 한 곳에 모으다가 발견했다. 

그 동안 나는 각 카테고리별로 교집합없이 나눠져 있는 보고서들을 하나로 합치면 모든 보고서들의 합집합을 이룰 수 있을 것이라 동해안의 태양처럼 당연하게 생각했다. 카테고리란 그런거니까. 나누기 위해 만들어진 것이니까.

방금 발견한 결과는 이런 것이다.

경제 카테고리안의 보고서는 모든 보고서들의 집합이다.

사회문화 카테고리안에 있는 모든 보고서는 경제 카테고리에도 있다. 다른 카테고리에도 있을 확률이 90%이상이다.

산업경영 카테고리안에 있는 모든 보고서는 경제 카테고리에도 있다. 물론 다른 카테고리에도 있을 확률이 두말하면 잔소리다.

ㅅㅂ 통일 카테고리안에 있는 모든 보고서는 경제 카테고리에도 있다. 세말하면 ㅅㅂ이다.

{ 경제 : 2109, 사회문화 : 1421, 산업경영 : 1524, 통일 : 1452 }

보고서들의 전체 숫자가 저리 비슷하다는 것을 몇번이나 확인했으면서도

나는 진짜 중복됐을거라고는 생각하지 않았다. 이게 말이다. 최소한 포유류라면 저렇게 만들지 않기 때문이다.

저럴거면 대체 카테고리를 왜 만들었을까. (각 카테고리별로 보고서가 많은척하려고 그런거냐)

아~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~헬대. 저런 놈들이 연구한 결과를 ㅅㅂ 믿을 수 있겠는가.

너무나 당연하게 생각했기에 카테고리간에는 중복체크 부분을 넣지 않았던 내가 조류다. 내가 닭이야 ㅠ

진짜 의욕이 몽땅 사라졌다.

● 현대경제연구원 분석 중 3

> 작업 중

1. 고통스러운 전처리 작업 시작 .. 대체 내가 왜 이걸 하고 있는 건지 ㅡ,ㅡ

2. 다행히 어젯밤 순식간에 보고서들을 모두 크롤링했다. sleep.time(2)을 주석처리하는 패기! 

> 아래는 파일 정리

경제 = { 전체 : 4300 , 파일 주소 오류 : 146, 파일 다운 오류 : 123, 파일 오류 : 13개, txt로 변환 불가능 : 1912, 유용한 보고서 : 2110 }

사회문화 : { 전체 : 3762 , 파일 주소 오류 : 179, 파일 다운 오류 : 122 , txt로 변환 불가능 : 2010 , 유용한 보고서 : 1572 }

산업경영 : {  전체 : 3731 , 파일 주소 오류 : 142, 파일 다운 오류 : 124 , txt로 변환 불가능 : 2010 , 유용한 보고서 : 1562 }

통일 : { 전체 : 3762, 파일 주소 오류 : 159, 파일 다운 오류 : 176 , txt로 변환 불가능 : 2010 , 유용한 보고서 : 1562 }

3. 느낀 것은 파일명에 날짜를 넣었던 것이 신의 한수였다는 것.

1993년부터 2001년 2월 22일 전까지 pdf파일들은 현재 있는 어떠한 툴을 써도 txt로 거의 변환하지 못했다. 무엇때문인가 알아보니 이미지를 그대로 스캔해서 pdf로 만들었기 때문이다. 글자인식을 해보라고? 싫다. 안한다. 저 정확한 날짜를 알아낸다고 고생한 것만으로 이미 난 하얗게 됐다. (어떻게 소중한 내 인생ㅜ)

2004년 2월 23일부터 3월 11일까지 만들어진 모든 pdf파일들에 오류가 있었다. (달콤한 내 인생..)

또 이유는 모르겠지만 'Simpo PDF to Text'라는 툴을 쓰면 2005년 1월까지 데이터가 잘 뽑이고 그 이후의 pdf는 'PDF to TEXT'에 비해 질이 많이 떨어진다. 그래서 저 시점을 기준으로 컨버팅 툴을 바꾼다. 이것도 찾아내는데 시작이 엄청 걸렸다 (잘가라 내 인생 ㅠ)

> 정리

2001년 2월 22일을 계기로 그나마 온전한 텍스트 파일이 뽑힌다. [ Simpo PDF to Text 로 변환 - 근데 이 녀석은 뻑이 매우 잘난다ㅜ ]

2005년 2월을 계기로 완전한 텍스트가 뽑힌다. [ PDF to TEXT 로 변환 - 이 놈은 속도가 매우 느리다 ㅠ 왜 자꾸 눙물이]

4. 툴에 오류가 많다. 텍스트 인코딩도 그렇고 파일 누락까지 있다. 그 비율이 2% 정도. 특정 시기에 몰려 있는 문제가 아니라 랜덤하게 발생하는 오류이므로 '통계적'으로 치명적이지 않다. 이 정도는 그냥 넘어가자. 내가 만든 툴도 아니고 자잘하게 손이 계속가서 좀 짜증.

5. 최종 살아남은 txt 파일은 아래와 같다. 전체 갯수는 6506 개다. 처음 예상했던 2만 5천개에서 많이도 줄었다. 그렇다고 고생이 줄진 않았다. 

{ 경제 : 2109, 사회문화 : 1421, 산업경영 : 1524, 통일 : 1452 }

> 결과

1. 종합 결과가 개판이다. 

2. 모든 분야의 키워드 순위가 매우 흡사하다. 하지만 이건 내 잘못이 아니다.

3. (너무나) 이상(하고 실망)해서 리포트들을 읽어봤는데 ㅅㅂ '현대경제연구원'에서 분류한 리포트 자체가 원래 엉망이었다.

 아래 이미지를 보면 분명히 '통일'카테고리인데 그와 전혀 상관없는 보고서들로 가득하다.

4. 2010년 이전 pdf파일들의 포맷이 엉망인게 많은데 그 고생하며 사이트 전체를 크롤링하고 변환하고 그래서 얻은게 겨우 통계적으로 '최신보고서 모음'과 매우 유사한 결과이다. 아래가 결과다.  

경제 형태소 분석

산업경영 형태소 분석

사회문화 형태소 분석

통일 형태소 분석

실제로 리포트를 보면 실물경제, 거기경제, 시장경제등등 경제 무지하게 쓴다.

경제를 연구하랬더니, 경제를 쓰기만 한다ㅡ,ㅡ

> 결론

1. 이럴 바에야 분야 구분없이 그냥 시기별 분석이 나아보인다.

2. 그래서 4개 분야를 모두 합친다. 6,506개 txt파일이다.

3. 앞으로는 2001년부터 2016년까지 연도별로 쪼개서 분석을 진행한다.

4. 빈도순 분석은 이제 그만한다. 재미없다.

5. 기존 보고서 메타 파일과 보고서 형태소 분석 파일을 합쳐 하나의 완성된 파일을 만든다.

 아래와 같은 느낌으로 report를 추가한다. 

{

    "fileName":"2016.06.27[0].pdf",

    "whoID":"이부형 이사대우",

    "magazineID":"VIP Report",

    "dateID":"2016.06.27",

    "fileNum":0,

    "titleID":"일본 고령자 일자리 창출 사례와 시사점",

    "reportURL":"https:\/\/hri.co.kr:442\/download.asp?file_path=%2Fpublication%2F&file_name=201662716126%5B1%5D.pdf"

    "report" : {"text":"한편, 종류별로는 계속고용제도 도입 기업99.2%에           301인비중이       압도적으로 높고, 정년 연장(15.7%)과 정년제 폐지(2.","morphAnal":[[["한편","NNG"],[",","SP"]],[["종류","NNG"],["별","XSN"],["로","JKB"],["는","JX"]],[["계속","NNG"],["고용","NNG"],["제도","NNG"]],[["도입","NNG"]],[["기업","NNG"],["99","SN"],[".","SF"],["2","SN"],["%","SW"],["에","JKB"]],[["301","SN"],["인","NNG"],["비중","NNG"],["이","JKS"]],[["압도","NNG"],["적","XSN"],["으로","JKB"]],[["높","VA"],["고","EC"],[",","SP"]],[["정년","NNG"]],[["연장","NNG"],["(","SS"],["15","SN"],[".","SF"],["7","SN"],["%","SW"],[")","SS"],["과","JC"]],[["정년","NNG"],["제","XSN"]],[["폐지","NNG"],["(","SS"],["2","SN"],[".","SF"]]]}

{"text":"상대적으론99.9%가낮았다.","morphAnal":[[["상대","NNG"],["적","XSN"],["으로","JKB"],["ㄴ","JX"],["99","SN"],[".","SF"],["9","SN"],["%","SW"],["가","JKS"],["낮","VA"],["았","EP"],["다","EF"],[".","SF"]]]}

{"text":"     고용에 대한 영향) 한편, 고연령자고용확보조치 시행에 따라 일본 내에81.7%로                                                      6%)는서도 청년 고용과의 트레이드 오프(trade-off)에 대한 우려가 높았지만 현실화되지는 않았(청년층다.","morphAnal":[[["고용","NNG"],["에","JKB"]],[["대하","VV"],["ㄴ","ETM"]],[["영향","NNG"],[")","SS"]],[["한편","NNG"],[",","SP"]],[["고","XPN"],["연령","NNG"],["자","NNG"],["고용","NNG"],["확보","NNG"],["조치","NNG"]],[["시행","NNG"],["에","JKB"]],[["따르","VV"],["아","EC"]],[["일본","NNP"]],[["내","NP"],["에","JKB"],["81","SN"],[".","SF"],["7","SN"],["%","SW"],["로","JKB"]],[["6","SN"],["%","SW"],[")","SS"],["는","JX"],["서","JKB"],["도","JX"]],[["청년","NNG"]],[["고용","NNG"],["과","JKB"],["의","JKG"]],[["트레이드","NNG"]],[["오프","NNG"],["(","SS"],["trade","SL"],["-","SS"],["off","SL"],[")","SS"],["에","JKB"]],[["대하","VV"],["ㄴ","ETM"]],[["우려","NNG"],["가","JKS"]],[["높","VA"],["았","EP"],["지만","EC"]],[["현실화","NNG"],["되","XSV"],["지","EC"],["는","JX"]],[["않","VX"],["았","EP"],["(","SS"],["청년","NNG"],["층","XSN"],["다","JX"],[".","SF"]]]}}

}

6. 이것을 가지고 magazinID(현대경제연구소에서는 이걸 '보고서명'이라고 한다)별로 키워드 중요도를 산출한다. 이건 아직 해본적이 없으니 궁금하다.

7. 다음 연도별 구분 없이 각 문서들을 군집한다. 문서별로 거리를 측정하고 군집별 중심어휘를 뽑는다.

8. 마지막으로 다음주에 나올 새로운 보고서를 보여주고 어떤 Magazine에서 나온 것인지, 누가 쓴 것인지 맞춰보게한다.

9. 이 다음은 다하고 그때가서 생각해보겠다. 확실하것은 한동안 크롤링과 전처리 작업은 쳐다도 보고 싶지 않다는 것.

10. 그럼 5번부터 시작.

● 현대경제연구원 분석 중 2

> 들어가는 말

1. 키워드 추출이나 보고서 학습을 시키기 위해서는 처음 목표로 했던 문서뿐 아니라 다른 카테고리의 문서들도 많이 필요하다.

2. 그래서 지난 번 안하겠다고 했던 분야별 크롤링을 하기로 했다.

3. 분야는,

{ 경제 : 약 7,200개, 산업경영 : 약 6,500개, 사회문화 : 약 6,300개, 통일 : 약 6,500개 }

보고서 전체 개수는 약 2만5천개 정도가 될 것 같다.

4. 현대경제연구원이 현차나 현중 계열이 아니고(지분관계는 있다만) 고 정주영 할아버지 계열이라 현대아산을 통해 대북사업을 진행하고 있어 (현재는 좀 힘든듯해도) 다른 경제연구소에서는 쳐다도 보지 않는 통일에 대한 보고서가 저리 많다. 훌륭하다.

5. 어차피 이게 내 전공도 아니고 재미로 공부하면서 해보는 것이니 한번 끝까지 파보려고 한다.

6. 보고서 2만5천개라면 하나당 최소 3초만 잡아도 작업시간만 쉬지않고 약 21시간이 걸린다.

7. 그래서 일단 걸어놓기 위해 작업을 빠르게 시작했다.

> 경제파트 post 정보

1. 경제 게시판 페이지 정보

 - secondDepth 가 1이라는 것이 최신보고서 게시판과 다르다.

page_url = "http://hri.co.kr/board/reportList.asp"

numIdx:

skin:

mode:

GotoPage: 2

column:

keyword:

firstDepth:1

secondDepth:1

thirdDepth:

fourthDepth:

boardid: 1,2,8,38,125,126,127,128,129,5,132

sortby:

2. 경제 상세 페이지 정보

- 마찬가지로 url주소와 secondDepth만 다르다.

page_url = "http://hri.co.kr/board/reportView.asp"

numIdx: 25726

skin:

mode:

GotoPage: 4

column:

keyword:

firstDepth:1

secondDepth:1

thirdDepth:

fourthDepth:

boardid:1,2,8,38,125,126,127,128,129,5,132

sortby:

3. 정규표현식 수정

GotoPage = re.findall('\'/board/reportView.asp\',\'1\',\'1\',\'\',\'\',\'\',\'(.*?)\'',html)

- 이 외 나머지는 모두 동일하다. 자료수집 시작.

> 실행

1. 1506번을 기점으로 pdf 주소가 바뀌었다 ㅡ,ㅡ 이 부분에서 정규표현식 수정해서 다시 실행. ㅜ

 - 1553번은 또 정상적으로 들어왔다. 이것만 예외처리.

2. 1552번부터 파일명에 한글이 들어가기 시작했다. 또 에러.

 - urllib.parse.quote_plus(reportID) 를 이용해 reportID를 인코딩해 넘겨준다. 이것도 진짜 한참 찾았다.

3. 현재 경제 파트 보고서 크롤링 모두 완료. 총 4300개다.

게시판 번호와 많이 다른데 처음 페이지 크롤링할때 중복된 것들을 제거하고 가져오기 때문이다. (이런 것들이 매우 많더라)

4. 이제 1/4 끝냈다.

● 현대 경제 연구원 보고서 분석 1

> 들어가며

1. 다시 크롤링을 하기 위해 사이트를 보니 지난 번 내가 분석했던 보고서들은 특정 카테고리의 보고서가 아니라 '최신 보고서'라는 어디에도 없는(?) 카테고리의 보고서들이었다. (즉, 처음 들어보면 '최신연구보고서'만 보여주고 왼쪽의 카테고리를 클릭했을 때 해당 카테고리의 보고서를 보여주는 것이다. 그런데 카테고리 목록에 '최신연구보고서'는 없다 ㅡ,ㅡ 모를 수 밖에 없었다)

2. 지난 번 파일이름을 너무 대충 만들어서 이번에는 제대로 만들어 한번 더 크롤링했다. 아래와 같은 방식이다.

{"reportURL":"https:\/\/hri.co.kr:442\/download.asp?file_path=%2Fpublication%2F&file_name=201662810818%5B1%5D.pdf","whoID":"이해정 연구위원","magazineID":"이슈리포트","fileName":"2016.06.28[1].pdf","fileNum":1,"titleID":"북한의 재생에너지 관련 사업 추진 현황","dateID":"2016.06.28"},{"reportURL":"https:\/\/hri.co.kr:442\/download.asp?file_path=%2Fpublication%2F&file_name=201662716126%5B1%5D.pdf","whoID":"이부형 이사대우","magazineID":"VIP Report","fileName":"2016.06.27[2].pdf","fileNum":2,"titleID":"일본 고령자 일자리 창출 사례와 시사점","dateID":"2016.06.27"}

3. 처음부터 ujson을 이용해 incoding과 decoing을 했다. 그냥 dump하면 한글 인코딩이 깨진다. 아래와 같이 해야한다.

파일 저장 중 서버 무응답으로 뻗는 경우가 있는데 (이건 어떻게 해결해야 할지 감이 없다) 지난 번 코드에서는 그때마다 다시 페이지 전체를 크롤링을 한 후 다운로드를 시작했다. 파일을 쪼개지 않고 한방에 처리하려던 욕심이었다. (난 아직 사멸치 않은 전근대적이고 절차지향적인 개발자다.)

어쨌든 한방에 가는 걸 두개로 쪼개서 크롤링 페이지에 대한 정보들을 json으로 저장하고 그걸 다시 로드해서 바로 쓰는 방식으로 변경했다.(이게 당연한 거라는 것쯤 지금 알았다!)

4. 보고서들 중에 정확하게 90개가 잘못 크롤링되었다. 하나하나 분석해봤는데 파일이름 생성 방식이 다른 1250개의 파일들과 달랐다. 이름끝에 알수없는 숫자들이 들어가 있었는데 패턴을 찾아보려 노력했지만 아무런 패턴이 보이지 않았다. 대부분이 오래전 파일들이었고 같은날 시리즈처럼 올라온 것들이었다. 그래서 노가다로 받아도 금방 받을만 했지만 그럴만한 가치도 없어 보였고 내가 돈받고 해주는 것도 아니고 하고 싶지도 않아 안했다.

4. 지난 번 계획했던 각 카테고리별 분석의 의욕이 싹 사라졌다. 그냥 이 뭉뚱그려진 '최신 보고서' 1250개만 (지구)끝까지 분석해볼 계획이다.

5. LG 경제 연구원 분석에 대한 의욕도 사라졌다. 이제 크롤링은 좀 지겹다.

6. 현재 모든 pdf 파일을 txt로 바꾸고 있다. 이것도 대량으로 잘 안되서 지겹게 소량으로 컨버팅 중이다. 이것도 오래걸리고 지겨운 작업. 여러 유틸을 확인해 봤는데 그나마 pdf to text라는 정직한 이름의 유틸이 제일 나아서 선택.

> 목표

1. 먼저 연도별로 데이터 구분.  2010 , 2011, 2012, 2013, 2014, 2015, 2016 이렇게 6년.

2. 연도별로 제목과 보고서 내용을 나눠 따로따로 wordcloud까지 진행.

* 현재 준비한 메타 데이터가 많아서 재밌는 분석도 가능하긴 한데 (예를들어 각 연구원마다의 보고서 특성) 이건 기술적으로 뻔하고 내가 현대경제연구원들을 개인적으로 아는 것도 아니어서 흥미가 생기지 않는다. 그래서 안할거다.

3. 연도별로 키워드(중요 어휘) 추출. 쿨백-라이블러 발산(Kullback-Leibler divergence)

4. 이건 결과가 나도 좀 궁금한데 문서 간 거리 측정이 가능하다. 이것을 이용해 각 보고서들간의 거리를 측정하고 k-평균 기법으로 군집을 해본다. 이것으로 어떤 연구원이 계속 똑같은 연구만 하는지, 어떤 연구원과 어떤 연구원의 성향이 유사한지, 어떤 보고서와 어떤 보고서가 긴요한 관계를 갖는지 알 수 있다.

* 아직 해본적이 없는 거라 해보고 싶다.

5. 이것도 재밌을 것 같기는 한데. 지금까지 나온 (겨우) 1250개의 보고서를 컴퓨터에게 학습시킨 후 더 이전의 보고서나 앞으로 나올 새로운 보고서를 컴퓨터에게 보여주고 어느 연구원이 쓴 것인지, 또는 이것의 보고서명이 무엇인지 맞춰보게 할 수 있다. 진짜 내가 왜 이런 쓸데없는 짓이 (매우) 하고 싶은지 모르겠지만 그냥 해보려고 한다.

> 정리

아직도 txt로 바꾸고 있다ㅡ,ㅡ 그래서 오늘은 이걸로 끝.

● 현대 경제 연구원 간략 분석

> 들어가는 말

막상 크롤링을 하고 보니 너무 대충했다.

아무래도 다시 하는게 좋을 것 같은데, 저번에도 2번째 크롤링때 자주 끊겼던게 마음에 걸린다.

블락당한 건 아니겠지.

> 앞서 반성

1. pdf 파일 이름을 너무 대충지었다. 파일이름에 보고서 발표날짜가 들어갔어야 했다.

2. pdf 파일은 html이 아니어서 정규분포식을 이용한다해도 원하는 텍스트를 가져오는게 어렵다. 제목에 제목이라는 표시가 없다 ㅜ 아무래도 제목은 제목대로 따로 크롤링해서 가져와야겠다.

3. 그리고 그 제목과 날짜 그리고 파일명을 하나의 json으로 만든 후 입맛에 맞게 요리해야겠다.

> 결과

아래 워드클라우드 이미지는 2010년 1월부터 ~ 2016년 6월 말(지난주)까지 약 6년 반 기간 동안 현대경영연구원에서 작성한 보고서 1233개의 모든 단어들을 형태소 분석하여 빈도순으로 정렬한 후 의미있는 단어들만 추려낸 것이다. 한글 인코딩 방식만 바꾸었고 나머지는 예전 아리랑 분석할때의 코드를 그대로 사용했다.

그 결과다.

1. 1등이 '증가'라니 ㄷㄷㄷ 증가와 하락의 저 어머어마한 대조를 보라.

2. 미국보다 중국의 비중이 더 크다는 것.

3. 수입도 어딘가 있기는 할텐데 내 눈에 보이는 건 수출 뿐.

4. 대략 보면 증가, 확대, 상승, 성장 같은 긍정적인 용어가 부정적 용어들을 압도한다.

그런데 저 기간동안 진짜 우리경제가 긍정적이었다고 할 수 있나?

5. 제조업이 보이고 IT가 안보이는 건 ...

6. 기술이나 글로벌이란 단어가 저리 작은 건 좀 슬프다.

7. 대충 봐도 경제 신문이나 애널 보고서에서 흔~히 봤던 단어들이다.

8. 저 이미지 한장으로도 수십개의 유사 '경제보고서'를 써낼 수 있을 것 같은 느낌이랄까.

9. 애매한 형태소들도 좀 있다. 저것들은 어떻게 다듬어야 할지...

10. 여하튼 볼만한 자료다.

> 반성

1. 시기별로 구분하지 않았고 제목에 따른 분석이 따르지 않아 아쉬운 부분이 많다. 이건 현대경제연구원에서 나를 블락만 시키지 않는다면 금방 다시 작업할 수 있기는 한데.. 음.. 다음에 다시 하겠다.

2. 그리고 방금 알았는데 현대경제연구원에는 '경제' 보고서만 있는게 아니라 아래와 같이 산업,경영,사회,문화,통일 보고서도 있었다. 쟤네들도 함께 분석해야 할 것 같다. 특히 산업,경영는 매우 활발하게 업데이트 되고 있었다. 이것도 다음에 함께 작업하자.

2. LG경제 연구원의 보고서도 분석해야 할 것 같다. 그래야 조금이라도 거시적인 시점을 확보할 수 있을 것이다. 연구원마다 다른 시점도 확보할 수 있다. 이것도 다음번에 한방에 끝내자. 이번 주말에 도전!

3. scikit-learn와 scipy 사용이 미숙하다. 이 부분의 보완이 필요하다.

3. 그거 약간 배운 것 가지고도, 만들고 싶은 것들이 많아 골치다. 나쁘진 않은데.. 주객이 전도되어서는 안된다. 나의 정체성을 잃지 말자. 아예 바꾸는 건 괜찮지만(응?) 

● 현대 경제 연구원 크롤링

> 들어가는 말

저 멀리 서방, 영국의 EU 이탈로 내 주식이 작살이 났다. ㅡ,ㅡ 개눔들.

정말 뭣이 중헌지도 모르는 넘들.

어쨌든 최근 개발에만 몰두하다가 시류를 완전히 놓쳤다. (난 투표 당일이 되어서야 알았당ㅜ)

그동안 내가 바로 21세기형 주식 천재라고 생각(?)했었는데 이 모냥이 되었으니 부끄럽고 할말이 없다..만

얼마전 썰전에서 '현대경제연구원'의 체감 실업률에 대한 이야기를 듣고 갑자기

그곳의 보고서들을 분석해보고 싶다는 마음이 들었다.

대딩시절 seri.org(삼성경제연구소)에 대한 로망이 좀 있었기에 그곳에 먼저 가봤는데 마지막 보고서가 올라온게 2013년이었다.

한마디로 다 죽어 있었다. 뷥~위주의 서비스로 바꾼 것 같은데 서비스라는게 보통 그렇게 종말을 맞이한다 ㅋ

다음 seri의 맞수라 일컫는 LG경제연구원(왜 어디는 '소'고 어디는 '원'이야)으로 갔는데 오, 사이트 깔끔하게 잘 만들었다.

속도 빠르고 보고서 업데이트도 좋고 각 자료들도 모두 오픈되어 있다.

자료도 post로 막아놓지 않아 긁어오기도 매우 쉽게 되어있다.

헬지짱! 좋아, 다음번 내 크롤링 양식은 너다.

> 계획

- 이제 원래 목표였던 현대 경제 연구원 페이지를 살펴봤다.

기대보다 자료도 많고 잘 만들었는데 죄다 post방식으로 주소를 감춰놨다.

컨텐츠 타입도 일반적이지 않아 어쨌든 네트워크 헤더를 뒤져가며 찾긴 모두 찾았다.

2. 먼저 각 페이지를 돌며 해당 페이지를 읽어오는 key와 value들을 알아내야 한다.

현대 경제 연구원 페이지를 보면 보고서 게시판 페이지의 주소는 http://hri.co.kr/storage/newReList.asp 이고 컨텐츠 타입은 x-www-form-urlencoded 이다.

이때 넘겨주는 post 값은 아래와 같다. 아래와 같이 GotoPage의 값을 하나하나 올려주며 마지막 페이지까지 긁으면 된다.

더 이상 크롤링할 페이지가 없을 경우 '해당 자료가 없습니다'로 뜨는 것을 확인하였다. 이것을 기준으로 크롤링을 멈추면 된다.

numIdx:

skin:

mode:

GotoPage: 2

column:

keyword:

firstDepth:1

secondDepth:0

thirdDepth:

fourthDepth:

boardid: 1,2,8,38,125,126,127,128,129,5,132

sortby:

3. 각 페이지의 보고서들은 아래와 같이 고유의 정보를 가지고 있다.

  javascript:goToPageNew('25726','/storage/newReView.asp','1','0','','','','4','','','1,2,8,38,125,126,127,128,129,5,132','');

저렇게 function으로 넘겨주는데 정리해보면 아래와 같이

numIdx: 25726

skin:

mode:

GotoPage: 4

column:

keyword:

firstDepth:1

secondDepth:0

thirdDepth:

fourthDepth:

boardid:1,2,8,38,125,126,127,128,129,5,132

sortby:

numldx 가 추가된 것을 제외하고 달라진 것이 없다.  http://www.hri.co.kr 뒤에다 /storage/newReView.asp를 붙여 numIdx에 값을 넘겨주거나 /storage/newReList.asp를 붙여 해당 페이지의 게시판 목록으로 이동하는 방식이다. 모든 것은 저 goToPageNew()에서 제어한다.

한 페이지 안에는 15개의 보고서가 들어가 있다. 15개를 모두 긁어와서 json으로 저장해 놓아야 한다.

4. 다시 해당 정보를 통해 페이지에 들어가면 아래와 같이 첨부파일을 여는 함수가 있다. 이 정보가 보고서 크롤링을 위한 최종 정보다.

javascript:download_attach('/publication/','2015112381535[1].pdf');

정규표현식을 이용해 원하는 자료들만 가져와야 한다. 최종 보고서 파일은 get으로 링크되어 있다.

  http://hri.co.kr/download.asp?file_path=%2Fpublication%2F&file_name=2015112381535%5B1%5D.pdf

저거다. 결국 저 많은 분석을 해서 겨우 2015112381535 얻어내는 것이다. 저 번호와 나머지 주소를 엮어 쭉 받아오면 된다.

좋다. 이대로 만들어 보자. 다만 조금 복잡하니 최대한 단계를 쪼개서 하나하나 가져오자.

> 실행

1. 으악! 한글 인코딩이 euc-kr이다. 아나 현다이 진짜. 왕자의 난, 급발진 원인 규명하라!

어쨌든 일반 requests.post()로는 가져올 수가 없다.

역시나 CP-949 인코딩 에러다. 해결 방법은 전에 뻘짓할 때 공부해놨던 urllib.request를 쓰는 거다. 그리고,

1시간 동안 stackoverflow 방랑. 그리고 해결. 이 맛에 코딩하는 거다ㅜ

(그나저나 크롤링하다보면 이런 문제가 많이 발생할텐데 왜 이런 코드가 한글로는 전~혀 없는건지)

어쨌든 덕분에 파이썬 초급자의 삽질 능력이 쑥쑥 올라가고 있다.

2. 좋다. 이제 원하는 페이지를 가져올 수 있다(이 쉬운 걸 어렵게 해결하는 것도 능력)

이제 루프를 돌려 모든 페이지들을 가져와 일단 파일로 저장한다.

시간이 얼마나 걸리는지도 체크 하고.

아래와 같이 3분 18초가 걸렸다. 대략 페이지가 90페이지 정도였고 페이지를 읽어올 때마다 2초씩 쉬었으니 실제 페이지 읽어오는 시간만 따지면 십몇초 밖에 걸리지 않은거다.

3. 다음 파일에서 원하는 정보(numIdx, GotoPage)들을 정규표현식으로 아래와 같이 만든다. 좀 못생겼다ㅋ

단, numIdx를 가져올 때 기존 numldX가 있는지 확인한 후 저장한다.

4. 젠장! 리스트로 만들었더니 파일로 저장한 후 다시 열면 list가 고장난(?) 상태로 열어진다. 그래서 제이슨으로 만든다. 생각보다 시간이 오래 걸리고 있다. 논리적인 구멍보다 파이썬의 미숙함이 계속 문제를 만든다.

5. 파일로 저장하지 않고 바로 처리하도록 바꾼다.

6. 해당 페이지 로딩 테스트 완료. 이 부분은 나이스하게 넘어갔다.

7. 이걸로 url을 리턴한 후 현재의 시간으로 pdf파일 이름을 만들고 저장하면 끝. 완료. 완전히 종료. 

파일들이 내 컴퓨터 안으로 들어오고 있다.

...

감격 ㅠ

크롤링은 뭔가 일반적인 코딩 결과를 볼때와 느낌이 다르다. 어떻게 보면 처음 메신저 만들었을 때와 비슷한 것도 같은데

아니다. 다르다. 게임과도 다르다. 게임 그래픽도 확실히 짜릿하기는 한데 이것과는 다르다.

이 느낌은..  왠지 내가 부자가 되는 느낌이다 ㅡ,ㅡ

어쨌든 전체 보고서가 1350개 쯤 되는데 2초씩 쉬어가며 받으니 50분 정도 걸리겠다.

> 반성

1. 어느새 예전 코드는 몽땅 사라지고 완전히 처음부터 모두 작성(해야만)했다.

2. 그래서 완전히 이해했지만 얼마나 오랫동안 내 해마들이 이 기억을 보존해줄지 자신은 없다.

3. 그래서 몽땅 기록해놓을 생각이다.

4. 정규표현식은 쓸때마다 처음 쓰는 것 같다.

5. 그래서 그런가 (처음보는 여자처럼) 매번 매력적으로 보인다.

6. 폴더 생성 및 이동 이런 자잘한 것들 때문에 코딩시간이 쓸데없이 길어졌다. 이런 건 어차피 잊어버린다. 정리를 잘 해놓아야 한다.

현재까지 789개 받았다. 여전히 감격스럽다ㅠ 부자되는 느낌이얌.

> 주지사항

1. 이 보고서들은 현대경제연구원에서 많은 자원을 들여 만든 그들의 소중한 자산임을 알고 있다.

2. 크롤링을 금하는 곳도 많다는 것을 (방금) 알게 되었다. (뜨끔)

3. 그래서 잠깐 고민을 했는데 그래도 올리는 게 낫다고 판단했다. 다만 누구에게도 공유하지 않겠다.

4. 그리고 현대경제연구원에서 이 포스트를 내려달라고 요청하면 (당연히)내려야 겠다고 마음을 먹었다.

> 앞으로의 계획

1. 보고서들을 다운만 받고 잘~먹었습니다. 그러면서 끝내려는게 아니다.

2. 이 pdf파일들을 먼저 txt로 바꾼 후 형태소 분석을 할 것이다.

3. 다음 기간별로 분류하여 제목과 내용에 대해 빈도수를 랭킹할 거다.

4. 당연히 시각화도 해야지. 필요하면 d3.js도 사용할 생각이다(물론 난 d3.js를 써본적이 없다..만 그거 뭐시라고)

5. 어쨌든 여기까지는 확실히 할 수 있는 것들이고,

6. 현재 텍스트마이닝 수업에서 기계학습도 (살짝) 써봤는데 이걸로 무엇을 할 수 있을지는 잘 모르겠다.

7. 다담주에 긍부정 분석을 한다니 그런 분석도 해볼 수 있을 것이다.

8. 또는 이 보고서를 컴퓨터에게 보여주고 어떤 '연구원'이 썼는지 맞춰보게 할 수도 있고 ㅡ,ㅡ

9. 의미 있는 결과가 나온다면 자료를 제공해준 고마운 현대경제연구소에 결과를 보내줄 수도 있겠다.

아직도 받고 있다. 1186.

일단 이 글은 이것으로 끝.

● 김대균 토익킹 청취자 강의록 크롤링

> 목표

일반 기사만 크롤링 하는 것 보다 텍스트 자체도 유용한 자료를 크롤링하고 싶어 김대균 토익킹 선택.

(http://home.ebs.co.kr/toeic/board/)

> 실행

1. 위와 같이 이*희님이 매일 열성적으로 정리해서 자료를 올려주신다. 감사하게 생각하고 이것을 크롤링하는 거다.

2. 먼저 크롤링이 필요한 페이지들을 하나의 파일로 크롤링하여 만든 후(데이터를 얻어올 때는 2초씩 쉬면서 가져온다. Block 당하는 것 조심)

3. 해당 페이지의 '인쇄' 주소를 구한다. 인쇄 페이지를 찾는 이유는 일반 페이지에 비해 인쇄 페이지가 잡것(html tags,광고)들이 정리되어 있어 텍스트만 가져오기 좋기 때문이다.

- get방식으로 되어있다면 좋겠으나 세상만사 내뜻대로 되지 않는다.

- EBS 김대균 토익킹 게시판은 post방식으로 되어 있었다.

그리고 post인자는 이름이 frm이라고 하는 form태그 안에 input 태그의 name 값으로 숨겨져 있다.

이것과 해당 주소를 비교하여 주소 중에 해당 post인자들을 찾아서 pstId와 bbsId를 추출하면 된다.

http://home.ebs.co.kr/toeic/board/23/10052166/view/10007124792?c.page=1&hmpMnuId=101&searchKeywordValue=0&bbsId=10052166&fileClsCd=ANY&searchKeyword=&searchCondition=&searchConditionValue=0& 에서 원하는 것만 잘라낸다.

다음 인자들을 json으로 묶고

아래처럼 post방식으로 넘겨주면 된다.

- 크롬의 확장 프로그램 postman을 이용하여 post 방식으로 테스트 해본다.

- 요청에 따라 페이지가 뜨면 맞는거다.

4. 일반적으로 작성일이나 title등은 정규분포식을 이용해 따로 찾아서 읽어와야 한다.

5. 원하는 것들만 긁어왔으면 최종적으로 beautifulSoup 라는 멋진 이름의 모듈로 html을 모두 제거하여 텍스트 파일로 만든다.

6. 끝.

> 반성

1. 어떻게 긁어와도 한번에 내가 원하는대로 아름답게 긁어지지 않는다.

2. 은근과 끈기, 집념으로 데이터를 정련해야 한다. 정규분포식은 필수다.

3. 파이썬의 한글 인코딩은 언제나 골치아프다. 3.0버전부터 기본 인코딩이 유니코드로 바뀌었다고 한다. 뭐 어쨌든 복잡하다. 웹에 돌아다니는 2.x 버전의 노하우들은 먹히지 않는다. 덕분에 고생하며 나만의 처리 방식들을 여러개 알아냈다.

그 중 웹에서 많이 쓰이는 utf-8 방식으로 읽어올 때 아무리해도 cp949 에러가 뜨며 가져올 수 없는 경우가 있다. (조선일보가 그렇다)

이때는 아래의 코드처럼 바이너리로 가져와 euc-kr로 디코딩하여 텍스트 파일로 만들 수가 있다.

#!/usr/bin/env python3 # -*- coding: utf-8 -*- import requests import urllib.request page_url = "http://news.chosun.com/site/data/html_dir/2016/05/19/2016051903048.html" response = urllib.request.urlopen(page_url) response = response.read() response = response.decode('euc-kr') f = open('chosun_test.txt', "w", encoding="euc-kr") print(response) f.write(response) f.close()

4. 내가 처음부터 끝까지 크롤링 코드를 만든게 아니어서 공개하지 못함이 아쉽다. 

5. 여러 사이트들을 크롤링하며 제법 노하우가 쌓였다. 이제 웹상에 있는 어떤 정보든 긁어올 수 있다는 자신이(?) 생겼다.

6. 끝. 

● 조정래 교수님의 작품 '아리랑' 텍스트 분석.

- 이라는 거창한 이름을 붙였지만 실상은 파이썬을 이용한 형태소 분석일 뿐.

- 이기황 박사(다음소프트 이사)님의 수업을 바탕으로 진행.

> 들어가는 말

난 조정래 교수님의 열렬한 팬이다. 그래서 텍스트 마이닝을 공부하며 무엇보다 먼저 그의 작품을 분석해보고 싶었다.

특히 태백산맥을 좋아하는데 끝내 텍스트 파일을 구하지 못했다.

하지만 다행스럽게도 유튜브에 빠지신(?) 우리 어머니마저 전권 독파를 자랑하신 '아리랑' 파일을 구할 수 있어 최종 선택했다.

(미리 밝히건데 종이책으로 이미 전집을 가지고 있다. 그리고 이 텍스트 파일은 (미안하지만) 누구에게도 공유할 생각이 없다.)

> 목표

아직 실력이 미약하다.

그래서 현재의 목표를 '아리랑' 속에 제일 많이 나온 단어(실제는 형태소) 순서대로 뽑아 그림으로 시각화하는 것으로 했다.

1. 먼저 각 권을 따로따로 분석하여 12권 각각의 wordcloud 이미지를 만든다.

2. 다음 전 권의 형태소를 하나로 묶어 전체의 wordcloud 이미지를 만든다.

+ 후에 기계학습(machine learning)을 시키면 '어떤 작품을 컴퓨터에게 보여주고 이게 누구의 작품인지 맞추게' 할 수도 있을 것 같다.

+ 이것을 영어버전으로 바꿔 '세익스피어의 작품은 모두 세익스피어의 작품인가'를 알아볼 수도 있겠다. 또 당대의 다른 작가들과 비교하여 가장 유사한 문체나 어휘를 구사한 작가가 누구인지도 알아볼 수 있겠다. 왜 세익스피어가 실제는 '다른 누구'이거나 '특정 작가들의 조직'이라는 음모론이 있지 않은가.

+ 그런데 영어도 형태소 분석이 필요한지는 모르겠다. 어절로 분석하는 것이 더 좋다는 이야기를 들었던 것 같은데.. 

뭐.. 그렇다면 더 쉬워지니 ㅋ 상관없다.

> 실행 

1. 먼저 아리랑 전권의 텍스트 파일을 (알아서 잘) 구한다.

2. 하나의 폴더에 12개 파일을 모두 넣은 후(txt폴더)

3. 형태소 분석하기 알맞게(여백을 제거해) 준비해 새폴더(ready폴더)에 저장한다. -  1.readyToMorph.py

3. Komoran 모듈의 konlpy으로 형태소 분석하여 다시 새폴더(morphed폴더)에 저장한다. - 2.morph_anal_output.py

(후에 이게 좀 문제가 됐는데. konlpy는 사용자 사전 만들기가 어렵단다. 인물들의 이름까지 형태소 분리해놓은 탓에 결과가 좀 후지게 나왔다.  예를들어 '백종두'가 '백종'과 '두'로 분리되어 '두'는 날아가고 '백종'만 랭킹되었더라) 

4. 3에서 형태소 분석된 파일을 바탕으로 ranking파일을 만들어 새폴더(ranked폴더)에 저장한다 - 3.count_morphs.py

5. wordcloud모듈을 이용해 4에서 빈도순으로 정렬된 파일을 바탕으로 새폴더(result_wordcloud폴더)에 이미지 파일들을 저장한다. - 4.draw_word_cloud.py

> 결과 

1. 12권 모두에서 '사람'이 압도적으로 1등. 처음에는 잘못된게 아닌가 해서 각각의 raw file들을 확인해봤는데 실제로 사람이 모두 1등.

2. 백종으로 나온 건 '백종두'를 말하고 장덕으로 나온 건 '장덕풍'을 말한다 ㅡ,ㅡ 이건 나중에 한번 싹 손봐야겠다.

3. 이제 12권 전체를 하나로 묶어 랭킹을 정리해 보자.

 - 먼저 형태소 차별(?)하지 않고 텍스트로 50위까지만 정렬해보면 아래와 같다.

 - '같은 따옴표(SS)나 '다','었'같은 종결어미(EF), 선어말 어미(EP) 등이 당~연히 압도적이다.

' SS 199729 (이건 텍스트 파싱하며 만들어진 것이다)

, SP 122673 (이 놈도 마찬가지. 다만 문장과 문장을 구분하는 용도로 쓰인 특수문자이므로 아리랑 전체의 문장 수라고 보아도 될 것 같다. 물론 접속사에도 쓰이므로 좀 빼긴빼야하는데 아래 마침표 9만개와 물음표 7600개를 미루어 짐작해 보자면 약 10만개 정도의 문장이 있는 것으로(그러니까 그런 느낌으로) 보인다ㅡ,ㅡ )

. SF 89962  

다 EF 58261

었 EP 49996 (우리나라 소설은 모두 과거형을 쓰다보니 '었'이 많다)

이 VCP 43400

을 JKO 39047 (이햐~ '을'이 그의 경쟁상대인 '를' 을 2배가 넘는 점수로 재꼈다. 이 정도면 라이벌이라 할수도 없겠다. 어떻게보면 우리말에 받침없는 명사나 대명사가 적다는 뜻이기도 할 거다)

이 JKS 38248

고 EC 36615

" SS 34875 (큰 따옴표는 하나의 문장마다 2개씩 가지고 있음을 추론(?)할 수 있고 즉, 소설 속 대화문은 거의 1.7만개. 전체 문장 중 약 17%를 차지한다고 볼 수 있지 않을까. 시대 묘사도 뛰어나지만 역시 (찰진)대화가 많아 흡입력이 좋았던 기억이다.다만 대화가 문장의 97%를 차지하는 웹소설과는 비교치 말자.)

ㄴ ETM 30802

하 XSV 23292

는 ETM 23233 (오! '는'과 '은'은 진짜 오..)

은 JX 23173

것 NNB 22931 (숨은 강자랄까)

어 EC 22411

았 EP 22163

에 JKB 21899

가 JKS 20922

는 JX 20265

들 XSN 19392

의 JKG 18105 (생각보다 적다)

를 JKO 18004

아 EC 15144

게 EC 15023

도 JX 14832

ㄹ ETM 14015

하 VV 12753

있 VX 11756

그 MM 10246

하 XSA 9508

말 NNG 9140

으로 JKB 8632

지 EC 8406

로 JKB 8235

며 EC 7768

있 VV 7692

? SF 7642

사람 NNG 7443 (이 사람이라는 단어는 어쩌면(이것도 느낌이다만) 조정래 선생님을 정의하는 단어가 아닐까 싶다. 아마 내 글을 분석하면 사람대신 '인간'이란 단어가 쏟아질 것이다)

기 ETN 7371

없 VA 7309

그 NP 7169

은 ETM 7090

되 VV 6215

에서 JKB 6090

던 ETM 6065

ㄴ JX 5465

아니 VCN 5451

않 VX 5229

만 JX 4970

- 이제 실제로 의미가 강한 형태소들만 추려내여 이미지 파일을 만들어 보면 짜~잔! 최종 결과다.

> 반성

1. 파이썬이 처음이었는데 이제 많이 익숙해진 기분(?)이다. 특히 파이썬의 지독한 한글 인코딩ㅋ

2. 수업 중 가장 감동(?)적이었던 부분은 사실 '크롤링'이었다. 수업이 끝나자마자 정말 미친듯이 크롤링하고 다녔다 ㅡ,ㅡ 그 후로 나 혼자 열심히 코딩하고 있는데 옆에 데스크탑이 놀고 있으면 왠지 분한 기분이 들어 데스크탑에게도 뭐든 일을 시키는 버릇이 생겼다. 미안. 나중에 인공지능 덕분에 나보다 더 똑똑해져도 나 때리면 안돼ㅠ

3. 함께 수업을 듣는 다른 사람들의 경험이 많은 것인지 경험이 아예 없는 것인지 종잡을 수가 없다. 실제로 '자기 소스'를 가지고 코드를 돌려보면 여러 종류의 다양한 에러가 발생하는데 이에 대해 질문하는 사람들이 없다. 다들 파이썬에 능숙한 개발자라서 왠만한 에러는 자기가 직접 처리하는 건지도 모르겠지만 수업 중 다른 사람들의 모니터를 보면 나처럼 실제로 돌려보는 사람들이 거의 없고 그냥 박사님의 말씀만 듣고 있다. 조낸 쉽다는 건가.

또, 적어도 어느 정도의 개발자라면 응당 자신이 발견한 것들을 공유하는 것이 기본 성향일텐데 그것도 하는 분들이 별로 없는걸 보면 뭐랄까, 좀 이상하다. 혹시나 아무것도 모르는 것 같냐 하면 그것도 아니다. 전혀 그렇지 않다. 오히려 내가 알아듣지 못하는 '많은 경험'에서 우러나온 듯한 질문들을 하는데 그걸 내가 이해하지 못해서 여기에 적을 수도 없다 ㅡ,ㅡ;;

다들 그냥 조낸 쩌는 것 같다.

어쨌든 사람마다 다르겠지만 나의 경우에

코드가 아무리 어려워도 그건 어떻게든 이해하고 해결할 수 있다.

수학적으로 복잡하다느니 뭐니 하는 건 솔직히 별로 걱정도 안된다. (우리에겐 풍부한 라이브러리가 있지 않은가! 크하하)

하지만 어절이라니 형태소라느니 BOM이나 공기(지금도 이해가 잘ㅜ) 같은 어색한 단어들과 무슨무슨 기법들은 '아직' 경험이 부족한 내게 낯설다. 어렵지는 않은데 낯설다보니 처음 OOP개념을 접한 사람처럼 '그래서 지금 내가 해야하는 게 뭔지' 헷갈리게 만든다.

4. 파이썬은 정말 매력적인 언어같다. 

끝.

> 비교

참고로 아래는 신경숙의 '외딴방' 분석 결과다. 친척들 참 많이 나온다;; 비교해 볼만하다.