현대 경제 연구원 보고서 크롤링

● 현대 경제 연구원 크롤링

> 들어가는 말

저 멀리 서방, 영국의 EU 이탈로 내 주식이 작살이 났다. ㅡ,ㅡ 개눔들.

정말 뭣이 중헌지도 모르는 넘들.

어쨌든 최근 개발에만 몰두하다가 시류를 완전히 놓쳤다. (난 투표 당일이 되어서야 알았당ㅜ)

그동안 내가 바로 21세기형 주식 천재라고 생각(?)했었는데 이 모냥이 되었으니 부끄럽고 할말이 없다..만

얼마전 썰전에서 '현대경제연구원'의 체감 실업률에 대한 이야기를 듣고 갑자기

그곳의 보고서들을 분석해보고 싶다는 마음이 들었다.

대딩시절 seri.org(삼성경제연구소)에 대한 로망이 좀 있었기에 그곳에 먼저 가봤는데 마지막 보고서가 올라온게 2013년이었다.

한마디로 다 죽어 있었다. 뷥~위주의 서비스로 바꾼 것 같은데 서비스라는게 보통 그렇게 종말을 맞이한다 ㅋ

다음 seri의 맞수라 일컫는 LG경제연구원(왜 어디는 '소'고 어디는 '원'이야)으로 갔는데 오, 사이트 깔끔하게 잘 만들었다.

속도 빠르고 보고서 업데이트도 좋고 각 자료들도 모두 오픈되어 있다.

자료도 post로 막아놓지 않아 긁어오기도 매우 쉽게 되어있다.

헬지짱! 좋아, 다음번 내 크롤링 양식은 너다.

> 계획

- 이제 원래 목표였던 현대 경제 연구원 페이지를 살펴봤다.

기대보다 자료도 많고 잘 만들었는데 죄다 post방식으로 주소를 감춰놨다.

컨텐츠 타입도 일반적이지 않아 어쨌든 네트워크 헤더를 뒤져가며 찾긴 모두 찾았다.

2. 먼저 각 페이지를 돌며 해당 페이지를 읽어오는 key와 value들을 알아내야 한다.

현대 경제 연구원 페이지를 보면 보고서 게시판 페이지의 주소는 http://hri.co.kr/storage/newReList.asp 이고 컨텐츠 타입은 x-www-form-urlencoded 이다.

이때 넘겨주는 post 값은 아래와 같다. 아래와 같이 GotoPage의 값을 하나하나 올려주며 마지막 페이지까지 긁으면 된다.

더 이상 크롤링할 페이지가 없을 경우 '해당 자료가 없습니다'로 뜨는 것을 확인하였다. 이것을 기준으로 크롤링을 멈추면 된다.

numIdx:

skin:

mode:

GotoPage: 2

column:

keyword:

firstDepth:1

secondDepth:0

thirdDepth:

fourthDepth:

boardid: 1,2,8,38,125,126,127,128,129,5,132

sortby:

3. 각 페이지의 보고서들은 아래와 같이 고유의 정보를 가지고 있다.

  javascript:goToPageNew('25726','/storage/newReView.asp','1','0','','','','4','','','1,2,8,38,125,126,127,128,129,5,132','');

저렇게 function으로 넘겨주는데 정리해보면 아래와 같이

numIdx: 25726

skin:

mode:

GotoPage: 4

column:

keyword:

firstDepth:1

secondDepth:0

thirdDepth:

fourthDepth:

boardid:1,2,8,38,125,126,127,128,129,5,132

sortby:

numldx 가 추가된 것을 제외하고 달라진 것이 없다.  http://www.hri.co.kr 뒤에다 /storage/newReView.asp를 붙여 numIdx에 값을 넘겨주거나 /storage/newReList.asp를 붙여 해당 페이지의 게시판 목록으로 이동하는 방식이다. 모든 것은 저 goToPageNew()에서 제어한다.

한 페이지 안에는 15개의 보고서가 들어가 있다. 15개를 모두 긁어와서 json으로 저장해 놓아야 한다.

4. 다시 해당 정보를 통해 페이지에 들어가면 아래와 같이 첨부파일을 여는 함수가 있다. 이 정보가 보고서 크롤링을 위한 최종 정보다.

javascript:download_attach('/publication/','2015112381535[1].pdf');

정규표현식을 이용해 원하는 자료들만 가져와야 한다. 최종 보고서 파일은 get으로 링크되어 있다.

  http://hri.co.kr/download.asp?file_path=%2Fpublication%2F&file_name=2015112381535%5B1%5D.pdf

저거다. 결국 저 많은 분석을 해서 겨우 2015112381535 얻어내는 것이다. 저 번호와 나머지 주소를 엮어 쭉 받아오면 된다.

좋다. 이대로 만들어 보자. 다만 조금 복잡하니 최대한 단계를 쪼개서 하나하나 가져오자.

> 실행

1. 으악! 한글 인코딩이 euc-kr이다. 아나 현다이 진짜. 왕자의 난, 급발진 원인 규명하라!

어쨌든 일반 requests.post()로는 가져올 수가 없다.

역시나 CP-949 인코딩 에러다. 해결 방법은 전에 뻘짓할 때 공부해놨던 urllib.request를 쓰는 거다. 그리고,

1시간 동안 stackoverflow 방랑. 그리고 해결. 이 맛에 코딩하는 거다ㅜ

page_url = "http://hri.co.kr/storage/newReList.asp" payload = urllib.parse.urlencode({'numIdx': '', 'skin': '', 'mode': '', 'GotoPage': page_num, 'column':'', 'keyword':'', 'firstDepth':'1', 'secondDepth':'0', 'thirdDepth':'', 'fourthDepth':'', 'boardid':'1,2,8,38,125,126,127,128,129,5,132', 'sortby':''}) payload = payload.encode('euc-kr') url = urllib.request.Request(page_url, payload) url.add_header("User-Agent","Mozilla/5.0 (Windows; U; Windows NT 6.0; en-US) AppleWebKit/525.13 (KHTML, like Gecko) Chrome/0.2.149.29 Safari/525.13") response = urllib.request.urlopen(url) response = response.read() html = response.decode('euc-kr', 'ignore')

(그나저나 크롤링하다보면 이런 문제가 많이 발생할텐데 왜 이런 코드가 한글로는 전~혀 없는건지)

어쨌든 덕분에 파이썬 초급자의 삽질 능력이 쑥쑥 올라가고 있다.

2. 좋다. 이제 원하는 페이지를 가져올 수 있다(이 쉬운 걸 어렵게 해결하는 것도 능력)

이제 루프를 돌려 모든 페이지들을 가져와 일단 파일로 저장한다.

시간이 얼마나 걸리는지도 체크 하고.

아래와 같이 3분 18초가 걸렸다. 대략 페이지가 90페이지 정도였고 페이지를 읽어올 때마다 2초씩 쉬었으니 실제 페이지 읽어오는 시간만 따지면 십몇초 밖에 걸리지 않은거다.

3. 다음 파일에서 원하는 정보(numIdx, GotoPage)들을 정규표현식으로 아래와 같이 만든다. 좀 못생겼다ㅋ

numIdx = re.findall('보고서로 이동\"><a href=\"javascript:goToPageNew\(\'(.*?)\'',html) GotoPage = re.findall('\'/storage/newReView.asp\',\'1\',\'0\',\'\',\'\',\'\',\'(.*?)\'',html)

단, numIdx를 가져올 때 기존 numldX가 있는지 확인한 후 저장한다.

4. 젠장! 리스트로 만들었더니 파일로 저장한 후 다시 열면 list가 고장난(?) 상태로 열어진다. 그래서 제이슨으로 만든다. 생각보다 시간이 오래 걸리고 있다. 논리적인 구멍보다 파이썬의 미숙함이 계속 문제를 만든다.

5. 파일로 저장하지 않고 바로 처리하도록 바꾼다.

6. 해당 페이지 로딩 테스트 완료. 이 부분은 나이스하게 넘어갔다.

if re.search("download_attach\(\'/publication/\',\'(.*?)\[",html).group(1): reportID = re.search("download_attach\(\'/publication/\',\'(.*?)\[",html).group(1) reportURL = "https://hri.co.kr:442/download.asp?file_path=%2Fpublication%2F&file_name="+ str(reportID) + "%5B1%5D.pdf"

7. 이걸로 url을 리턴한 후 현재의 시간으로 pdf파일 이름을 만들고 저장하면 끝. 완료. 완전히 종료. 

파일들이 내 컴퓨터 안으로 들어오고 있다.

...

감격 ㅠ

크롤링은 뭔가 일반적인 코딩 결과를 볼때와 느낌이 다르다. 어떻게 보면 처음 메신저 만들었을 때와 비슷한 것도 같은데

아니다. 다르다. 게임과도 다르다. 게임 그래픽도 확실히 짜릿하기는 한데 이것과는 다르다.

이 느낌은..  왠지 내가 부자가 되는 느낌이다 ㅡ,ㅡ

어쨌든 전체 보고서가 1350개 쯤 되는데 2초씩 쉬어가며 받으니 50분 정도 걸리겠다.

> 반성

1. 어느새 예전 코드는 몽땅 사라지고 완전히 처음부터 모두 작성(해야만)했다.

2. 그래서 완전히 이해했지만 얼마나 오랫동안 내 해마들이 이 기억을 보존해줄지 자신은 없다.

3. 그래서 몽땅 기록해놓을 생각이다.

4. 정규표현식은 쓸때마다 처음 쓰는 것 같다.

5. 그래서 그런가 (처음보는 여자처럼) 매번 매력적으로 보인다.

6. 폴더 생성 및 이동 이런 자잘한 것들 때문에 코딩시간이 쓸데없이 길어졌다. 이런 건 어차피 잊어버린다. 정리를 잘 해놓아야 한다.

현재까지 789개 받았다. 여전히 감격스럽다ㅠ 부자되는 느낌이얌.

> 주지사항

1. 이 보고서들은 현대경제연구원에서 많은 자원을 들여 만든 그들의 소중한 자산임을 알고 있다.

2. 크롤링을 금하는 곳도 많다는 것을 (방금) 알게 되었다. (뜨끔)

3. 그래서 잠깐 고민을 했는데 그래도 올리는 게 낫다고 판단했다. 다만 누구에게도 공유하지 않겠다.

4. 그리고 현대경제연구원에서 이 포스트를 내려달라고 요청하면 (당연히)내려야 겠다고 마음을 먹었다.

> 앞으로의 계획

1. 보고서들을 다운만 받고 잘~먹었습니다. 그러면서 끝내려는게 아니다.

2. 이 pdf파일들을 먼저 txt로 바꾼 후 형태소 분석을 할 것이다.

3. 다음 기간별로 분류하여 제목과 내용에 대해 빈도수를 랭킹할 거다.

4. 당연히 시각화도 해야지. 필요하면 d3.js도 사용할 생각이다(물론 난 d3.js를 써본적이 없다..만 그거 뭐시라고)

5. 어쨌든 여기까지는 확실히 할 수 있는 것들이고,

6. 현재 텍스트마이닝 수업에서 기계학습도 (살짝) 써봤는데 이걸로 무엇을 할 수 있을지는 잘 모르겠다.

7. 다담주에 긍부정 분석을 한다니 그런 분석도 해볼 수 있을 것이다.

8. 또는 이 보고서를 컴퓨터에게 보여주고 어떤 '연구원'이 썼는지 맞춰보게 할 수도 있고 ㅡ,ㅡ

9. 의미 있는 결과가 나온다면 자료를 제공해준 고마운 현대경제연구소에 결과를 보내줄 수도 있겠다.

아직도 받고 있다. 1186.

일단 이 글은 이것으로 끝.