현대 경제 연구원 분석 중 2

● 현대경제연구원 분석 중 2

> 들어가는 말

1. 키워드 추출이나 보고서 학습을 시키기 위해서는 처음 목표로 했던 문서뿐 아니라 다른 카테고리의 문서들도 많이 필요하다.

2. 그래서 지난 번 안하겠다고 했던 분야별 크롤링을 하기로 했다.

3. 분야는,

{ 경제 : 약 7,200개, 산업경영 : 약 6,500개, 사회문화 : 약 6,300개, 통일 : 약 6,500개 }

보고서 전체 개수는 약 2만5천개 정도가 될 것 같다.

4. 현대경제연구원이 현차나 현중 계열이 아니고(지분관계는 있다만) 고 정주영 할아버지 계열이라 현대아산을 통해 대북사업을 진행하고 있어 (현재는 좀 힘든듯해도) 다른 경제연구소에서는 쳐다도 보지 않는 통일에 대한 보고서가 저리 많다. 훌륭하다.

5. 어차피 이게 내 전공도 아니고 재미로 공부하면서 해보는 것이니 한번 끝까지 파보려고 한다.

6. 보고서 2만5천개라면 하나당 최소 3초만 잡아도 작업시간만 쉬지않고 약 21시간이 걸린다.

7. 그래서 일단 걸어놓기 위해 작업을 빠르게 시작했다.

> 경제파트 post 정보

1. 경제 게시판 페이지 정보

 - secondDepth 가 1이라는 것이 최신보고서 게시판과 다르다.

page_url = "http://hri.co.kr/board/reportList.asp"

numIdx:

skin:

mode:

GotoPage: 2

column:

keyword:

firstDepth:1

secondDepth:1

thirdDepth:

fourthDepth:

boardid: 1,2,8,38,125,126,127,128,129,5,132

sortby:

2. 경제 상세 페이지 정보

- 마찬가지로 url주소와 secondDepth만 다르다.

page_url = "http://hri.co.kr/board/reportView.asp"

numIdx: 25726

skin:

mode:

GotoPage: 4

column:

keyword:

firstDepth:1

secondDepth:1

thirdDepth:

fourthDepth:

boardid:1,2,8,38,125,126,127,128,129,5,132

sortby:

3. 정규표현식 수정

GotoPage = re.findall('\'/board/reportView.asp\',\'1\',\'1\',\'\',\'\',\'\',\'(.*?)\'',html)

- 이 외 나머지는 모두 동일하다. 자료수집 시작.

> 실행

1. 1506번을 기점으로 pdf 주소가 바뀌었다 ㅡ,ㅡ 이 부분에서 정규표현식 수정해서 다시 실행. ㅜ

 - 1553번은 또 정상적으로 들어왔다. 이것만 예외처리.

2. 1552번부터 파일명에 한글이 들어가기 시작했다. 또 에러.

 - urllib.parse.quote_plus(reportID) 를 이용해 reportID를 인코딩해 넘겨준다. 이것도 진짜 한참 찾았다.

3. 현재 경제 파트 보고서 크롤링 모두 완료. 총 4300개다.

게시판 번호와 많이 다른데 처음 페이지 크롤링할때 중복된 것들을 제거하고 가져오기 때문이다. (이런 것들이 매우 많더라)

4. 이제 1/4 끝냈다.