김대균 토익킹 크롤링

● 김대균 토익킹 청취자 강의록 크롤링

> 목표

일반 기사만 크롤링 하는 것 보다 텍스트 자체도 유용한 자료를 크롤링하고 싶어 김대균 토익킹 선택.

(http://home.ebs.co.kr/toeic/board/)

> 실행

1. 위와 같이 이*희님이 매일 열성적으로 정리해서 자료를 올려주신다. 감사하게 생각하고 이것을 크롤링하는 거다.

2. 먼저 크롤링이 필요한 페이지들을 하나의 파일로 크롤링하여 만든 후(데이터를 얻어올 때는 2초씩 쉬면서 가져온다. Block 당하는 것 조심)

3. 해당 페이지의 '인쇄' 주소를 구한다. 인쇄 페이지를 찾는 이유는 일반 페이지에 비해 인쇄 페이지가 잡것(html tags,광고)들이 정리되어 있어 텍스트만 가져오기 좋기 때문이다.

- get방식으로 되어있다면 좋겠으나 세상만사 내뜻대로 되지 않는다.

- EBS 김대균 토익킹 게시판은 post방식으로 되어 있었다.

그리고 post인자는 이름이 frm이라고 하는 form태그 안에 input 태그의 name 값으로 숨겨져 있다.

이것과 해당 주소를 비교하여 주소 중에 해당 post인자들을 찾아서 pstId와 bbsId를 추출하면 된다.

http://home.ebs.co.kr/toeic/board/23/10052166/view/10007124792?c.page=1&hmpMnuId=101&searchKeywordValue=0&bbsId=10052166&fileClsCd=ANY&searchKeyword=&searchCondition=&searchConditionValue=0& 에서 원하는 것만 잘라낸다.

다음 인자들을 json으로 묶고

payload = {'pstId': pstId, 'bbsId': bbsId, 'hmpId': 'toeic', 'boardType': '2' }

아래처럼 post방식으로 넘겨주면 된다.

response= requests.post("http://home.ebs.co.kr/toeic/board/23/10052166/popupPrnt",data = payload ) html = response.text return html

- 크롬의 확장 프로그램 postman을 이용하여 post 방식으로 테스트 해본다.

- 요청에 따라 페이지가 뜨면 맞는거다.

4. 일반적으로 작성일이나 title등은 정규분포식을 이용해 따로 찾아서 읽어와야 한다.

5. 원하는 것들만 긁어왔으면 최종적으로 beautifulSoup 라는 멋진 이름의 모듈로 html을 모두 제거하여 텍스트 파일로 만든다.

6. 끝.

> 반성

1. 어떻게 긁어와도 한번에 내가 원하는대로 아름답게 긁어지지 않는다.

2. 은근과 끈기, 집념으로 데이터를 정련해야 한다. 정규분포식은 필수다.

3. 파이썬의 한글 인코딩은 언제나 골치아프다. 3.0버전부터 기본 인코딩이 유니코드로 바뀌었다고 한다. 뭐 어쨌든 복잡하다. 웹에 돌아다니는 2.x 버전의 노하우들은 먹히지 않는다. 덕분에 고생하며 나만의 처리 방식들을 여러개 알아냈다.

그 중 웹에서 많이 쓰이는 utf-8 방식으로 읽어올 때 아무리해도 cp949 에러가 뜨며 가져올 수 없는 경우가 있다. (조선일보가 그렇다)

이때는 아래의 코드처럼 바이너리로 가져와 euc-kr로 디코딩하여 텍스트 파일로 만들 수가 있다.

#!/usr/bin/env python3 # -*- coding: utf-8 -*- import requests import urllib.request page_url = "http://news.chosun.com/site/data/html_dir/2016/05/19/2016051903048.html" response = urllib.request.urlopen(page_url) response = response.read() response = response.decode('euc-kr') f = open('chosun_test.txt', "w", encoding="euc-kr") print(response) f.write(response) f.close()

4. 내가 처음부터 끝까지 크롤링 코드를 만든게 아니어서 공개하지 못함이 아쉽다. 

5. 여러 사이트들을 크롤링하며 제법 노하우가 쌓였다. 이제 웹상에 있는 어떤 정보든 긁어올 수 있다는 자신이(?) 생겼다.

6. 끝.