[Crawling] ip우회해 크롤링하기 ver. 펨코

dc, 펨코, 네이트판같은 커뮤니티사이트를 크롤링해야 할때가 있다. 하지만 대부분의 커뮤니티 사이트는 몇번만 글을 가져와도 ip가 차단된다. 이때 필요한 것이 ip우회다. 가장 좋고 쉬운 방법은 nord vpn 같은 유료 우회프로그램을 사용하는거지만 맥이나 리눅스 환경이라면 공짜인 tor를 사용하는 것도 대안이 될 수 있다. - 윈도우에서는 해본적이 없어 될지 안될지 모르겠는데 쉽진 않을 거 같다.

 

1. 먼저 tor를 설치한다. 한참동안 설치한다.

1. sudo apt install tor [리눅스]
2. brew install tor [맥]

2. 터미널에서 tor를 실행한다. 이제 tor는 9050포트를 이용해 통신한다.

 

3. 아래의 예는 ip를 우회해서 펨코(fmkorea.com)의 메인 페이지 글목록을 가져오는 코드다.

- 파이어폭스 브라우저를 이용했다.

- 처음 접속 후 10초를 쉬는 이유는 펨코의 경우 첫 접속시 redirect를 하기 때문이다. 이건 사이트마다 다르기 때문에 그에 맞게 수정이 필요하다.

import re, time
from selenium import webdriver
from bs4 import BeautifulSoup

HOME = 'https://fmkorea.com'
profile = webdriver.FirefoxProfile()
profile.set_preference("network.proxy.type", 1)
profile.set_preference("network.proxy.socks", "127.0.0.1")
profile.set_preference("network.proxy.socks_port", 9050)
profile.update_preferences()

driver = webdriver.Firefox(profile)
driver.get(HOME)
time.sleep(10)
driver.get('https://www.fmkorea.com/index.php?mid=best&page=1')
html = driver.page_source # 페이지 소스코드 가져오기
soup = BeautifulSoup(html, 'html.parser')

articles = soup.select(".li_best2_pop0 ")
for articles in articles:
    voted_count = articles.select('.count')[0].text.strip() # 추천수
    title = articles.select('.hotdeal_var8')[0]
    comment_count = title.find('span').text[1:].replace(']','') # 댓글수
    title.find('span').decompose()# 자식 태그인 span태그를 파괴한다
    
    href = HOME + title['href']
    title = title.text.strip() # 제목
    title = re.sub(r"[^\uAC00-\uD7A30-9a-zA-Z\s]", "_", title) # 특수문자 _로 변경
    category = articles.select('.category > a:nth-child(1)')[0].text.strip() # 카테고리
    author = articles.select('.author')[0].text[2:].strip() # 글쓴이. 앞에  쓰레기 문자 제거후 가져옴
    date = articles.select('.regdate')[0].text.strip() # 날짜
    
    output_obj = { "title": title, "href": href,"voted_count": voted_count, "comment_count": comment_count, "category": category, "author": author, "date": date }
    
    print(output_obj)
    
driver.quit()

 

4. 실행해본다. 잘된다.

 

5. 결론

- 해당 커뮤니티의 robot.txt를 살핀 후 그에 맞게 데이터를 취합해야 한다.

- 해당 커뮤니티의 서버에 부하가 가지않도록 충분히 sleep을 주며 데이터를 가져와야 한다. tor에서 제공하는 ip에도 한계가 있으므로 우회하더라도 ip차단을 당할 수 있다.

- 주요 커뮤니티 사이트들은 보안이 강력해 크롤링이 쉽지 않다. 구조가 자주 바뀌기 때문에 위 코드가 갑자기 작동 안될수도 있다. 법적인 문제가 생길수도 있다. 그러니 딱 필요한 만큼만 천천히 취합해야 한다.