Wookang makes AI

dc, 펨코, 네이트판같은 커뮤니티사이트를 크롤링해야 할때가 있다. 하지만 대부분의 커뮤니티 사이트는 몇번만 글을 가져와도 ip가 차단된다. 이때 필요한 것이 ip우회다. 가장 좋고 쉬운 방법은 nord vpn 같은 유료 우회프로그램을 사용하는거지만 맥이나 리눅스 환경이라면 공짜인 tor를 사용하는 것도 대안이 될 수 있다. - 윈도우에서는 해본적이 없어 될지 안될지 모르겠는데 쉽진 않을 거 같다.

1. 먼저 tor를 설치한다. 한참동안 설치한다.

1. sudo apt install tor [리눅스]
2. brew install tor [맥]

2. 터미널에서 tor를 실행한다. 이제 tor는 9050포트를 이용해 통신한다.

3. 아래의 예는 ip를 우회해서 펨코(fmkorea.com)의 메인 페이지 글목록을 가져오는 코드다.

- 파이어폭스 브라우저를 이용했다.

- 처음 접속 후 10초를 쉬는 이유는 펨코의 경우 첫 접속시 redirect를 하기 때문이다. 이건 사이트마다 다르기 때문에 그에 맞게 수정이 필요하다.

import re, time
from selenium import webdriver
from bs4 import BeautifulSoup

HOME = 'https://fmkorea.com'
profile = webdriver.FirefoxProfile()
profile.set_preference("network.proxy.type", 1)
profile.set_preference("network.proxy.socks", "127.0.0.1")
profile.set_preference("network.proxy.socks_port", 9050)
profile.update_preferences()

driver = webdriver.Firefox(profile)
driver.get(HOME)
time.sleep(10)
driver.get('https://www.fmkorea.com/index.php?mid=best&page=1')
html = driver.page_source # 페이지 소스코드 가져오기
soup = BeautifulSoup(html, 'html.parser')

articles = soup.select(".li_best2_pop0 ")
for articles in articles:
    voted_count = articles.select('.count')[0].text.strip() # 추천수
    title = articles.select('.hotdeal_var8')[0]
    comment_count = title.find('span').text[1:].replace(']','') # 댓글수
    title.find('span').decompose()# 자식 태그인 span태그를 파괴한다
    
    href = HOME + title['href']
    title = title.text.strip() # 제목
    title = re.sub(r"[^\uAC00-\uD7A30-9a-zA-Z\s]", "_", title) # 특수문자 _로 변경
    category = articles.select('.category > a:nth-child(1)')[0].text.strip() # 카테고리
    author = articles.select('.author')[0].text[2:].strip() # 글쓴이. 앞에  쓰레기 문자 제거후 가져옴
    date = articles.select('.regdate')[0].text.strip() # 날짜
    
    output_obj = { "title": title, "href": href,"voted_count": voted_count, "comment_count": comment_count, "category": category, "author": author, "date": date }
    
    print(output_obj)
    
driver.quit()

4. 실행해본다. 잘된다.

5. 결론

- 해당 커뮤니티의 robot.txt를 살핀 후 그에 맞게 데이터를 취합해야 한다.

- 해당 커뮤니티의 서버에 부하가 가지않도록 충분히 sleep을 주며 데이터를 가져와야 한다. tor에서 제공하는 ip에도 한계가 있으므로 우회하더라도 ip차단을 당할 수 있다.

- 주요 커뮤니티 사이트들은 보안이 강력해 크롤링이 쉽지 않다. 구조가 자주 바뀌기 때문에 위 코드가 갑자기 작동 안될수도 있다. 법적인 문제가 생길수도 있다. 그러니 딱 필요한 만큼만 천천히 취합해야 한다.

* 브라우저를 띄우지 않고 메모리에만 selenium을 띄워 크롤링하기

1. 기존 코드( https://blog.himion.com/176 )와 거의 유사하다.
2. headlessDriver() 함수가 추가되었다

'''
* 구글 이미지 가져오기 ver. Headless
'''

import os
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import undetected_chromedriver as uc

import urllib
import time, datetime

ITEM_LIST = [ "Keith Thompson", "Zdzislaw Beksinski", "dariusz zawadzki"] # 1번
FOLDER = 'google' # 2번
IMG_XPATH = '//*[@id="Sva75c"]/div[2]/div/div[2]/div[2]/div[2]/c-wiz/div/div/div/div[3]/div[1]/a/img[1]' # 3번
SIGNINURL = 'https://accounts.google.com/signin/v2/identifier?hl=ko&passive=true&continue=https%3A%2F%2Fwww.google.com%2F&ec=GAZAmgQ&flowName=GlifWebSignIn&flowEntry=ServiceLogin'
ID = 'xxxx@gmail.com' # 4번
PASSWORD = 'xxxx' # 5번

def main():
  start = check_start() # 시간 측정 시작
  driver = headlessDriver()# headless를 적용하고 싶을때
  driver.get(SIGNINURL)
  googleSignIn(driver)# 구글로그인하고
  
  for searchItem in ITEM_LIST:
    saveDir = makeFolder(searchItem)
    
    url = makeUrl(searchItem)# 검색할 url 가져와서
    driver.get(url)# 이미지 검색으로 가서
    maximizeWindow(driver)# 창최대화
    scrollToEnd(driver)

    forbiddenCount = saveImgs(driver, saveDir, start)# 모든 상세 이미지 src들을 가져온다
    sec = check_time(start)
    print(f'실패수{str(forbiddenCount)}, {sec}, {datetime.datetime.now().time()}')
  time.sleep(10)
  driver.quit() 
  
def headlessDriver():
  options = uc.ChromeOptions()
  options.headless=True
  options.add_argument('--headless=new')
  driver = uc.Chrome(options=options)
  return driver

# 구글 로그인
def googleSignIn(driver):
  idBtn = driver.find_element(By.XPATH,'//*[@id="identifierId"]')# id 입력칸
  idBtn.send_keys(ID)
  nextBtn = driver.find_element(By.XPATH,'//*[@id="identifierNext"]/div/button')
  nextBtn.click()# 다음 버튼 클릭

  # 아래 코드는 비밀번호 요소가 화면에 나타날때가지 10초간 기다리는 코드이나
  # 비번의 경우 not interactive elem라서 에러가 뜬다. 하지만 돌아가는 코드이니 기다림이 필요할때 쓰자.
  try:
    passwordBtn = WebDriverWait(driver, timeout=10).until(EC.presence_of_element_located( (By.XPATH,'//*[@id="password"]/div[1]/div/div[1]/input') ))
    time.sleep(4)
    passwordBtn = driver.find_element(By.XPATH,'//*[@id="password"]/div[1]/div/div[1]/input')# 비밀번호 입력칸
    passwordBtn.send_keys(PASSWORD)
    passwordNextBtn = driver.find_element(By.XPATH,'//*[@id="passwordNext"]/div/button')
    passwordNextBtn.click()# 비밀번호 다음 버튼
    print('구글 로그인 성공')
    # driver.implicitly_wait(10)
  except OSError as e:
    print(e)
    
  time.sleep(20)# 휴대폰 본인 인증등의 시간이 충분히 필요하다


# 구글 이미지 검색 url 만들기
def makeUrl(searchItem):
  url = 'https://www.google.com/search'
  params ={# q와 tbm이 필수
    'q'     : searchItem,
    'tbm'   : 'isch',
  }
  url = url + '?' + urllib.parse.urlencode(params)
  return url


# 폴더 생성
def makeFolder(searchItem):
  saveDir = os.path.join(os.getcwd(), 'data', f'{FOLDER}_{searchItem}')
  try:
    if not(os.path.isdir(saveDir)): # 해당 폴더가 없다면
      os.makedirs(os.path.join(saveDir)) # 만들어라
    return saveDir
  except OSError as e:
    print(e+'폴더 생성 실패')

# 창 최대화
def maximizeWindow(driver):
  driver.maximize_window()

# 모든 이미지 목록을 가져오기 위해 무한 스크롤 다운
def scrollToEnd(driver):
  prev_height = driver.execute_script('return document.body.scrollHeight')
  print(f'prev_height: {prev_height}')
  
  while True:
    time.sleep(1) #네이버는 sleep없이 이동할 경우 무한로딩에 걸린다.
    driver.execute_script('window.scrollTo(0, document.body.scrollHeight)')
    time.sleep(3)
    
    cur_height = driver.execute_script('return document.body.scrollHeight')
    print(f'cur_height: {cur_height}')
    if cur_height == prev_height:
      print('높이가 같아짐')
      break
    prev_height = cur_height
  # 페이지를 모두 로딩한 후에는 최상단으로 다시 올라가기
  driver.execute_script('window.scrollTo(0, 0)')

# 모든 이미지들을 저장한다
def saveImgs(driver, saveDir, start):
  time.sleep(1)
  forbiddenCount = 0
  imgs = driver.find_elements(By.CSS_SELECTOR, '.rg_i.Q4LuWd')
  img_count = len(imgs)
  print(f'전체 이미지수 : {img_count}')
  # 하나씩 클릭해가며 저장
  for imgNum, img in enumerate(imgs): # imgNum에 이미지번호가 0부터 들어간다
    try:
      img.click()
      time.sleep(3)
      
      # 아래의 xPath는 자주 바뀌는 것 같다. 나머지는 고정인거 같으니 이것만 가끔 확인해주자
      bigImg = driver.find_element(By.XPATH, IMG_XPATH)
      src = bigImg.get_attribute('src')
      urllib.request.urlretrieve(src, saveDir + '/' + str(imgNum) + '.jpg')
      sec = check_time(start)
      print(f'{imgNum+1}/{img_count} saved {sec}')

    except Exception as e:
      print(e)
      forbiddenCount += 1# 저장 실패한 개수. forbidden이나 파일에러도 꽤 많다
      continue
  return forbiddenCount


# 시간 측정
def check_start():
    start_time = time.time()
    print("Start! now.." + str(start_time))
    return start_time
def check_time(start):
    end = time.time()
    during = end - start
    sec = str(datetime.timedelta(seconds=during)).split('.')[0]
    return sec
main()

* 로그인을 하고 크롤링을 하는 이유

1. 구글의 경우 로그인하고 나오는 이미지와 로그인을 하지 않고 나오는 이미지 목록이 다를때가 많다.
2. 성인인증이 필요한 이미지들은 로그인을 해야만 가져올수 있다.

* 사용법

1. 정상적으로 크롤링되는지 확인완료 [23.06.20]
2. 모듈 설치 - pip install undetected_chromedriver selenium
3. 주석 1번에 이미지를 원하는 검색어 목록 입력
4. 주석 2번에 폴더이름 입력. 이미지는 data\google\ 아래 저장됨
5. 주석 3번에 상세이미지의 xPath 입력. 구글의 경우 자주 바뀌는 것 같다.
6. 주석 4번에 구글 ID입력
7. 주석 5번에 구글 비밀번호 입력. 이후 추가로 스마트폰 인증화면이 뜰 경우에 대비해 20초간 기다린다.

'''
* 구글 이미지 가져오기 (23.06.20)
'''

import os
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import undetected_chromedriver as uc

import urllib
import time, datetime

ITEM_LIST = [ "Keith Thompson", "Zdzislaw Beksinski", "dariusz zawadzki"] # 1번
FOLDER = 'google' # 2번
IMG_XPATH = '//*[@id="Sva75c"]/div[2]/div/div[2]/div[2]/div[2]/c-wiz/div/div/div/div[3]/div[1]/a/img[1]' # 3번
SIGNINURL = 'https://accounts.google.com/signin/v2/identifier?hl=ko&passive=true&continue=https%3A%2F%2Fwww.google.com%2F&ec=GAZAmgQ&flowName=GlifWebSignIn&flowEntry=ServiceLogin'
ID = 'xxxx@gmail.com' # 4번
PASSWORD = 'xxxx' # 5번

def main():
  start = check_start() # 시간 측정 시작
  driver = uc.Chrome()# 구글로그인을 위한 모듈을 켜고
  driver.get(SIGNINURL)
  googleSignIn(driver)# 구글로그인하고
  
  for searchItem in ITEM_LIST:
    saveDir = makeFolder(searchItem)
    
    url = makeUrl(searchItem)# 검색할 url 가져와서
    driver.get(url)# 이미지 검색으로 가서
    maximizeWindow(driver)# 창최대화
    scrollToEnd(driver)

    forbiddenCount = saveImgs(driver, saveDir, start)# 모든 상세 이미지 src들을 가져온다
    sec = check_time(start)
    print(f'실패수{str(forbiddenCount)}, {sec}, {datetime.datetime.now().time()}')
  time.sleep(10)
  driver.quit() 
  
# 구글 로그인
def googleSignIn(driver):
  idBtn = driver.find_element(By.XPATH,'//*[@id="identifierId"]')# id 입력칸
  idBtn.send_keys(ID)
  nextBtn = driver.find_element(By.XPATH,'//*[@id="identifierNext"]/div/button')
  nextBtn.click()# 다음 버튼 클릭

  # 아래 코드는 비밀번호 요소가 화면에 나타날때가지 10초간 기다리는 코드이나
  # 비번의 경우 not interactive elem라서 에러가 뜬다. 하지만 돌아가는 코드이니 기다림이 필요할때 쓰자.
  try:
    passwordBtn = WebDriverWait(driver, timeout=10).until(EC.presence_of_element_located( (By.XPATH,'//*[@id="password"]/div[1]/div/div[1]/input') ))
    time.sleep(4)
    passwordBtn = driver.find_element(By.XPATH,'//*[@id="password"]/div[1]/div/div[1]/input')# 비밀번호 입력칸
    passwordBtn.send_keys(PASSWORD)
    passwordNextBtn = driver.find_element(By.XPATH,'//*[@id="passwordNext"]/div/button')
    passwordNextBtn.click()# 비밀번호 다음 버튼
    print('구글 로그인 성공')
    # driver.implicitly_wait(10)
  except OSError as e:
    print(e)
    
  time.sleep(20)# 휴대폰 본인 인증등의 시간이 충분히 필요하다


# 구글 이미지 검색 url 만들기
def makeUrl(searchItem):
  url = 'https://www.google.com/search'
  params ={# q와 tbm이 필수
    'q'     : searchItem,
    'tbm'   : 'isch',
  }
  url = url + '?' + urllib.parse.urlencode(params)
  return url


# 폴더 생성
def makeFolder(searchItem):
  saveDir = os.path.join(os.getcwd(), 'data', f'{FOLDER}_{searchItem}')
  try:
    if not(os.path.isdir(saveDir)): # 해당 폴더가 없다면
      os.makedirs(os.path.join(saveDir)) # 만들어라
    return saveDir
  except OSError as e:
    print(e+'폴더 생성 실패')

# 창 최대화
def maximizeWindow(driver):
  driver.maximize_window()

# 모든 이미지 목록을 가져오기 위해 무한 스크롤 다운
def scrollToEnd(driver):
  prev_height = driver.execute_script('return document.body.scrollHeight')
  print(f'prev_height: {prev_height}')
  
  while True:
    time.sleep(1) #네이버는 sleep없이 이동할 경우 무한로딩에 걸린다.
    driver.execute_script('window.scrollTo(0, document.body.scrollHeight)')
    time.sleep(3)
    
    cur_height = driver.execute_script('return document.body.scrollHeight')
    print(f'cur_height: {cur_height}')
    if cur_height == prev_height:
      print('높이가 같아짐')
      break
    prev_height = cur_height
  # 페이지를 모두 로딩한 후에는 최상단으로 다시 올라가기
  driver.execute_script('window.scrollTo(0, 0)')

# 모든 이미지들을 저장한다
def saveImgs(driver, saveDir, start):
  time.sleep(1)
  forbiddenCount = 0
  imgs = driver.find_elements(By.CSS_SELECTOR, '.rg_i.Q4LuWd')
  img_count = len(imgs)
  print(f'전체 이미지수 : {img_count}')
  # 하나씩 클릭해가며 저장
  for imgNum, img in enumerate(imgs): # imgNum에 이미지번호가 0부터 들어간다
    try:
      img.click()
      time.sleep(3)
      
      # 아래의 xPath는 자주 바뀌는 것 같다. 나머지는 고정인거 같으니 이것만 가끔 확인해주자
      bigImg = driver.find_element(By.XPATH, IMG_XPATH)
      src = bigImg.get_attribute('src')
      urllib.request.urlretrieve(src, saveDir + '/' + str(imgNum) + '.jpg')
      sec = check_time(start)
      print(f'{imgNum+1}/{img_count} saved {sec}')

    except Exception as e:
      print(e)
      forbiddenCount += 1# 저장 실패한 개수. forbidden이나 파일에러도 꽤 많다
      continue
  return forbiddenCount


# 시간 측정
def check_start():
    start_time = time.time()
    print("Start! now.." + str(start_time))
    return start_time
def check_time(start):
    end = time.time()
    during = end - start
    sec = str(datetime.timedelta(seconds=during)).split('.')[0]
    return sec
main()

* 상세 이미지의 xPath 알아내는 방법

- 크롬의 이미지 클릭 후 뜨는 상세이미지 화면에서 해당 elements의 xPath를 아래와 같이 복사함

다음에는 headless 크롤링에 대해 정리하겠다

- headless 크롤링은 화면에 브라우저 창을 띄우지 않고 메모리에서만 작동하는 방식이다.

네이버 이미지 크롤링하기

동기

1. 좋은 로라를 만들기 위해서는 이미지 파일들이 많을수록 좋다.
2. 경험상 이미지 퀄러티는 구글보다 네이버가 더 좋았다 - 물론 구글 이미지 크롤링 코드도 공유할 예정
3. 네이버는 구글에 비해 크롤링에 관대하다. 그래서 코드가 간결해진다 - 구글은 undetected_chromedriver 등을 사용해야한다.

사용법

1. 2023년 6월 19일 현재 아래 코드는 잘 돌아간다. 사용하기 쉽게 주석을 많이 달아놓았다.
2. 셀리니움이나 urllib등의 모듈 설치가 우선이다.

pip install selenium

3. 실행 후 크롬창이 뜨고 창이 최대화 된다. 
4. 자동으로 스크롤되며 이미지 목록을 가져온다. 이때는 창을 내리지말고 스크롤이 끝까지 내려가 더 이상 가져올 이미지가 없을때까지 기다려주자. 이미지 목록을 다 가져온 후 자동으로 스크롤이 맨위로 올라간다. 이 다음부터는 창을 내려도 된다. 
5. 가져오길 원하는 이미지 이름을 아래 코드의 item_list 안에 넣는다. 주석 #1번
6. 폴더 이름을 주석#2번에 넣는다. 아래 코드처럼 naver로 할 경우 이미지는 data\naver\ 안에 저장된다. 해당 폴더를 미리 만들어 놓지 않아도 알아서 만들고 저장한다.
7. 상세 이미지의 xpath를 넣는다. 주석#3번. 크롤링을 해보니 xpath가 아~주 가끔 바뀔때가 있다. 아마 그대로  놔둬도 큰 문제없을 것이다.

최신 클래스와 xPath로 재설정 함 - 24.07.26

'''
* 네이버 이미지 가져오기 (24.07.26)
'''

import os
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
import urllib
import time, datetime

item_list = [ "도다리"] # 1번
FOLDER = 'naver' # 2번
IMG_XPATH = '/html/body/div[4]/div/div/div[1]/div[2]/div[1]/img'

def main():
    start = check_start() # 시간 측정 시작
    driver = webdriver.Chrome()
    
    for searchItem in item_list:
        saveDir = makeFolder(searchItem)
        
        url = makeUrl(searchItem)# 검색할 url 가져와서
        driver.get(url)# 이미지 검색으로 가서
        maximizeWindow(driver)# 창최대화
        scrollToEnd(driver)

        forbiddenCount = saveImgs(driver, saveDir, start)# 모든 상세 이미지 src들을 가져온다
        sec = check_time(start)
        print(f'실패수{str(forbiddenCount)}, {sec}, {datetime.datetime.now().time()}')
    time.sleep(10)
    driver.quit() 

# 이미지 검색 url 만들기
def makeUrl(searchItem):
    url = 'https://search.naver.com/search.naver'
    params ={
        'where' : 'image',
        'sm'    : 'tab_jum',
        'query' : searchItem
    }
    url = url + '?' + urllib.parse.urlencode(params)
    return url

# 폴더 생성
def makeFolder(searchItem):
    saveDir = os.path.join(os.getcwd(), 'data', f'{FOLDER}_{searchItem}')
    try:
        if not(os.path.isdir(saveDir)): # 해당 폴더가 없다면
            os.makedirs(os.path.join(saveDir)) # 만들어라
        return saveDir
    except OSError as e:
        print(e+'폴더 생성 실패')

# 창 최대화
def maximizeWindow(driver):
    driver.maximize_window()

# 모든 이미지 목록을 가져오기 위해 무한 스크롤 다운
def scrollToEnd(driver):
    prev_height = driver.execute_script('return document.body.scrollHeight')
    print(f'prev_height: {prev_height}')
    
    while True:
        time.sleep(1) #네이버는 sleep없이 이동할 경우 무한로딩에 걸린다.
        driver.execute_script('window.scrollTo(0, document.body.scrollHeight)')
        time.sleep(3)
        
        cur_height = driver.execute_script('return document.body.scrollHeight')
        print(f'cur_height: {cur_height}')
        if cur_height == prev_height:
            print('높이가 같아짐')
            break
        prev_height = cur_height
    
    # 페이지를 모두 로딩한 후에는 최상단으로 다시 올라가기
    driver.execute_script('window.scrollTo(0, 0)')

# 모든 이미지들을 저장한다
def saveImgs(driver, saveDir, start):
    time.sleep(1)
    forbiddenCount = 0
    imgs = driver.find_elements(By.CSS_SELECTOR, '._fe_image_tab_content_thumbnail_image')
    
    print('imgs')
    print(imgs)
    srcList = []
    img_count = len(imgs)
    print(f'전체 이미지수 : {img_count}')
    # 하나씩 클릭해가며 저장
    for imgNum, img in enumerate(imgs): # imgNum에 이미지번호가 0부터 들어간다
        try:
            img.click()
            time.sleep(3)
            
            # 아래의 xPath는 자주 바뀌는 것 같다. 나머지는 고정인거 같으니 이것만 가끔 확인해주자
            bigImg = driver.find_element(By.XPATH, IMG_XPATH)
            src = bigImg.get_attribute('src')
            urllib.request.urlretrieve(src, saveDir + '/' + str(imgNum) + '.jpg')
            sec = check_time(start)
            print(f'{imgNum+1}/{img_count} saved {sec}')

        except Exception as e:
            print(e)
            forbiddenCount += 1# 저장 실패한 개수. forbidden이나 파일에러도 꽤 많다
            continue
    return forbiddenCount


# 시간 측정
def check_start():
    start_time = time.time()
    print("Start! now.." + str(start_time))
    return start_time
def check_time(start):
    end = time.time()
    during = end - start
    sec = str(datetime.timedelta(seconds=during)).split('.')[0]
    return sec
main()

이제 코드를 실행해보자. 잘 실행될 것이다.

일반적으로 네이버는 최대 500개의 이미지를 가져온다.

ai 에게 먹일 데이터를 요리중이다.

가지고 있는 epub들이 조금 있는데 이대로는 먹일 수 없으니 모두 text로 바꿔놔야한다.

그런데 생각보다 자료가 없었다.

특히 한글들이 모두 깨져나왔다.

calibre를 추천하기에 설치후 convert 해봤더니 출력 폴더를 선택할 수 없어 이것도 마찬가지로 꽤나 귀찮은 작업이었다 - 하지만 파이썬으로 끝내 실패한다면 이렇게라도 작업한 후 txt파일들을 모두 찾아 한번에 모으는 코드를 만들 작정이었다.. 지만 파이썬으로 해결했다.

먼저 EbookLib를 설치한다

1. pip install EbookLib
https://pypi.org/project/EbookLib/

- doc 도 살펴보자. 근데 좀 부족하다

https://docs.sourcefabric.org/projects/ebooklib/en/latest/tutorial.html#introduction

2. This is codes

import ebooklib
from ebooklib import epub
from bs4 import BeautifulSoup

book = epub.read_epub('./tear.epub')
result = book.get_metadata('DC', 'language') # 어떤 언어로 되어 있는지 확인할 수 있다

for idx, doc in enumerate(book.get_items_of_type(ebooklib.ITEM_DOCUMENT)):
    book = doc.content
    soup = BeautifulSoup(book, 'html.parser')
    soup = soup.select('p')
    for pTag in soup:
        print(pTag.text)

3. 알맞은 옵션을 찾는데 고생을 좀 했다.

- 한글 문제의 경우 stackoverflow는 큰 도움이 되지 않는다. 그리고 한글 문제도 아니었다.

- idx를 사용하기 위해 enumerate를 썼지만 이 경우 범용성이 떨어져 그냥 doc만 사용한다. 책의 특정 정보만 뽑아서 처리하고 싶다면 쓰는 것도 좋겠다.

4. 책 제목은 book.get_metadata('DC', 'title') 이렇게 가져올 수 있다.

- 이걸로 파일명을 만들어 폴더 하나에 저장하면 모든 epub파일을 한번에 txt로 만들수 있겠다.

● 기상청 지진정보 크롤링

> 들어가는 말

1. 최근 시각화 스터디를 시작했다.

2. 그냥 R&D 하는 건 재미없고 무언가 의미있는 걸 만들어 보고 싶었다.

3. 그런데 이번 포항 지진을 보며 궁금한 것이 있었다.

4. '만약 포항에 지진 강도 7이 발생했다면 서울에서 얼마의 강도가 전해질까?' 였다.

5. 이걸 시각화해보기로 결정했다.

> 정보 제공 사이트

1. 기상청 

- 아쉬운 건 깊이 정보가 2017년 7월 5일부터 제공된다는 거다.

- 메일로 문의해보니 이전 데이터는 제공해줄 수 없단다. 역시 이유는 없다. 역시 최고의 직업은 공무원이다. 

- http://www.kma.go.kr/weather/earthquake_volcano/domesticlist.jsp

2. 지진연구센터 - 최근에 모든 데이터들이 삭제 되었다. 무슨 연유인지는 모르겠다. 그래서 무쓸모.

> 사이트 분석

1. 1978년부터 지진 정보가 제공된다. 이건 참 좋다.

2. 한번에 999개 밖에 검색이 안된다. 그래서 2012년을 기준으로 나눠서 이전, 이후로 따로 쿼리를 날려야 한다.

3. 굉장히 쉬운 크롤링이다. 다만 인코딩이 euc-kr이라는 칠득이로 되어 있어 node에서 그냥 가져오면 깨진다.

4. 다행히 iconv 모듈을 사용해 utf8로 바꿀 수 있었다.

5. for문과 request 모듈은 전혀 어울리지 않는다. 비동기 문제다.

6. 4번과 5번의 문제가 함께 꼬여 약간의 고생을 했다.

7. 오랜만에 코딩을 했더니 버벅거린것도 있다.

8. 어쨌든 끝냈다. 대충 만들었더니 저렇다. 총 1663개의 지진 데이터를 가져왔다. sleep()을 안하고 그냥 가져왔더니 1분 정도 밖에 안걸렸다. 미안, 기상청.

9. 이제 이 위도, 경도 정보를 일단 지도 위에 표시해보려한다. 가장 큰 고민은 구글을 쓸지, 다음이나 네이버 지도를 쓸지다. 지난 API경험으로 미루어 구글 지도가 우리나라 지도에 대해서는 많이 부실했기에 안쓸거 같다. 아마 다음 지도를 쓸거다. 그런데 다음이나 네이버 지도도 SVG지원이 잘되는지 모르겠다. 내일 몇가지 더 확인해 본 후 결정할 거다.

10. 단순하게 지도위에 지진을 표시하는 건 이미 많이 있다. 보면 아무 의미가 없다는 걸 금방 알수 있다. 

11. 난 '깊이'와 '규모'를 이용해 단순 점이 아닌 영역과 그라데이션을 만들어보려 한다. 또 타임랩스를 이용해 시간변화에 따른 지진 영역의 변화를 볼 수도 있겠다.

12. 오버일 수 있겠으나 지도 위에 특정 강도의 지진을 일으키게 만들어 해당 지진의 파급 영역을 보여줄 수도 있겠다.

13. 그 위에 5층, 10층짜리 가상의 건물을 만들고 해당 강도의 경우 건물의 붕괴정도를 보여줄 수도 있겠다.

14. 뭐 내가 지진에 대해 자세히 아는 것도 아니고 데이터에 p파, s파가 나와있는 것도 아니고 게다가 깊이도 없으니 '대~충' 러프하게 만들어 보겠다는 것이다.

15. 일단, 재밌을 것 같다. 결과가 무척 궁금하기도 하다. 

16. 이게 시각화의 매력이라고 생각한다.

17. 그나저나 SVG도 잘 모르는데 ㅋㅋㅋ 어떻게 만들지 이론 공부도 좀 해야한다.

18. 자자. 새벽 6시다. ㅜ