Wookang makes AI

dc, 펨코, 네이트판같은 커뮤니티사이트를 크롤링해야 할때가 있다. 하지만 대부분의 커뮤니티 사이트는 몇번만 글을 가져와도 ip가 차단된다. 이때 필요한 것이 ip우회다. 가장 좋고 쉬운 방법은 nord vpn 같은 유료 우회프로그램을 사용하는거지만 맥이나 리눅스 환경이라면 공짜인 tor를 사용하는 것도 대안이 될 수 있다. - 윈도우에서는 해본적이 없어 될지 안될지 모르겠는데 쉽진 않을 거 같다.

1. 먼저 tor를 설치한다. 한참동안 설치한다.

1. sudo apt install tor [리눅스]
2. brew install tor [맥]

2. 터미널에서 tor를 실행한다. 이제 tor는 9050포트를 이용해 통신한다.

3. 아래의 예는 ip를 우회해서 펨코(fmkorea.com)의 메인 페이지 글목록을 가져오는 코드다.

- 파이어폭스 브라우저를 이용했다.

- 처음 접속 후 10초를 쉬는 이유는 펨코의 경우 첫 접속시 redirect를 하기 때문이다. 이건 사이트마다 다르기 때문에 그에 맞게 수정이 필요하다.

import re, time
from selenium import webdriver
from bs4 import BeautifulSoup

HOME = 'https://fmkorea.com'
profile = webdriver.FirefoxProfile()
profile.set_preference("network.proxy.type", 1)
profile.set_preference("network.proxy.socks", "127.0.0.1")
profile.set_preference("network.proxy.socks_port", 9050)
profile.update_preferences()

driver = webdriver.Firefox(profile)
driver.get(HOME)
time.sleep(10)
driver.get('https://www.fmkorea.com/index.php?mid=best&page=1')
html = driver.page_source # 페이지 소스코드 가져오기
soup = BeautifulSoup(html, 'html.parser')

articles = soup.select(".li_best2_pop0 ")
for articles in articles:
    voted_count = articles.select('.count')[0].text.strip() # 추천수
    title = articles.select('.hotdeal_var8')[0]
    comment_count = title.find('span').text[1:].replace(']','') # 댓글수
    title.find('span').decompose()# 자식 태그인 span태그를 파괴한다
    
    href = HOME + title['href']
    title = title.text.strip() # 제목
    title = re.sub(r"[^\uAC00-\uD7A30-9a-zA-Z\s]", "_", title) # 특수문자 _로 변경
    category = articles.select('.category > a:nth-child(1)')[0].text.strip() # 카테고리
    author = articles.select('.author')[0].text[2:].strip() # 글쓴이. 앞에  쓰레기 문자 제거후 가져옴
    date = articles.select('.regdate')[0].text.strip() # 날짜
    
    output_obj = { "title": title, "href": href,"voted_count": voted_count, "comment_count": comment_count, "category": category, "author": author, "date": date }
    
    print(output_obj)
    
driver.quit()

4. 실행해본다. 잘된다.

5. 결론

- 해당 커뮤니티의 robot.txt를 살핀 후 그에 맞게 데이터를 취합해야 한다.

- 해당 커뮤니티의 서버에 부하가 가지않도록 충분히 sleep을 주며 데이터를 가져와야 한다. tor에서 제공하는 ip에도 한계가 있으므로 우회하더라도 ip차단을 당할 수 있다.

- 주요 커뮤니티 사이트들은 보안이 강력해 크롤링이 쉽지 않다. 구조가 자주 바뀌기 때문에 위 코드가 갑자기 작동 안될수도 있다. 법적인 문제가 생길수도 있다. 그러니 딱 필요한 만큼만 천천히 취합해야 한다.

* 브라우저를 띄우지 않고 메모리에만 selenium을 띄워 크롤링하기

1. 기존 코드( https://blog.himion.com/176 )와 거의 유사하다.
2. headlessDriver() 함수가 추가되었다

'''
* 구글 이미지 가져오기 ver. Headless
'''

import os
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import undetected_chromedriver as uc

import urllib
import time, datetime

ITEM_LIST = [ "Keith Thompson", "Zdzislaw Beksinski", "dariusz zawadzki"] # 1번
FOLDER = 'google' # 2번
IMG_XPATH = '//*[@id="Sva75c"]/div[2]/div/div[2]/div[2]/div[2]/c-wiz/div/div/div/div[3]/div[1]/a/img[1]' # 3번
SIGNINURL = 'https://accounts.google.com/signin/v2/identifier?hl=ko&passive=true&continue=https%3A%2F%2Fwww.google.com%2F&ec=GAZAmgQ&flowName=GlifWebSignIn&flowEntry=ServiceLogin'
ID = 'xxxx@gmail.com' # 4번
PASSWORD = 'xxxx' # 5번

def main():
  start = check_start() # 시간 측정 시작
  driver = headlessDriver()# headless를 적용하고 싶을때
  driver.get(SIGNINURL)
  googleSignIn(driver)# 구글로그인하고
  
  for searchItem in ITEM_LIST:
    saveDir = makeFolder(searchItem)
    
    url = makeUrl(searchItem)# 검색할 url 가져와서
    driver.get(url)# 이미지 검색으로 가서
    maximizeWindow(driver)# 창최대화
    scrollToEnd(driver)

    forbiddenCount = saveImgs(driver, saveDir, start)# 모든 상세 이미지 src들을 가져온다
    sec = check_time(start)
    print(f'실패수{str(forbiddenCount)}, {sec}, {datetime.datetime.now().time()}')
  time.sleep(10)
  driver.quit() 
  
def headlessDriver():
  options = uc.ChromeOptions()
  options.headless=True
  options.add_argument('--headless=new')
  driver = uc.Chrome(options=options)
  return driver

# 구글 로그인
def googleSignIn(driver):
  idBtn = driver.find_element(By.XPATH,'//*[@id="identifierId"]')# id 입력칸
  idBtn.send_keys(ID)
  nextBtn = driver.find_element(By.XPATH,'//*[@id="identifierNext"]/div/button')
  nextBtn.click()# 다음 버튼 클릭

  # 아래 코드는 비밀번호 요소가 화면에 나타날때가지 10초간 기다리는 코드이나
  # 비번의 경우 not interactive elem라서 에러가 뜬다. 하지만 돌아가는 코드이니 기다림이 필요할때 쓰자.
  try:
    passwordBtn = WebDriverWait(driver, timeout=10).until(EC.presence_of_element_located( (By.XPATH,'//*[@id="password"]/div[1]/div/div[1]/input') ))
    time.sleep(4)
    passwordBtn = driver.find_element(By.XPATH,'//*[@id="password"]/div[1]/div/div[1]/input')# 비밀번호 입력칸
    passwordBtn.send_keys(PASSWORD)
    passwordNextBtn = driver.find_element(By.XPATH,'//*[@id="passwordNext"]/div/button')
    passwordNextBtn.click()# 비밀번호 다음 버튼
    print('구글 로그인 성공')
    # driver.implicitly_wait(10)
  except OSError as e:
    print(e)
    
  time.sleep(20)# 휴대폰 본인 인증등의 시간이 충분히 필요하다


# 구글 이미지 검색 url 만들기
def makeUrl(searchItem):
  url = 'https://www.google.com/search'
  params ={# q와 tbm이 필수
    'q'     : searchItem,
    'tbm'   : 'isch',
  }
  url = url + '?' + urllib.parse.urlencode(params)
  return url


# 폴더 생성
def makeFolder(searchItem):
  saveDir = os.path.join(os.getcwd(), 'data', f'{FOLDER}_{searchItem}')
  try:
    if not(os.path.isdir(saveDir)): # 해당 폴더가 없다면
      os.makedirs(os.path.join(saveDir)) # 만들어라
    return saveDir
  except OSError as e:
    print(e+'폴더 생성 실패')

# 창 최대화
def maximizeWindow(driver):
  driver.maximize_window()

# 모든 이미지 목록을 가져오기 위해 무한 스크롤 다운
def scrollToEnd(driver):
  prev_height = driver.execute_script('return document.body.scrollHeight')
  print(f'prev_height: {prev_height}')
  
  while True:
    time.sleep(1) #네이버는 sleep없이 이동할 경우 무한로딩에 걸린다.
    driver.execute_script('window.scrollTo(0, document.body.scrollHeight)')
    time.sleep(3)
    
    cur_height = driver.execute_script('return document.body.scrollHeight')
    print(f'cur_height: {cur_height}')
    if cur_height == prev_height:
      print('높이가 같아짐')
      break
    prev_height = cur_height
  # 페이지를 모두 로딩한 후에는 최상단으로 다시 올라가기
  driver.execute_script('window.scrollTo(0, 0)')

# 모든 이미지들을 저장한다
def saveImgs(driver, saveDir, start):
  time.sleep(1)
  forbiddenCount = 0
  imgs = driver.find_elements(By.CSS_SELECTOR, '.rg_i.Q4LuWd')
  img_count = len(imgs)
  print(f'전체 이미지수 : {img_count}')
  # 하나씩 클릭해가며 저장
  for imgNum, img in enumerate(imgs): # imgNum에 이미지번호가 0부터 들어간다
    try:
      img.click()
      time.sleep(3)
      
      # 아래의 xPath는 자주 바뀌는 것 같다. 나머지는 고정인거 같으니 이것만 가끔 확인해주자
      bigImg = driver.find_element(By.XPATH, IMG_XPATH)
      src = bigImg.get_attribute('src')
      urllib.request.urlretrieve(src, saveDir + '/' + str(imgNum) + '.jpg')
      sec = check_time(start)
      print(f'{imgNum+1}/{img_count} saved {sec}')

    except Exception as e:
      print(e)
      forbiddenCount += 1# 저장 실패한 개수. forbidden이나 파일에러도 꽤 많다
      continue
  return forbiddenCount


# 시간 측정
def check_start():
    start_time = time.time()
    print("Start! now.." + str(start_time))
    return start_time
def check_time(start):
    end = time.time()
    during = end - start
    sec = str(datetime.timedelta(seconds=during)).split('.')[0]
    return sec
main()

* 로그인을 하고 크롤링을 하는 이유

1. 구글의 경우 로그인하고 나오는 이미지와 로그인을 하지 않고 나오는 이미지 목록이 다를때가 많다.
2. 성인인증이 필요한 이미지들은 로그인을 해야만 가져올수 있다.

* 사용법

1. 정상적으로 크롤링되는지 확인완료 [23.06.20]
2. 모듈 설치 - pip install undetected_chromedriver selenium
3. 주석 1번에 이미지를 원하는 검색어 목록 입력
4. 주석 2번에 폴더이름 입력. 이미지는 data\google\ 아래 저장됨
5. 주석 3번에 상세이미지의 xPath 입력. 구글의 경우 자주 바뀌는 것 같다.
6. 주석 4번에 구글 ID입력
7. 주석 5번에 구글 비밀번호 입력. 이후 추가로 스마트폰 인증화면이 뜰 경우에 대비해 20초간 기다린다.

'''
* 구글 이미지 가져오기 (23.06.20)
'''

import os
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import undetected_chromedriver as uc

import urllib
import time, datetime

ITEM_LIST = [ "Keith Thompson", "Zdzislaw Beksinski", "dariusz zawadzki"] # 1번
FOLDER = 'google' # 2번
IMG_XPATH = '//*[@id="Sva75c"]/div[2]/div/div[2]/div[2]/div[2]/c-wiz/div/div/div/div[3]/div[1]/a/img[1]' # 3번
SIGNINURL = 'https://accounts.google.com/signin/v2/identifier?hl=ko&passive=true&continue=https%3A%2F%2Fwww.google.com%2F&ec=GAZAmgQ&flowName=GlifWebSignIn&flowEntry=ServiceLogin'
ID = 'xxxx@gmail.com' # 4번
PASSWORD = 'xxxx' # 5번

def main():
  start = check_start() # 시간 측정 시작
  driver = uc.Chrome()# 구글로그인을 위한 모듈을 켜고
  driver.get(SIGNINURL)
  googleSignIn(driver)# 구글로그인하고
  
  for searchItem in ITEM_LIST:
    saveDir = makeFolder(searchItem)
    
    url = makeUrl(searchItem)# 검색할 url 가져와서
    driver.get(url)# 이미지 검색으로 가서
    maximizeWindow(driver)# 창최대화
    scrollToEnd(driver)

    forbiddenCount = saveImgs(driver, saveDir, start)# 모든 상세 이미지 src들을 가져온다
    sec = check_time(start)
    print(f'실패수{str(forbiddenCount)}, {sec}, {datetime.datetime.now().time()}')
  time.sleep(10)
  driver.quit() 
  
# 구글 로그인
def googleSignIn(driver):
  idBtn = driver.find_element(By.XPATH,'//*[@id="identifierId"]')# id 입력칸
  idBtn.send_keys(ID)
  nextBtn = driver.find_element(By.XPATH,'//*[@id="identifierNext"]/div/button')
  nextBtn.click()# 다음 버튼 클릭

  # 아래 코드는 비밀번호 요소가 화면에 나타날때가지 10초간 기다리는 코드이나
  # 비번의 경우 not interactive elem라서 에러가 뜬다. 하지만 돌아가는 코드이니 기다림이 필요할때 쓰자.
  try:
    passwordBtn = WebDriverWait(driver, timeout=10).until(EC.presence_of_element_located( (By.XPATH,'//*[@id="password"]/div[1]/div/div[1]/input') ))
    time.sleep(4)
    passwordBtn = driver.find_element(By.XPATH,'//*[@id="password"]/div[1]/div/div[1]/input')# 비밀번호 입력칸
    passwordBtn.send_keys(PASSWORD)
    passwordNextBtn = driver.find_element(By.XPATH,'//*[@id="passwordNext"]/div/button')
    passwordNextBtn.click()# 비밀번호 다음 버튼
    print('구글 로그인 성공')
    # driver.implicitly_wait(10)
  except OSError as e:
    print(e)
    
  time.sleep(20)# 휴대폰 본인 인증등의 시간이 충분히 필요하다


# 구글 이미지 검색 url 만들기
def makeUrl(searchItem):
  url = 'https://www.google.com/search'
  params ={# q와 tbm이 필수
    'q'     : searchItem,
    'tbm'   : 'isch',
  }
  url = url + '?' + urllib.parse.urlencode(params)
  return url


# 폴더 생성
def makeFolder(searchItem):
  saveDir = os.path.join(os.getcwd(), 'data', f'{FOLDER}_{searchItem}')
  try:
    if not(os.path.isdir(saveDir)): # 해당 폴더가 없다면
      os.makedirs(os.path.join(saveDir)) # 만들어라
    return saveDir
  except OSError as e:
    print(e+'폴더 생성 실패')

# 창 최대화
def maximizeWindow(driver):
  driver.maximize_window()

# 모든 이미지 목록을 가져오기 위해 무한 스크롤 다운
def scrollToEnd(driver):
  prev_height = driver.execute_script('return document.body.scrollHeight')
  print(f'prev_height: {prev_height}')
  
  while True:
    time.sleep(1) #네이버는 sleep없이 이동할 경우 무한로딩에 걸린다.
    driver.execute_script('window.scrollTo(0, document.body.scrollHeight)')
    time.sleep(3)
    
    cur_height = driver.execute_script('return document.body.scrollHeight')
    print(f'cur_height: {cur_height}')
    if cur_height == prev_height:
      print('높이가 같아짐')
      break
    prev_height = cur_height
  # 페이지를 모두 로딩한 후에는 최상단으로 다시 올라가기
  driver.execute_script('window.scrollTo(0, 0)')

# 모든 이미지들을 저장한다
def saveImgs(driver, saveDir, start):
  time.sleep(1)
  forbiddenCount = 0
  imgs = driver.find_elements(By.CSS_SELECTOR, '.rg_i.Q4LuWd')
  img_count = len(imgs)
  print(f'전체 이미지수 : {img_count}')
  # 하나씩 클릭해가며 저장
  for imgNum, img in enumerate(imgs): # imgNum에 이미지번호가 0부터 들어간다
    try:
      img.click()
      time.sleep(3)
      
      # 아래의 xPath는 자주 바뀌는 것 같다. 나머지는 고정인거 같으니 이것만 가끔 확인해주자
      bigImg = driver.find_element(By.XPATH, IMG_XPATH)
      src = bigImg.get_attribute('src')
      urllib.request.urlretrieve(src, saveDir + '/' + str(imgNum) + '.jpg')
      sec = check_time(start)
      print(f'{imgNum+1}/{img_count} saved {sec}')

    except Exception as e:
      print(e)
      forbiddenCount += 1# 저장 실패한 개수. forbidden이나 파일에러도 꽤 많다
      continue
  return forbiddenCount


# 시간 측정
def check_start():
    start_time = time.time()
    print("Start! now.." + str(start_time))
    return start_time
def check_time(start):
    end = time.time()
    during = end - start
    sec = str(datetime.timedelta(seconds=during)).split('.')[0]
    return sec
main()

* 상세 이미지의 xPath 알아내는 방법

- 크롬의 이미지 클릭 후 뜨는 상세이미지 화면에서 해당 elements의 xPath를 아래와 같이 복사함

다음에는 headless 크롤링에 대해 정리하겠다

- headless 크롤링은 화면에 브라우저 창을 띄우지 않고 메모리에서만 작동하는 방식이다.

네이버 이미지 크롤링하기

동기

1. 좋은 로라를 만들기 위해서는 이미지 파일들이 많을수록 좋다.
2. 경험상 이미지 퀄러티는 구글보다 네이버가 더 좋았다 - 물론 구글 이미지 크롤링 코드도 공유할 예정
3. 네이버는 구글에 비해 크롤링에 관대하다. 그래서 코드가 간결해진다 - 구글은 undetected_chromedriver 등을 사용해야한다.

사용법

1. 2023년 6월 19일 현재 아래 코드는 잘 돌아간다. 사용하기 쉽게 주석을 많이 달아놓았다.
2. 셀리니움이나 urllib등의 모듈 설치가 우선이다.

pip install selenium

3. 실행 후 크롬창이 뜨고 창이 최대화 된다. 
4. 자동으로 스크롤되며 이미지 목록을 가져온다. 이때는 창을 내리지말고 스크롤이 끝까지 내려가 더 이상 가져올 이미지가 없을때까지 기다려주자. 이미지 목록을 다 가져온 후 자동으로 스크롤이 맨위로 올라간다. 이 다음부터는 창을 내려도 된다. 
5. 가져오길 원하는 이미지 이름을 아래 코드의 item_list 안에 넣는다. 주석 #1번
6. 폴더 이름을 주석#2번에 넣는다. 아래 코드처럼 naver로 할 경우 이미지는 data\naver\ 안에 저장된다. 해당 폴더를 미리 만들어 놓지 않아도 알아서 만들고 저장한다.
7. 상세 이미지의 xpath를 넣는다. 주석#3번. 크롤링을 해보니 xpath가 아~주 가끔 바뀔때가 있다. 아마 그대로  놔둬도 큰 문제없을 것이다.

최신 클래스와 xPath로 재설정 함 - 24.07.26

'''
* 네이버 이미지 가져오기 (24.07.26)
'''

import os
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
import urllib
import time, datetime

item_list = [ "도다리"] # 1번
FOLDER = 'naver' # 2번
IMG_XPATH = '/html/body/div[4]/div/div/div[1]/div[2]/div[1]/img'

def main():
    start = check_start() # 시간 측정 시작
    driver = webdriver.Chrome()
    
    for searchItem in item_list:
        saveDir = makeFolder(searchItem)
        
        url = makeUrl(searchItem)# 검색할 url 가져와서
        driver.get(url)# 이미지 검색으로 가서
        maximizeWindow(driver)# 창최대화
        scrollToEnd(driver)

        forbiddenCount = saveImgs(driver, saveDir, start)# 모든 상세 이미지 src들을 가져온다
        sec = check_time(start)
        print(f'실패수{str(forbiddenCount)}, {sec}, {datetime.datetime.now().time()}')
    time.sleep(10)
    driver.quit() 

# 이미지 검색 url 만들기
def makeUrl(searchItem):
    url = 'https://search.naver.com/search.naver'
    params ={
        'where' : 'image',
        'sm'    : 'tab_jum',
        'query' : searchItem
    }
    url = url + '?' + urllib.parse.urlencode(params)
    return url

# 폴더 생성
def makeFolder(searchItem):
    saveDir = os.path.join(os.getcwd(), 'data', f'{FOLDER}_{searchItem}')
    try:
        if not(os.path.isdir(saveDir)): # 해당 폴더가 없다면
            os.makedirs(os.path.join(saveDir)) # 만들어라
        return saveDir
    except OSError as e:
        print(e+'폴더 생성 실패')

# 창 최대화
def maximizeWindow(driver):
    driver.maximize_window()

# 모든 이미지 목록을 가져오기 위해 무한 스크롤 다운
def scrollToEnd(driver):
    prev_height = driver.execute_script('return document.body.scrollHeight')
    print(f'prev_height: {prev_height}')
    
    while True:
        time.sleep(1) #네이버는 sleep없이 이동할 경우 무한로딩에 걸린다.
        driver.execute_script('window.scrollTo(0, document.body.scrollHeight)')
        time.sleep(3)
        
        cur_height = driver.execute_script('return document.body.scrollHeight')
        print(f'cur_height: {cur_height}')
        if cur_height == prev_height:
            print('높이가 같아짐')
            break
        prev_height = cur_height
    
    # 페이지를 모두 로딩한 후에는 최상단으로 다시 올라가기
    driver.execute_script('window.scrollTo(0, 0)')

# 모든 이미지들을 저장한다
def saveImgs(driver, saveDir, start):
    time.sleep(1)
    forbiddenCount = 0
    imgs = driver.find_elements(By.CSS_SELECTOR, '._fe_image_tab_content_thumbnail_image')
    
    print('imgs')
    print(imgs)
    srcList = []
    img_count = len(imgs)
    print(f'전체 이미지수 : {img_count}')
    # 하나씩 클릭해가며 저장
    for imgNum, img in enumerate(imgs): # imgNum에 이미지번호가 0부터 들어간다
        try:
            img.click()
            time.sleep(3)
            
            # 아래의 xPath는 자주 바뀌는 것 같다. 나머지는 고정인거 같으니 이것만 가끔 확인해주자
            bigImg = driver.find_element(By.XPATH, IMG_XPATH)
            src = bigImg.get_attribute('src')
            urllib.request.urlretrieve(src, saveDir + '/' + str(imgNum) + '.jpg')
            sec = check_time(start)
            print(f'{imgNum+1}/{img_count} saved {sec}')

        except Exception as e:
            print(e)
            forbiddenCount += 1# 저장 실패한 개수. forbidden이나 파일에러도 꽤 많다
            continue
    return forbiddenCount


# 시간 측정
def check_start():
    start_time = time.time()
    print("Start! now.." + str(start_time))
    return start_time
def check_time(start):
    end = time.time()
    during = end - start
    sec = str(datetime.timedelta(seconds=during)).split('.')[0]
    return sec
main()

이제 코드를 실행해보자. 잘 실행될 것이다.

일반적으로 네이버는 최대 500개의 이미지를 가져온다.

ai 에게 먹일 데이터를 요리중이다.

가지고 있는 epub들이 조금 있는데 이대로는 먹일 수 없으니 모두 text로 바꿔놔야한다.

그런데 생각보다 자료가 없었다.

특히 한글들이 모두 깨져나왔다.

calibre를 추천하기에 설치후 convert 해봤더니 출력 폴더를 선택할 수 없어 이것도 마찬가지로 꽤나 귀찮은 작업이었다 - 하지만 파이썬으로 끝내 실패한다면 이렇게라도 작업한 후 txt파일들을 모두 찾아 한번에 모으는 코드를 만들 작정이었다.. 지만 파이썬으로 해결했다.

먼저 EbookLib를 설치한다

1. pip install EbookLib
https://pypi.org/project/EbookLib/

- doc 도 살펴보자. 근데 좀 부족하다

https://docs.sourcefabric.org/projects/ebooklib/en/latest/tutorial.html#introduction

2. This is codes

import ebooklib
from ebooklib import epub
from bs4 import BeautifulSoup

book = epub.read_epub('./tear.epub')
result = book.get_metadata('DC', 'language') # 어떤 언어로 되어 있는지 확인할 수 있다

for idx, doc in enumerate(book.get_items_of_type(ebooklib.ITEM_DOCUMENT)):
    book = doc.content
    soup = BeautifulSoup(book, 'html.parser')
    soup = soup.select('p')
    for pTag in soup:
        print(pTag.text)

3. 알맞은 옵션을 찾는데 고생을 좀 했다.

- 한글 문제의 경우 stackoverflow는 큰 도움이 되지 않는다. 그리고 한글 문제도 아니었다.

- idx를 사용하기 위해 enumerate를 썼지만 이 경우 범용성이 떨어져 그냥 doc만 사용한다. 책의 특정 정보만 뽑아서 처리하고 싶다면 쓰는 것도 좋겠다.

4. 책 제목은 book.get_metadata('DC', 'title') 이렇게 가져올 수 있다.

- 이걸로 파일명을 만들어 폴더 하나에 저장하면 모든 epub파일을 한번에 txt로 만들수 있겠다.

● 기상청 지진정보 크롤링

> 들어가는 말

1. 최근 시각화 스터디를 시작했다.

2. 그냥 R&D 하는 건 재미없고 무언가 의미있는 걸 만들어 보고 싶었다.

3. 그런데 이번 포항 지진을 보며 궁금한 것이 있었다.

4. '만약 포항에 지진 강도 7이 발생했다면 서울에서 얼마의 강도가 전해질까?' 였다.

5. 이걸 시각화해보기로 결정했다.

> 정보 제공 사이트

1. 기상청 

- 아쉬운 건 깊이 정보가 2017년 7월 5일부터 제공된다는 거다.

- 메일로 문의해보니 이전 데이터는 제공해줄 수 없단다. 역시 이유는 없다. 역시 최고의 직업은 공무원이다. 

- http://www.kma.go.kr/weather/earthquake_volcano/domesticlist.jsp

2. 지진연구센터 - 최근에 모든 데이터들이 삭제 되었다. 무슨 연유인지는 모르겠다. 그래서 무쓸모.

> 사이트 분석

1. 1978년부터 지진 정보가 제공된다. 이건 참 좋다.

2. 한번에 999개 밖에 검색이 안된다. 그래서 2012년을 기준으로 나눠서 이전, 이후로 따로 쿼리를 날려야 한다.

3. 굉장히 쉬운 크롤링이다. 다만 인코딩이 euc-kr이라는 칠득이로 되어 있어 node에서 그냥 가져오면 깨진다.

4. 다행히 iconv 모듈을 사용해 utf8로 바꿀 수 있었다.

5. for문과 request 모듈은 전혀 어울리지 않는다. 비동기 문제다.

6. 4번과 5번의 문제가 함께 꼬여 약간의 고생을 했다.

7. 오랜만에 코딩을 했더니 버벅거린것도 있다.

8. 어쨌든 끝냈다. 대충 만들었더니 저렇다. 총 1663개의 지진 데이터를 가져왔다. sleep()을 안하고 그냥 가져왔더니 1분 정도 밖에 안걸렸다. 미안, 기상청.

9. 이제 이 위도, 경도 정보를 일단 지도 위에 표시해보려한다. 가장 큰 고민은 구글을 쓸지, 다음이나 네이버 지도를 쓸지다. 지난 API경험으로 미루어 구글 지도가 우리나라 지도에 대해서는 많이 부실했기에 안쓸거 같다. 아마 다음 지도를 쓸거다. 그런데 다음이나 네이버 지도도 SVG지원이 잘되는지 모르겠다. 내일 몇가지 더 확인해 본 후 결정할 거다.

10. 단순하게 지도위에 지진을 표시하는 건 이미 많이 있다. 보면 아무 의미가 없다는 걸 금방 알수 있다. 

11. 난 '깊이'와 '규모'를 이용해 단순 점이 아닌 영역과 그라데이션을 만들어보려 한다. 또 타임랩스를 이용해 시간변화에 따른 지진 영역의 변화를 볼 수도 있겠다.

12. 오버일 수 있겠으나 지도 위에 특정 강도의 지진을 일으키게 만들어 해당 지진의 파급 영역을 보여줄 수도 있겠다.

13. 그 위에 5층, 10층짜리 가상의 건물을 만들고 해당 강도의 경우 건물의 붕괴정도를 보여줄 수도 있겠다.

14. 뭐 내가 지진에 대해 자세히 아는 것도 아니고 데이터에 p파, s파가 나와있는 것도 아니고 게다가 깊이도 없으니 '대~충' 러프하게 만들어 보겠다는 것이다.

15. 일단, 재밌을 것 같다. 결과가 무척 궁금하기도 하다. 

16. 이게 시각화의 매력이라고 생각한다.

17. 그나저나 SVG도 잘 모르는데 ㅋㅋㅋ 어떻게 만들지 이론 공부도 좀 해야한다.

18. 자자. 새벽 6시다. ㅜ

● 분류기의 튜닝

> 들어가는 말

1. 엄청나게 고생했다.

2. 윈도우에서 병렬 컴퓨팅을 실행시키기 위해서는 메인루프를  "if __name__ == '__main__'"로 감싸야 한다. sklearn의 joblib 모듈 문서를 살펴보라는데 봐도 별거 없다. 이젠 에러 메세지까지 나한테 뻥을 친다ㅡ,ㅡ 어쨌든 감싸고 나니 그 에러 메세지는 없어졌다.

3. 맥에서는 그냥 된다고 한다. 

> 실행

1. MultinomialNB()와 SGDClassifier()의 최적 파라미터를 찾아봤다.

2. 이것도 엄청 고생했다.

3. pipeline과 parameters들을 set과 dictionary로 만들어 놓는게 핵심이다.

4. 최적 파라미터를 측정할 분류기를 MultinomialNB()나 SGDClassifier() 둘 중에 선택한다.( KFold로 교차검증도 할 수 있더라)

5. 각각의 parameters가 다르므로 최적화를 진행할 인자를 넣는 것도 달라져야 한다.

6. naive_bayes.py의 664줄 np.log(smoothed_fc)의 smoothed_fc 값에 0이 들어가서 계속 에러가 난다.

stackoverflow를 뒤져도 딱히 이거다하는게 없어 땜빵으로 np.log(smoothed_fc +0.000000001) 이렇게 넣었다.

smoothed_fc 이 무엇인지 제대로 이해하지 못하고 땜빵처리하니 굉장히 찝찝하다. 팬티를 입고 똥을 싼 후에 2시간 앉아 있는 기분이다.

7. 어쨌든 분류기 별로 모두 최적화 파라미터를 찾았다. 결과는 대략 아래와 같다. weighted가 뭔지 모르겠지만 이제 안쓰는데 호출하니 뜨는 경고다. 앞서 하도 많은 에러를 만났더니 이제 경고 따위 신경도 안쓰인다.

Fitting 3 folds for each of 288 candidates, totalling 864 fits

[Parallel(n_jobs=-1)]: Done  42 tasks      | elapsed:   11.8s

[Parallel(n_jobs=-1)]: Done 192 tasks      | elapsed:  1.0min

[Parallel(n_jobs=-1)]: Done 442 tasks      | elapsed:  3.0min

[Parallel(n_jobs=-1)]: Done 792 tasks      | elapsed:  6.9min

[Parallel(n_jobs=-1)]: Done 864 out of 864 | elapsed:  8.2min finished

Best score: 0.7813333333333333

Best parameter set:

        clf__alpha: 1.0

        vect__max_features: None

        vect__ngram_range: (1, 2)

        vect__norm: None

        vect__smooth_idf: True

        vect__sublinear_tf: True

        vect__use_idf: True

Accurary: 0.806

C:\Users\Alice\Anaconda3\lib\site-packages\sklearn\metrics\classification.py:1203: DeprecationWarning: The default `weighted` averaging is deprecated, and from version 0.18, use of precision, recall or F-score with multiclass or multilabel data or pos_label=None will result in an exception. Please set an explicit value for `average`, one of (None, 'micro', 'macro', 'weighted', 'samples'). In cross validation use, for instance, scoring="f1_weighted" instead of scoring="f1".

  sample_weight=sample_weight)

Precision: 0.8136573785950023

C:\Users\Alice\Anaconda3\lib\site-packages\sklearn\metrics\classification.py:1304: DeprecationWarning: The default `weighted` averaging is deprecated, and from version 0.18, use of precision, recall or F-score with multiclass or multilabel data or pos_label=None will result in an exception. Please set an explicit value for `average`, one of (None, 'micro', 'macro', 'weighted', 'samples'). In cross validation use, for instance, scoring="f1_weighted" instead of scoring="f1".

  sample_weight=sample_weight)

Recall: 0.806

위에서 구한 최적의 파라미터를 이용해 앞으로 분류기를 사용할때 그와같이 세팅해주면 되는거다. 뭐 극적으로 정확도가 올라가고 그런건 잘 모르겠다. 좀 더 (많은) 공부가 필요해보인다.

> 반성

1. 최근에 느끼는 점인데, 데이터 분석이나 과학 또는 인공지능같은 사전 지식 없이 그냥 이렇게 바닥을 파는게 맞는 건가 싶다. 솔직히 어렵지는 않다. 파고 들어가는 만큼 이해도가 높아지는 것도 정직하다. 일단은 이렇게 강사님이 내려준 '동아줄'을 부여잡고 열심히 따라가는 것이 효율적이고 좋은 것 같다. 다음 여유가 있을 때 관련 책들을 읽어서 기본기를 닦아야겠다. 

2. 시간날때마다 이렇게 해도 같이 수업을 듣는 다른 사람들의 절반도 못따라가는 것 같다. 수업 중 내가 하는 질문은 강사님의 답변을 듣고나면 내가 생각해도 부끄럽기 그지 없는데 다른 사람들이 하는 질문은 일단 무슨 질문인지 이해가 가지 않아 뭐라 말을 할수도 없다ㅡ,ㅡ

3. 그럴 때마다 나는 재미로 배우는 거니까. 그럴 수도 있지 하는 '비겁한' 변명에 빠진다.

4. 하지만 세상에 텍스트 마이닝이 절실해서 배우는 사람이 몇명이나 있겠는가. 아마 저 분들도 재미로 배우는 걸거다.

5. 그래도 다행인 것은 '나는 무언가를 처음 배울 때 언제나 남들보다 몇배는 못했다'는 사실이다. 이번에도 변함이 없는 것 뿐이다.

6. 왜 자꾸 눙물이 나지 ㅠㅠ

● 학습 모델 저장 및 읽어오기

> 들어가는 말

테스트를 할때마다 매번 학습을 시킬 수 없으니 저장하는 건 당연하다.

1. 학습 모델을 저장 방식에는 (현재 내가 알고 있는 것이 딱) 2가지 방법이 있다.

2. pickle모듈로 직렬화하는 방법이 하나고

3. skilearn.externals의 joblib모듈이 다른 하나다.

> 과정

1. pickle이 가장 보편적이라고 해서 사용해 보니 파일 용량이 42.5MB가 나왔다.

2. joblib로 compress=9로 해서 저장해 보니 파일 용량이 9.5MB가 나왔다.

3. 속도는 둘다 비슷.

4. 학습 내용을 바이너리로 저장해 놨다가 다시 로드해서 쓰는 방식이다.

5. 지금까지는 확실하게 joblib의 승리다.

> 실행

1. GridSearchCV()를 돌려 최적의 파라미터들을 찾아봤다.

Fitting 3 folds for each of 288 candidates, totalling 864 fits

[Parallel(n_jobs=-1)]: Done  42 tasks      | elapsed:   24.0s

[Parallel(n_jobs=-1)]: Done 192 tasks      | elapsed:  2.5min

[Parallel(n_jobs=-1)]: Done 442 tasks      | elapsed:  6.5min

[Parallel(n_jobs=-1)]: Done 792 tasks      | elapsed: 11.5min

[Parallel(n_jobs=-1)]: Done 864 out of 864 | elapsed: 13.4min finished

Best score: 0.60695468914647

Best parameter set:

        clf__alpha: 1.0

        vect__max_features: None

        vect__ngram_range: (1, 2)

        vect__norm: None

        vect__smooth_idf: False

        vect__sublinear_tf: True

        vect__use_idf: True

이것을 바탕으로 MultinomialNB() 클래스를 돌려서 나온 테스트 결과는 아래와 같다. 몇번 돌려봐도 그다지 좋아진걸 모르겠다 ㅡ,ㅡ

최적화는 좀 더 공부하고 저장과 로드만 숙달시켜야겠다.

2. SGDClassifier()클래스를 이용해 학습시킨 후 저장 및 로드도 해봤다. 역시 좋다. MultinomialNB() 아무리 최적화 시켜봤자 SGDClassifier() 새발의 피다.

● KFold클래스를 이용한 벡터기계(SVM) 알고리즘 교차 검증

> 실행

Accuracy        Precision       Recall          F1

0.59242         0.49665         0.52332         0.48513

0.75355         0.50795         0.51563         0.48133

0.77014         0.66157         0.61531         0.62512

0.56872         0.37439         0.38265         0.37612

0.17577         0.22627         0.16359         0.17597

Avg Accuracy: 0.5721212189438373, Std Dev: 0.21431124575385863

Avg Precision: 0.4533648469984103, Std Dev: 0.14561024367169234

Avg Recall: 0.4400986255677289, Std Dev: 0.15690035193922436

Avg F1: 0.4287327556310334, Std Ddev: 0.1491106614903449

Accuracy        Precision       Recall          F1

0.56872         0.38732         0.37059         0.37097

0.69668         0.55945         0.58298         0.56342

0.74882         0.54664         0.48895         0.50428

0.79147         0.65780         0.62903         0.59844

0.78673         0.79259         0.67680         0.69774

0.81043         0.83130         0.64801         0.68566

0.72038         0.62562         0.55983         0.56030

0.47867         0.26723         0.27148         0.26221

0.40284         0.23416         0.33309         0.19256

0.28095         0.30852         0.15568         0.19884

Avg Accuracy: 0.6285691717445273, Std Dev: 0.17606564810343844

Avg Precision: 0.5210634391275499, Std Dev: 0.20286311462199674

Avg Recall: 0.47164299640376256, Std Dev: 0.16963090837090414

Avg F1: 0.46344254182131894, Std Ddev: 0.1832991835545736

KFold는 기본적으로는 셔플링을 하지 않고 학습/실험 집합을 생성하기 때문에 항상 결과가 같습니다. 그리고 앞에서부터 주어진 절수에 따라 자르기 때문에 데이터에 몰림 현상이 있으면 실험 결과 역시 균일하지 않게 나옵니다.

● 현대경제연구원 보고서 벡터기계(SVM: support vector machine)알고리즘을 이용한 분석

> 실행

1. 이전 모델(MultinomialNB클래스)과 달라진 부분은 아래 3줄 뿐이다.

VIP Report(정답) : 한국경제주평(예측)

한국경제주평(정답) : 한국경제주평(예측)  correct

VIP Report(정답) : VIP Report(예측)      correct

한국경제주평(정답) : 한국경제주평(예측)  correct

VIP Report(정답) : 한국경제주평(예측)

이슈리포트(정답) : 이슈리포트(예측)      correct

한국경제주평(정답) : 한국경제주평(예측)  correct

한국경제주평(정답) : 한국경제주평(예측)  correct

VIP Report(정답) : VIP Report(예측)      correct

이슈리포트(정답) : 한국경제주평(예측)

이슈리포트(정답) : 이슈리포트(예측)      correct

한국경제주평(정답) : 한국경제주평(예측)  correct

한국경제주평(정답) : 한국경제주평(예측)  correct

한국경제주평(정답) : 한국경제주평(예측)  correct

한국경제주평(정답) : 한국경제주평(예측)  correct

이슈리포트(정답) : VIP Report(예측)

한국경제주평(정답) : 한국경제주평(예측)  correct

VIP Report(정답) : VIP Report(예측)      correct

이슈리포트(정답) : 이슈리포트(예측)      correct

이슈리포트(정답) : 한국경제주평(예측)

이슈리포트(정답) : 이슈리포트(예측)      correct

VIP Report(정답) : 한국경제주평(예측)

한국경제주평(정답) : 한국경제주평(예측)  correct

VIP Report(정답) : VIP Report(예측)      correct

이슈리포트(정답) : 한국경제주평(예측)

한국경제주평(정답) : 한국경제주평(예측)  correct

한국경제주평(정답) : 한국경제주평(예측)  correct

한국경제주평(정답) : 한국경제주평(예측)  correct

VIP Report(정답) : VIP Report(예측)      correct

한국경제주평(정답) : 한국경제주평(예측)  correct

한국경제주평(정답) : 한국경제주평(예측)  correct

이슈리포트(정답) : 한국경제주평(예측)

Chairperson Note(정답) : Chairperson Note(예측)  correct

한국경제주평(정답) : 한국경제주평(예측)  correct

이슈리포트(정답) : 이슈리포트(예측)      correct

한국경제주평(정답) : 한국경제주평(예측)  correct

이슈리포트(정답) : 한국경제주평(예측)

한국경제주평(정답) : 한국경제주평(예측)  correct

이슈리포트(정답) : 한국경제주평(예측)

이슈리포트(정답) : 이슈리포트(예측)      correct

Chairperson Note(정답) : Chairperson Note(예측)  correct

연금시장리뷰(정답) : 연금시장리뷰(예측)  correct

Chairperson Note(정답) : Chairperson Note(예측)  correct

이슈리포트(정답) : 통일경제(예측)

이슈리포트(정답) : 이슈리포트(예측)      correct

연금시장리뷰(정답) : 연금시장리뷰(예측)  correct

한국경제주평(정답) : 한국경제주평(예측)  correct

한국경제주평(정답) : 한국경제주평(예측)  correct

Chairperson Note(정답) : Chairperson Note(예측)  correct

연금시장리뷰(정답) : 연금시장리뷰(예측)  correct

한국경제주평(정답) : 한국경제주평(예측)  correct

Chairperson Note(정답) : Chairperson Note(예측)  correct

한국경제주평(정답) : 한국경제주평(예측)  correct

Chairperson Note(정답) : Chairperson Note(예측)  correct

한국경제주평(정답) : 한국경제주평(예측)  correct

Chairperson Note(정답) : Chairperson Note(예측)  correct

이슈리포트(정답) : Chairperson Note(예측)

Chairperson Note(정답) : Chairperson Note(예측)  correct

이슈리포트(정답) : 이슈리포트(예측)      correct

이슈리포트(정답) : Chairperson Note(예측)

Chairperson Note(정답) : Chairperson Note(예측)  correct

연금시장리뷰(정답) : 연금시장리뷰(예측)  correct

Chairperson Note(정답) : Chairperson Note(예측)  correct

Chairperson Note(정답) : Chairperson Note(예측)  correct

이슈리포트(정답) : 한국경제주평(예측)

Chairperson Note(정답) : Chairperson Note(예측)  correct

이슈리포트(정답) : 이슈리포트(예측)      correct

이슈리포트(정답) : 한국경제주평(예측)

Chairperson Note(정답) : Chairperson Note(예측)  correct

이슈리포트(정답) : 한국경제주평(예측)

이슈리포트(정답) : 연금시장리뷰(예측)

이슈리포트(정답) : 이슈리포트(예측)      correct

한국경제주평(정답) : 한국경제주평(예측)  correct

Chairperson Note(정답) : Chairperson Note(예측)  correct

Chairperson Note(정답) : Chairperson Note(예측)  correct

Chairperson Note(정답) : Chairperson Note(예측)  correct

한국경제주평(정답) : 한국경제주평(예측)  correct

Chairperson Note(정답) : Chairperson Note(예측)  correct

Chairperson Note(정답) : Chairperson Note(예측)  correct

한국경제주평(정답) : 한국경제주평(예측)  correct

한국경제주평(정답) : 한국경제주평(예측)  correct

Chairperson Note(정답) : Chairperson Note(예측)  correct

Chairperson Note(정답) : Chairperson Note(예측)  correct

VIP Report(정답) : VIP Report(예측)      correct

한국경제주평(정답) : 한국경제주평(예측)  correct

VIP Report(정답) : VIP Report(예측)      correct

연금시장리뷰(정답) : 연금시장리뷰(예측)  correct

한국경제주평(정답) : 한국경제주평(예측)  correct

Chairperson Note(정답) : Chairperson Note(예측)  correct

VIP Report(정답) : VIP Report(예측)      correct

한국경제주평(정답) : 한국경제주평(예측)  correct

통일경제(정답) : 한국경제주평(예측)

VIP Report(정답) : 이슈리포트(예측)

한국경제주평(정답) : 한국경제주평(예측)  correct

이슈리포트(정답) : 이슈리포트(예측)      correct

Chairperson Note(정답) : Chairperson Note(예측)  correct

이슈리포트(정답) : 이슈리포트(예측)      correct

Chairperson Note(정답) : Chairperson Note(예측)  correct

연금시장리뷰(정답) : 연금시장리뷰(예측)  correct

한국경제주평(정답) : 한국경제주평(예측)  correct

Chairperson Note(정답) : Chairperson Note(예측)  correct

VIP Report(정답) : VIP Report(예측)      correct

Chairperson Note(정답) : Chairperson Note(예측)  correct

이슈리포트(정답) : 이슈리포트(예측)      correct

한국경제주평(정답) : 한국경제주평(예측)  correct

Chairperson Note(정답) : Chairperson Note(예측)  correct

한국경제주평(정답) : 한국경제주평(예측)  correct

Chairperson Note(정답) : Chairperson Note(예측)  correct

한국경제주평(정답) : 한국경제주평(예측)  correct

한국경제주평(정답) : VIP Report(예측)

한국경제주평(정답) : 한국경제주평(예측)  correct

한국경제주평(정답) : 한국경제주평(예측)  correct

Chairperson Note(정답) : Chairperson Note(예측)  correct

한국경제주평(정답) : 한국경제주평(예측)  correct

Chairperson Note(정답) : Chairperson Note(예측)  correct

Chairperson Note(정답) : Chairperson Note(예측)  correct

Chairperson Note(정답) : Chairperson Note(예측)  correct

이슈리포트(정답) : 이슈리포트(예측)      correct

VIP Report(정답) : 이슈리포트(예측)

VIP Report(정답) : Chairperson Note(예측)

한국경제주평(정답) : 한국경제주평(예측)  correct

통일경제(정답) : 한국경제주평(예측)

이슈리포트(정답) : 한국경제주평(예측)

한국경제주평(정답) : 한국경제주평(예측)  correct

Chairperson Note(정답) : Chairperson Note(예측)  correct

VIP Report(정답) : 이슈리포트(예측)

한국경제주평(정답) : 한국경제주평(예측)  correct

Chairperson Note(정답) : Chairperson Note(예측)  correct

VIP Report(정답) : 한국경제주평(예측)

이슈리포트(정답) : 이슈리포트(예측)      correct

이슈리포트(정답) : 지식경제(예측)

한국경제주평(정답) : 한국경제주평(예측)  correct

Chairperson Note(정답) : Chairperson Note(예측)  correct

이슈리포트(정답) : 이슈리포트(예측)      correct

Chairperson Note(정답) : Chairperson Note(예측)  correct

한국경제주평(정답) : 한국경제주평(예측)  correct

VIP Report(정답) : VIP Report(예측)      correct

Chairperson Note(정답) : Chairperson Note(예측)  correct

이슈리포트(정답) : 이슈리포트(예측)      correct

이슈리포트(정답) : 이슈리포트(예측)      correct

Chairperson Note(정답) : Chairperson Note(예측)  correct

VIP Report(정답) : Chairperson Note(예측)

통일경제(정답) : 통일경제(예측)  correct

통일경제(정답) : 통일경제(예측)  correct

한국경제주평(정답) : 한국경제주평(예측)  correct

한국경제주평(정답) : 한국경제주평(예측)  correct

Chairperson Note(정답) : Chairperson Note(예측)  correct

한국경제주평(정답) : 한국경제주평(예측)  correct

Chairperson Note(정답) : Chairperson Note(예측)  correct

VIP Report(정답) : 한국경제주평(예측)

Chairperson Note(정답) : Chairperson Note(예측)  correct

Chairperson Note(정답) : Chairperson Note(예측)  correct

이슈리포트(정답) : 이슈리포트(예측)      correct

VIP Report(정답) : VIP Report(예측)      correct

한국경제주평(정답) : 이슈리포트(예측)

Chairperson Note(정답) : Chairperson Note(예측)  correct

VIP Report(정답) : 이슈리포트(예측)

이슈리포트(정답) : Chairperson Note(예측)

한국경제주평(정답) : 한국경제주평(예측)  correct

한국경제주평(정답) : 한국경제주평(예측)  correct

한국경제주평(정답) : 한국경제주평(예측)  correct

Chairperson Note(정답) : Chairperson Note(예측)  correct

한국경제주평(정답) : 한국경제주평(예측)  correct

이슈리포트(정답) : 이슈리포트(예측)      correct

한국경제주평(정답) : 한국경제주평(예측)  correct

이슈리포트(정답) : 이슈리포트(예측)      correct

한국경제주평(정답) : 한국경제주평(예측)  correct

한국경제주평(정답) : 연금시장리뷰(예측)

한국경제주평(정답) : 한국경제주평(예측)  correct

한국경제주평(정답) : VIP Report(예측)

한국경제주평(정답) : 한국경제주평(예측)  correct

한국경제주평(정답) : Chairperson Note(예측)

한국경제주평(정답) : 한국경제주평(예측)  correct

한국경제주평(정답) : 한국경제주평(예측)  correct

VIP Report(정답) : Chairperson Note(예측)

VIP Report(정답) : Chairperson Note(예측)

VIP Report(정답) : VIP Report(예측)      correct

VIP Report(정답) : 한국경제주평(예측)

한국경제주평(정답) : 한국경제주평(예측)  correct

한국경제주평(정답) : 한국경제주평(예측)  correct

한국경제주평(정답) : VIP Report(예측)

한국경제주평(정답) : 한국경제주평(예측)  correct

VIP Report(정답) : VIP Report(예측)      correct

한국경제주평(정답) : 한국경제주평(예측)  correct

VIP Report(정답) : VIP Report(예측)      correct

VIP Report(정답) : VIP Report(예측)      correct

VIP Report(정답) : 한국경제주평(예측)

VIP Report(정답) : VIP Report(예측)      correct

한국경제주평(정답) : 한국경제주평(예측)  correct

VIP Report(정답) : VIP Report(예측)      correct

VIP Report(정답) : 한국경제주평(예측)

이슈리포트(정답) : Chairperson Note(예측)

VIP Report(정답) : VIP Report(예측)      correct

VIP Report(정답) : 한국경제주평(예측)

VIP Report(정답) : VIP Report(예측)      correct

VIP Report(정답) : VIP Report(예측)      correct

VIP Report(정답) : Chairperson Note(예측)

이슈리포트(정답) : 이슈리포트(예측)      correct

통일경제(정답) : 통일경제(예측)  correct

이슈리포트(정답) : Chairperson Note(예측)

이슈리포트(정답) : Chairperson Note(예측)

VIP Report(정답) : 이슈리포트(예측)

VIP Report(정답) : VIP Report(예측)      correct

VIP Report(정답) : Chairperson Note(예측)

VIP Report(정답) : VIP Report(예측)      correct

이슈리포트(정답) : Chairperson Note(예측)

이슈리포트(정답) : VIP Report(예측)

VIP Report(정답) : VIP Report(예측)      correct

통일경제(정답) : 통일경제(예측)  correct

통일경제(정답) : 통일경제(예측)  correct

VIP Report(정답) : VIP Report(예측)      correct

VIP Report(정답) : 한국경제주평(예측)

Accuracy: 0.7594339622641509