[Crawling] 네이버 이미지 가져오기 - 로라 이미지 수집

네이버 이미지 크롤링하기

동기

1. 좋은 로라를 만들기 위해서는 이미지 파일들이 많을수록 좋다.
2. 경험상 이미지 퀄러티는 구글보다 네이버가 더 좋았다 - 물론 구글 이미지 크롤링 코드도 공유할 예정
3. 네이버는 구글에 비해 크롤링에 관대하다. 그래서 코드가 간결해진다 - 구글은 undetected_chromedriver 등을 사용해야한다.

 

사용법

1. 2023년 6월 19일 현재 아래 코드는 잘 돌아간다. 사용하기 쉽게 주석을 많이 달아놓았다.
2. 셀리니움이나 urllib등의 모듈 설치가 우선이다.

pip install selenium

3. 실행 후 크롬창이 뜨고 창이 최대화 된다. 
4. 자동으로 스크롤되며 이미지 목록을 가져온다. 이때는 창을 내리지말고 스크롤이 끝까지 내려가 더 이상 가져올 이미지가 없을때까지 기다려주자. 이미지 목록을 다 가져온 후 자동으로 스크롤이 맨위로 올라간다. 이 다음부터는 창을 내려도 된다. 
5. 가져오길 원하는 이미지 이름을 아래 코드의 item_list 안에 넣는다. 주석 #1번
6. 폴더 이름을 주석#2번에 넣는다. 아래 코드처럼 naver로 할 경우 이미지는 data\naver\ 안에 저장된다. 해당 폴더를 미리 만들어 놓지 않아도 알아서 만들고 저장한다.
7. 상세 이미지의 xpath를 넣는다. 주석#3번. 크롤링을 해보니 xpath가 아~주 가끔 바뀔때가 있다. 아마 그대로  놔둬도 큰 문제없을 것이다.

 

최신 클래스와 xPath로 재설정 함 - 24.07.26

'''
* 네이버 이미지 가져오기 (24.07.26)
'''

import os
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
import urllib
import time, datetime

item_list = [ "도다리"] # 1번
FOLDER = 'naver' # 2번
IMG_XPATH = '/html/body/div[4]/div/div/div[1]/div[2]/div[1]/img'

def main():
    start = check_start() # 시간 측정 시작
    driver = webdriver.Chrome()
    
    for searchItem in item_list:
        saveDir = makeFolder(searchItem)
        
        url = makeUrl(searchItem)# 검색할 url 가져와서
        driver.get(url)# 이미지 검색으로 가서
        maximizeWindow(driver)# 창최대화
        scrollToEnd(driver)

        forbiddenCount = saveImgs(driver, saveDir, start)# 모든 상세 이미지 src들을 가져온다
        sec = check_time(start)
        print(f'실패수{str(forbiddenCount)}, {sec}, {datetime.datetime.now().time()}')
    time.sleep(10)
    driver.quit() 

# 이미지 검색 url 만들기
def makeUrl(searchItem):
    url = 'https://search.naver.com/search.naver'
    params ={
        'where' : 'image',
        'sm'    : 'tab_jum',
        'query' : searchItem
    }
    url = url + '?' + urllib.parse.urlencode(params)
    return url

# 폴더 생성
def makeFolder(searchItem):
    saveDir = os.path.join(os.getcwd(), 'data', f'{FOLDER}_{searchItem}')
    try:
        if not(os.path.isdir(saveDir)): # 해당 폴더가 없다면
            os.makedirs(os.path.join(saveDir)) # 만들어라
        return saveDir
    except OSError as e:
        print(e+'폴더 생성 실패')

# 창 최대화
def maximizeWindow(driver):
    driver.maximize_window()

# 모든 이미지 목록을 가져오기 위해 무한 스크롤 다운
def scrollToEnd(driver):
    prev_height = driver.execute_script('return document.body.scrollHeight')
    print(f'prev_height: {prev_height}')
    
    while True:
        time.sleep(1) #네이버는 sleep없이 이동할 경우 무한로딩에 걸린다.
        driver.execute_script('window.scrollTo(0, document.body.scrollHeight)')
        time.sleep(3)
        
        cur_height = driver.execute_script('return document.body.scrollHeight')
        print(f'cur_height: {cur_height}')
        if cur_height == prev_height:
            print('높이가 같아짐')
            break
        prev_height = cur_height
    
    # 페이지를 모두 로딩한 후에는 최상단으로 다시 올라가기
    driver.execute_script('window.scrollTo(0, 0)')

# 모든 이미지들을 저장한다
def saveImgs(driver, saveDir, start):
    time.sleep(1)
    forbiddenCount = 0
    imgs = driver.find_elements(By.CSS_SELECTOR, '._fe_image_tab_content_thumbnail_image')
    
    print('imgs')
    print(imgs)
    srcList = []
    img_count = len(imgs)
    print(f'전체 이미지수 : {img_count}')
    # 하나씩 클릭해가며 저장
    for imgNum, img in enumerate(imgs): # imgNum에 이미지번호가 0부터 들어간다
        try:
            img.click()
            time.sleep(3)
            
            # 아래의 xPath는 자주 바뀌는 것 같다. 나머지는 고정인거 같으니 이것만 가끔 확인해주자
            bigImg = driver.find_element(By.XPATH, IMG_XPATH)
            src = bigImg.get_attribute('src')
            urllib.request.urlretrieve(src, saveDir + '/' + str(imgNum) + '.jpg')
            sec = check_time(start)
            print(f'{imgNum+1}/{img_count} saved {sec}')

        except Exception as e:
            print(e)
            forbiddenCount += 1# 저장 실패한 개수. forbidden이나 파일에러도 꽤 많다
            continue
    return forbiddenCount


# 시간 측정
def check_start():
    start_time = time.time()
    print("Start! now.." + str(start_time))
    return start_time
def check_time(start):
    end = time.time()
    during = end - start
    sec = str(datetime.timedelta(seconds=during)).split('.')[0]
    return sec
main()

 

이제 코드를 실행해보자. 잘 실행될 것이다.

일반적으로 네이버는 최대 500개의 이미지를 가져온다.