Wookang makes AI

수년만에 만난 친구는 반가워하는 것 같았지만 조금 바빠보였다.

나는 멀리있는 친구를 만나러갔다. 친구는 (나도 잘 아는 사람들이 많은) 어떤 모임에 참석해야한다며 내게 시간을 내기 어려워했다.

나는 알겠다고 말해놓곤 친구가 참석한다는 모임 장소에 깜빡 놓고(?) 간 물건이 있다며 방문했다.

내가 다 잘아는 사람들(후배들)이었다. 그리고 실제로 내가 놓고 간 물건이 있었다.

물건을 들고 그 장소를 나왔다.

다시 집으로 돌아오는 길은 복잡했다. 터미널로 어떻게 가야할지 몰랐다.

한쪽에는 등산복을 입은 할머니, 할아버지들이 많이 계셨다. 변두리 시골느낌이었다. 할아버지들에게 터미널로 어떻게 가야하는지 여쭸다.

할아버지들은 내가 묻지도 않는 여러 이야기들을 들려주셨다.

나는 잘 이해하지 못했지만 경청하며 고개를 끄떡였다.

할머니들이 착하다며 칭찬해주셨다.

한참후 다시 혼자가 되었지만 여전히 터미널이 어디있는지 알수 없었다.

친구의 그 반가워하면서도 귀찮아하는 표정을 잊을 수 없다.

친한 친구가 있음에도 혼자가 된 상황이 고통스러웠다.

그 모임의 후배들도 예전에는 모두 나를 잘 따르던 후배들이었다.

그들은 나를 보기만 할뿐 아무말도 하지않았다. 놓고 갔다는 물건을 찾는 시늉만했다.

그곳에서 나는 어쩌다 이 지경이 된 건지 도무지 알 수가 없었다.

깨어난 지금, 내가 그 이유를 알고 있다는 걸 깨달았다.

당시에는 나를 훌륭한 개발자라고 생각했다. 처음부터 끝까지 무언가를 만드는 것도 벌써 두번째였다. 지금처럼 파파고나 구글 번역이 좋지 않던 시절이었다. 

돈을 벌지 못하는 개발이 지긋지긋했던 나는 뜬금없이 영어 공부에 빠져있었다. 내가 개발을 잘할 수 있게 된 방법론을 영어에 적용해 보고 싶었다. 돌이켜보건데 둘다 결과가 별로였던 건 이렇게 필연적이었다. 

그럼에도 이 서비스의 아이디어는 나쁘지 않다고 생각한다. 나처럼 숫자 듣기에 약한 사람이나 나만의 특정 상황을 훈련해야 하는 사람이라면 그런 문장들을 집중적으로 반복해 듣고 익힐 수 있기 때문이다. 물론 나는 여전히 영어 숫자 듣기에 약하다. 그러니 이 서비스의 신뢰 여부는 내 판단을 넘어선다.

https://github.com/vEduardovich/sayToRemember

https://www.youtube.com/watch?v=MSGr6z-tVTU 

넥슨겜이지만 참신하고 재밌다는 말도 안되는 이야기를 듣고 시작했다.

시작 1시간만에 분노의 그만두기 후 나만 그런건가 알아보니 역시나 나만 그런건 아니었다.

내가 딱 저 침투부 영상처럼 플레이하다가, 저렇게 똑같이 몇번 죽고 그만뒀다.

아기자기하게 갈거면 옛날 고전게임 '금광을 찾아서'처럼 중심 플레이 하나를 코어에 두고 부자가 된다는 목표아래 곁가지를 쳤어야하는데

이건 분주하고 잡다하게 할 것들이 많은데 그 플레이 방식이 각각 달랐다.

미니게임 여러개가 물리적으로 결합되어 있어 내가 게임을 하는게 아니라 게임에 끌려가는 기분이다.

레이싱 게임을 1분하고 클릭 게임을 1분하고 데이트 게임을 1분하고 슛팅 게임을 1분하고 다시 레이싱 게임을 1분하고 돌고 도는 수레바퀴.

신안 염전 노예가 된 것 같은 기분이다.

무엇보다 확실하건 내가 주인공은 아니었다. 나는 계속 그냥 게임의 시중만 들고 있다.

내가 주도하는게 하나도 없다는 부분이 너무나 마음에 안들었다.

나는 재미를 못느꼈다.

한번도 도박을 해본적 없으면서 시작했던 해외축구 베팅 서비스. 모든 것이 서툴고 힘들었다. 사업을 진행할수록 계속 이더리움을 잃었다. 이더리움을 딴 사람들은 계속 방문했고 잃은 사람들은 다시 오지 않았다.

블록체인 판은 사기꾼 천지였다. 서버를 해킹당하고 홍보를 미끼로 여기저기서 사기를 당했다. 게다가 이더리움 가스비는 매일 출렁거렸다. 어느 날은 30원이었고 어느 날은 1300원이었다.

서비스를 진행했던 6개월간 거의 잠을 자지 못했다. 부모님은 항상 걱정하셨다. 붉은 눈과 늘어진 다크서클이 너무 진하게 각인되어 영원히 없어질 것 같지 않았다. 그리고 코로나로 모든 축구 리그가 중지되었다.

서비스도 중지되었다. 적자 1억. 그 1년이 아마도 내 인생에서 가장 믿을 수 없을만큼 세상에 무언가를 빌드했던 시기였다. 아쉬운건 그것이 겨우 도박 사이트였다는 것이다. 다시는 그런것에 내 인생을 걸지 않을 것이다. 그런 의미로 이 서비스를 완전 공개한다.

https://github.com/vEduardovich/whitebetting

* Whisper-WebUI 설치 및 실행

- Whisper-webui는 openAI의 whisper(https://github.com/openai/whisper)를 쓰기 쉽도록 webUI로 wrapping한 라이브러리다.

- 굉장히 탁월한 성능을 발휘한다. 자막이 없는 영화나 내용이 궁금했던 일본 야동, 외국 유튜브 영상들의 자막을 영어나 일어로 먼저 생성한 후, 이걸 다시 한국어로 바꾸면 된다 - 바로 한글로 생성도 되지만 몇번해보니 퀄러티가 떨어졌다.

- max_length가 200으로 제한되어 있어서 한번에 장문의 글을 번역하지 못한다. 번역 모델은 facebook/nllb-200이다.

- 한번에 대량의 번역을 하기위해선 따로 스크립트를 만들어 200이내로 문장을 끊어서 전달해야 한다. 이건 다음에 만들어 공유할 계획이다.

1. 코덱 설치

• https://www.gyan.dev/ffmpeg/builds/
• zip파일을 받고 압축 푼다

2. 설치

• git clone https://github.com/jhj0517/Whisper-WebUI.git
• 안에 들어가서 위에서 압축 푼 코덱 폴더 전체를 붙여넣고 해당 경로를 path 걸어준다

3. install.bat실행 - 한참 받는다
4. start-webui.bat 실행

* 실행

1. 먼저 Youtube 탭으로 가서 주소를 붙여넣고 generate해보자

2. 현재(23.06.26) 아래와 같은 에러가 뜬다.

pytube.exceptions.RegexMatchError: get_throttling_function_name: could not find match for multiple

3. 해결을 위해 구글링을 한다.

https://github.com/pytube/pytube/issues/1684

이틀전에 나온 해결책이다. 유튜브 패턴들이 자주 바뀌어서 업데이트가 미쳐 못따라가는 것 같다.

function_patterns = [
    # https://github.com/ytdl-org/youtube-dl/issues/29326#issuecomment-865985377
    # https://github.com/yt-dlp/yt-dlp/commit/48416bc4a8f1d5ff07d5977659cb8ece7640dcd8
    # var Bpa = [iha];
    # ...
    # a.C && (b = a.get("n")) && (b = Bpa[0](b), a.set("n", b),
    # Bpa.length || iha("")) }};
    # In the above case, `iha` is the relevant function name
    r'a\.[a-zA-Z]\s*&&\s*\([a-z]\s*=\s*a\.get\("n"\)\)\s*&&.*?\|\|\s*([a-z]+)',
    r'\([a-z]\s*=\s*([a-zA-Z0-9$]+)(\[\d+\])?\([a-z]\)',
]

아래와 같이 Whisper-WebUI\venv\Lib\site-packages\pytube 폴더로 이동후 cipher.py 파일을 연후

기존에 있던 아래 코드를

r'a\.[a-zA-Z]\s*&&\s*\([a-z]\s*=\s*a\.get\("n"\)\)\s*&&\s*'

새로운 아래 코드로 바꿔 붙여넣기하자.

r'a\.[a-zA-Z]\s*&&\s*\([a-z]\s*=\s*a\.get\("n"\)\)\s*&&.*?\|\|\s*([a-z]+)',

이제 유튜브 주소를 다시 넣고 generate하면 오류없이 잘된다.

디자이너가 아닌 사람에게 bi나 ci를 만드는 일은 언제나 곤욕이다.

어쩌면 디자이너에게도 쉬운일은 아닐것이다.

가장 큰 문제는 나조차 내가 원하는게 무엇인지 모른다는 것인데 이 문제는 스테이블 디퓨전으로 깔끔하게 해결된다. 컨셉을 주고 체크포인트와 프롬프트를 바꿔가며 300개 정도 뽑아보니 마음에 드는 것만 수십개가 나온다.

lora 는 코랩으로 만들어도 좋고 나처럼 kohya_gui로 만들어도 좋다.

https://github.com/bmaltais/kohya_ss

1. kohya를 설치한 후

2. https://blog.himion.com/175 나 https://blog.himion.com/176 의 스크립트를 이용해 네이버와 구글에서 bi 이미지들을 수집한다. 

3. 그 중 퀄러티가 괜찮은 것들만 추린다. 나는 100개 정도만 사용했다.

4. kohya의 Utilies > Captioning > BLIP Captioning - 구글의 비전을 사용한다. 이미지에 캡션을 모두 달고 kohya 내부에 폴더를 하나 만들어 넣는다.

5. kohya의 Dreambooth LoRA를 이용해 로라를 만든다. 나는 4090 덕분에 batch size를 8로 키우고 Epoch을 1로 줄여도 퀄리 좋게 나왔다. 약 100장으로 bi 로라를 만드는데 1시간 15분이 걸렸다.

6. 프롬프트를 아래와 같이 만든 후 300백장 정도 뽑았다.

Model: 2dn_1, Version: v1.2.1
positive
<lora:brand_identity:1>, logo, bi, ci, brand, text, "Wendy", beyond the world, dimly ufo of ghost, (moon:0.3), sky, <lora:weird:0.4>
Negative prompt: easynegative, ng_deepnegative_v1_75t, ((worst quality)), ((low quality)), easynegative,
Steps: 20, Sampler: Euler a, CFG scale: 4.5, Seed: 366227024, Size: 512x512, 

> 결론

1. 내가 상상도 못했던 다양한 분위기의 bi들이 뽑인다.

2. 체크포인트에 따라 분위기가 더욱 다양해진다.

3. Sampler는 처리가 단순한게 좋다. 실사 이미지를 뽑는게 아니니까.

4. 텍스트는 정확한 삽입이 어렵다. 텍스트 중심 로고는 좀 더 고민해야 할 것 같다.

5. 기본적인 포토샵, 일러가 가능한 사람은 찍어내듯 만들어낼수도 있겠다. 환상적이다.

11시에 일어났다.

계속 중얼대고 있었다.

성공하는 창업가라면 어떻게 행동했을지에 생각이 미쳤다.

너무 늦다. 늦어도 너무 늦다.

어쩌면 모두가 그런 낌새를 눈치챘는지 모른다.

그래서 다들 그랬는지 모른다..(분명 그랬을 것이다)

싱크대에 쌓인 식기들을 닦으며

깨끗히 준비가 완료되었다는 걸 알았다. 나는 늦을 이유가 없었다.

자꾸 늦으니까 내 심장조차 두근거리지 않는 것이었다.

성공하는 창업가라면 어떻게 행동했을지 생각했다.

그들은 새벽 5시에 잤다는 이유를 핑계로 대지 않았을 것이다.

성공한 적이 없어서 확실하진 않지만 이대로 성공할 수 없다는 건 성공한 적이 없는 나도 알 수 있다.

늦음은 납득 가능하다.

하지만 내 꿈은 납득 가능한 것이 아니다.

말이 되지 않는 것을 말이 되게 이뤄낼 수는 없다.

속도를 높여야 한다.

* 브라우저를 띄우지 않고 메모리에만 selenium을 띄워 크롤링하기

1. 기존 코드( https://blog.himion.com/176 )와 거의 유사하다.
2. headlessDriver() 함수가 추가되었다

'''
* 구글 이미지 가져오기 ver. Headless
'''

import os
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import undetected_chromedriver as uc

import urllib
import time, datetime

ITEM_LIST = [ "Keith Thompson", "Zdzislaw Beksinski", "dariusz zawadzki"] # 1번
FOLDER = 'google' # 2번
IMG_XPATH = '//*[@id="Sva75c"]/div[2]/div/div[2]/div[2]/div[2]/c-wiz/div/div/div/div[3]/div[1]/a/img[1]' # 3번
SIGNINURL = 'https://accounts.google.com/signin/v2/identifier?hl=ko&passive=true&continue=https%3A%2F%2Fwww.google.com%2F&ec=GAZAmgQ&flowName=GlifWebSignIn&flowEntry=ServiceLogin'
ID = 'xxxx@gmail.com' # 4번
PASSWORD = 'xxxx' # 5번

def main():
  start = check_start() # 시간 측정 시작
  driver = headlessDriver()# headless를 적용하고 싶을때
  driver.get(SIGNINURL)
  googleSignIn(driver)# 구글로그인하고
  
  for searchItem in ITEM_LIST:
    saveDir = makeFolder(searchItem)
    
    url = makeUrl(searchItem)# 검색할 url 가져와서
    driver.get(url)# 이미지 검색으로 가서
    maximizeWindow(driver)# 창최대화
    scrollToEnd(driver)

    forbiddenCount = saveImgs(driver, saveDir, start)# 모든 상세 이미지 src들을 가져온다
    sec = check_time(start)
    print(f'실패수{str(forbiddenCount)}, {sec}, {datetime.datetime.now().time()}')
  time.sleep(10)
  driver.quit() 
  
def headlessDriver():
  options = uc.ChromeOptions()
  options.headless=True
  options.add_argument('--headless=new')
  driver = uc.Chrome(options=options)
  return driver

# 구글 로그인
def googleSignIn(driver):
  idBtn = driver.find_element(By.XPATH,'//*[@id="identifierId"]')# id 입력칸
  idBtn.send_keys(ID)
  nextBtn = driver.find_element(By.XPATH,'//*[@id="identifierNext"]/div/button')
  nextBtn.click()# 다음 버튼 클릭

  # 아래 코드는 비밀번호 요소가 화면에 나타날때가지 10초간 기다리는 코드이나
  # 비번의 경우 not interactive elem라서 에러가 뜬다. 하지만 돌아가는 코드이니 기다림이 필요할때 쓰자.
  try:
    passwordBtn = WebDriverWait(driver, timeout=10).until(EC.presence_of_element_located( (By.XPATH,'//*[@id="password"]/div[1]/div/div[1]/input') ))
    time.sleep(4)
    passwordBtn = driver.find_element(By.XPATH,'//*[@id="password"]/div[1]/div/div[1]/input')# 비밀번호 입력칸
    passwordBtn.send_keys(PASSWORD)
    passwordNextBtn = driver.find_element(By.XPATH,'//*[@id="passwordNext"]/div/button')
    passwordNextBtn.click()# 비밀번호 다음 버튼
    print('구글 로그인 성공')
    # driver.implicitly_wait(10)
  except OSError as e:
    print(e)
    
  time.sleep(20)# 휴대폰 본인 인증등의 시간이 충분히 필요하다


# 구글 이미지 검색 url 만들기
def makeUrl(searchItem):
  url = 'https://www.google.com/search'
  params ={# q와 tbm이 필수
    'q'     : searchItem,
    'tbm'   : 'isch',
  }
  url = url + '?' + urllib.parse.urlencode(params)
  return url


# 폴더 생성
def makeFolder(searchItem):
  saveDir = os.path.join(os.getcwd(), 'data', f'{FOLDER}_{searchItem}')
  try:
    if not(os.path.isdir(saveDir)): # 해당 폴더가 없다면
      os.makedirs(os.path.join(saveDir)) # 만들어라
    return saveDir
  except OSError as e:
    print(e+'폴더 생성 실패')

# 창 최대화
def maximizeWindow(driver):
  driver.maximize_window()

# 모든 이미지 목록을 가져오기 위해 무한 스크롤 다운
def scrollToEnd(driver):
  prev_height = driver.execute_script('return document.body.scrollHeight')
  print(f'prev_height: {prev_height}')
  
  while True:
    time.sleep(1) #네이버는 sleep없이 이동할 경우 무한로딩에 걸린다.
    driver.execute_script('window.scrollTo(0, document.body.scrollHeight)')
    time.sleep(3)
    
    cur_height = driver.execute_script('return document.body.scrollHeight')
    print(f'cur_height: {cur_height}')
    if cur_height == prev_height:
      print('높이가 같아짐')
      break
    prev_height = cur_height
  # 페이지를 모두 로딩한 후에는 최상단으로 다시 올라가기
  driver.execute_script('window.scrollTo(0, 0)')

# 모든 이미지들을 저장한다
def saveImgs(driver, saveDir, start):
  time.sleep(1)
  forbiddenCount = 0
  imgs = driver.find_elements(By.CSS_SELECTOR, '.rg_i.Q4LuWd')
  img_count = len(imgs)
  print(f'전체 이미지수 : {img_count}')
  # 하나씩 클릭해가며 저장
  for imgNum, img in enumerate(imgs): # imgNum에 이미지번호가 0부터 들어간다
    try:
      img.click()
      time.sleep(3)
      
      # 아래의 xPath는 자주 바뀌는 것 같다. 나머지는 고정인거 같으니 이것만 가끔 확인해주자
      bigImg = driver.find_element(By.XPATH, IMG_XPATH)
      src = bigImg.get_attribute('src')
      urllib.request.urlretrieve(src, saveDir + '/' + str(imgNum) + '.jpg')
      sec = check_time(start)
      print(f'{imgNum+1}/{img_count} saved {sec}')

    except Exception as e:
      print(e)
      forbiddenCount += 1# 저장 실패한 개수. forbidden이나 파일에러도 꽤 많다
      continue
  return forbiddenCount


# 시간 측정
def check_start():
    start_time = time.time()
    print("Start! now.." + str(start_time))
    return start_time
def check_time(start):
    end = time.time()
    during = end - start
    sec = str(datetime.timedelta(seconds=during)).split('.')[0]
    return sec
main()

* 로그인을 하고 크롤링을 하는 이유

1. 구글의 경우 로그인하고 나오는 이미지와 로그인을 하지 않고 나오는 이미지 목록이 다를때가 많다.
2. 성인인증이 필요한 이미지들은 로그인을 해야만 가져올수 있다.

* 사용법

1. 정상적으로 크롤링되는지 확인완료 [23.06.20]
2. 모듈 설치 - pip install undetected_chromedriver selenium
3. 주석 1번에 이미지를 원하는 검색어 목록 입력
4. 주석 2번에 폴더이름 입력. 이미지는 data\google\ 아래 저장됨
5. 주석 3번에 상세이미지의 xPath 입력. 구글의 경우 자주 바뀌는 것 같다.
6. 주석 4번에 구글 ID입력
7. 주석 5번에 구글 비밀번호 입력. 이후 추가로 스마트폰 인증화면이 뜰 경우에 대비해 20초간 기다린다.

'''
* 구글 이미지 가져오기 (23.06.20)
'''

import os
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import undetected_chromedriver as uc

import urllib
import time, datetime

ITEM_LIST = [ "Keith Thompson", "Zdzislaw Beksinski", "dariusz zawadzki"] # 1번
FOLDER = 'google' # 2번
IMG_XPATH = '//*[@id="Sva75c"]/div[2]/div/div[2]/div[2]/div[2]/c-wiz/div/div/div/div[3]/div[1]/a/img[1]' # 3번
SIGNINURL = 'https://accounts.google.com/signin/v2/identifier?hl=ko&passive=true&continue=https%3A%2F%2Fwww.google.com%2F&ec=GAZAmgQ&flowName=GlifWebSignIn&flowEntry=ServiceLogin'
ID = 'xxxx@gmail.com' # 4번
PASSWORD = 'xxxx' # 5번

def main():
  start = check_start() # 시간 측정 시작
  driver = uc.Chrome()# 구글로그인을 위한 모듈을 켜고
  driver.get(SIGNINURL)
  googleSignIn(driver)# 구글로그인하고
  
  for searchItem in ITEM_LIST:
    saveDir = makeFolder(searchItem)
    
    url = makeUrl(searchItem)# 검색할 url 가져와서
    driver.get(url)# 이미지 검색으로 가서
    maximizeWindow(driver)# 창최대화
    scrollToEnd(driver)

    forbiddenCount = saveImgs(driver, saveDir, start)# 모든 상세 이미지 src들을 가져온다
    sec = check_time(start)
    print(f'실패수{str(forbiddenCount)}, {sec}, {datetime.datetime.now().time()}')
  time.sleep(10)
  driver.quit() 
  
# 구글 로그인
def googleSignIn(driver):
  idBtn = driver.find_element(By.XPATH,'//*[@id="identifierId"]')# id 입력칸
  idBtn.send_keys(ID)
  nextBtn = driver.find_element(By.XPATH,'//*[@id="identifierNext"]/div/button')
  nextBtn.click()# 다음 버튼 클릭

  # 아래 코드는 비밀번호 요소가 화면에 나타날때가지 10초간 기다리는 코드이나
  # 비번의 경우 not interactive elem라서 에러가 뜬다. 하지만 돌아가는 코드이니 기다림이 필요할때 쓰자.
  try:
    passwordBtn = WebDriverWait(driver, timeout=10).until(EC.presence_of_element_located( (By.XPATH,'//*[@id="password"]/div[1]/div/div[1]/input') ))
    time.sleep(4)
    passwordBtn = driver.find_element(By.XPATH,'//*[@id="password"]/div[1]/div/div[1]/input')# 비밀번호 입력칸
    passwordBtn.send_keys(PASSWORD)
    passwordNextBtn = driver.find_element(By.XPATH,'//*[@id="passwordNext"]/div/button')
    passwordNextBtn.click()# 비밀번호 다음 버튼
    print('구글 로그인 성공')
    # driver.implicitly_wait(10)
  except OSError as e:
    print(e)
    
  time.sleep(20)# 휴대폰 본인 인증등의 시간이 충분히 필요하다


# 구글 이미지 검색 url 만들기
def makeUrl(searchItem):
  url = 'https://www.google.com/search'
  params ={# q와 tbm이 필수
    'q'     : searchItem,
    'tbm'   : 'isch',
  }
  url = url + '?' + urllib.parse.urlencode(params)
  return url


# 폴더 생성
def makeFolder(searchItem):
  saveDir = os.path.join(os.getcwd(), 'data', f'{FOLDER}_{searchItem}')
  try:
    if not(os.path.isdir(saveDir)): # 해당 폴더가 없다면
      os.makedirs(os.path.join(saveDir)) # 만들어라
    return saveDir
  except OSError as e:
    print(e+'폴더 생성 실패')

# 창 최대화
def maximizeWindow(driver):
  driver.maximize_window()

# 모든 이미지 목록을 가져오기 위해 무한 스크롤 다운
def scrollToEnd(driver):
  prev_height = driver.execute_script('return document.body.scrollHeight')
  print(f'prev_height: {prev_height}')
  
  while True:
    time.sleep(1) #네이버는 sleep없이 이동할 경우 무한로딩에 걸린다.
    driver.execute_script('window.scrollTo(0, document.body.scrollHeight)')
    time.sleep(3)
    
    cur_height = driver.execute_script('return document.body.scrollHeight')
    print(f'cur_height: {cur_height}')
    if cur_height == prev_height:
      print('높이가 같아짐')
      break
    prev_height = cur_height
  # 페이지를 모두 로딩한 후에는 최상단으로 다시 올라가기
  driver.execute_script('window.scrollTo(0, 0)')

# 모든 이미지들을 저장한다
def saveImgs(driver, saveDir, start):
  time.sleep(1)
  forbiddenCount = 0
  imgs = driver.find_elements(By.CSS_SELECTOR, '.rg_i.Q4LuWd')
  img_count = len(imgs)
  print(f'전체 이미지수 : {img_count}')
  # 하나씩 클릭해가며 저장
  for imgNum, img in enumerate(imgs): # imgNum에 이미지번호가 0부터 들어간다
    try:
      img.click()
      time.sleep(3)
      
      # 아래의 xPath는 자주 바뀌는 것 같다. 나머지는 고정인거 같으니 이것만 가끔 확인해주자
      bigImg = driver.find_element(By.XPATH, IMG_XPATH)
      src = bigImg.get_attribute('src')
      urllib.request.urlretrieve(src, saveDir + '/' + str(imgNum) + '.jpg')
      sec = check_time(start)
      print(f'{imgNum+1}/{img_count} saved {sec}')

    except Exception as e:
      print(e)
      forbiddenCount += 1# 저장 실패한 개수. forbidden이나 파일에러도 꽤 많다
      continue
  return forbiddenCount


# 시간 측정
def check_start():
    start_time = time.time()
    print("Start! now.." + str(start_time))
    return start_time
def check_time(start):
    end = time.time()
    during = end - start
    sec = str(datetime.timedelta(seconds=during)).split('.')[0]
    return sec
main()

* 상세 이미지의 xPath 알아내는 방법

- 크롬의 이미지 클릭 후 뜨는 상세이미지 화면에서 해당 elements의 xPath를 아래와 같이 복사함

다음에는 headless 크롤링에 대해 정리하겠다

- headless 크롤링은 화면에 브라우저 창을 띄우지 않고 메모리에서만 작동하는 방식이다.

네이버 이미지 크롤링하기

동기

1. 좋은 로라를 만들기 위해서는 이미지 파일들이 많을수록 좋다.
2. 경험상 이미지 퀄러티는 구글보다 네이버가 더 좋았다 - 물론 구글 이미지 크롤링 코드도 공유할 예정
3. 네이버는 구글에 비해 크롤링에 관대하다. 그래서 코드가 간결해진다 - 구글은 undetected_chromedriver 등을 사용해야한다.

사용법

1. 2023년 6월 19일 현재 아래 코드는 잘 돌아간다. 사용하기 쉽게 주석을 많이 달아놓았다.
2. 셀리니움이나 urllib등의 모듈 설치가 우선이다.

pip install selenium

3. 실행 후 크롬창이 뜨고 창이 최대화 된다. 
4. 자동으로 스크롤되며 이미지 목록을 가져온다. 이때는 창을 내리지말고 스크롤이 끝까지 내려가 더 이상 가져올 이미지가 없을때까지 기다려주자. 이미지 목록을 다 가져온 후 자동으로 스크롤이 맨위로 올라간다. 이 다음부터는 창을 내려도 된다. 
5. 가져오길 원하는 이미지 이름을 아래 코드의 item_list 안에 넣는다. 주석 #1번
6. 폴더 이름을 주석#2번에 넣는다. 아래 코드처럼 naver로 할 경우 이미지는 data\naver\ 안에 저장된다. 해당 폴더를 미리 만들어 놓지 않아도 알아서 만들고 저장한다.
7. 상세 이미지의 xpath를 넣는다. 주석#3번. 크롤링을 해보니 xpath가 아~주 가끔 바뀔때가 있다. 아마 그대로  놔둬도 큰 문제없을 것이다.

최신 클래스와 xPath로 재설정 함 - 24.07.26

'''
* 네이버 이미지 가져오기 (24.07.26)
'''

import os
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
import urllib
import time, datetime

item_list = [ "도다리"] # 1번
FOLDER = 'naver' # 2번
IMG_XPATH = '/html/body/div[4]/div/div/div[1]/div[2]/div[1]/img'

def main():
    start = check_start() # 시간 측정 시작
    driver = webdriver.Chrome()
    
    for searchItem in item_list:
        saveDir = makeFolder(searchItem)
        
        url = makeUrl(searchItem)# 검색할 url 가져와서
        driver.get(url)# 이미지 검색으로 가서
        maximizeWindow(driver)# 창최대화
        scrollToEnd(driver)

        forbiddenCount = saveImgs(driver, saveDir, start)# 모든 상세 이미지 src들을 가져온다
        sec = check_time(start)
        print(f'실패수{str(forbiddenCount)}, {sec}, {datetime.datetime.now().time()}')
    time.sleep(10)
    driver.quit() 

# 이미지 검색 url 만들기
def makeUrl(searchItem):
    url = 'https://search.naver.com/search.naver'
    params ={
        'where' : 'image',
        'sm'    : 'tab_jum',
        'query' : searchItem
    }
    url = url + '?' + urllib.parse.urlencode(params)
    return url

# 폴더 생성
def makeFolder(searchItem):
    saveDir = os.path.join(os.getcwd(), 'data', f'{FOLDER}_{searchItem}')
    try:
        if not(os.path.isdir(saveDir)): # 해당 폴더가 없다면
            os.makedirs(os.path.join(saveDir)) # 만들어라
        return saveDir
    except OSError as e:
        print(e+'폴더 생성 실패')

# 창 최대화
def maximizeWindow(driver):
    driver.maximize_window()

# 모든 이미지 목록을 가져오기 위해 무한 스크롤 다운
def scrollToEnd(driver):
    prev_height = driver.execute_script('return document.body.scrollHeight')
    print(f'prev_height: {prev_height}')
    
    while True:
        time.sleep(1) #네이버는 sleep없이 이동할 경우 무한로딩에 걸린다.
        driver.execute_script('window.scrollTo(0, document.body.scrollHeight)')
        time.sleep(3)
        
        cur_height = driver.execute_script('return document.body.scrollHeight')
        print(f'cur_height: {cur_height}')
        if cur_height == prev_height:
            print('높이가 같아짐')
            break
        prev_height = cur_height
    
    # 페이지를 모두 로딩한 후에는 최상단으로 다시 올라가기
    driver.execute_script('window.scrollTo(0, 0)')

# 모든 이미지들을 저장한다
def saveImgs(driver, saveDir, start):
    time.sleep(1)
    forbiddenCount = 0
    imgs = driver.find_elements(By.CSS_SELECTOR, '._fe_image_tab_content_thumbnail_image')
    
    print('imgs')
    print(imgs)
    srcList = []
    img_count = len(imgs)
    print(f'전체 이미지수 : {img_count}')
    # 하나씩 클릭해가며 저장
    for imgNum, img in enumerate(imgs): # imgNum에 이미지번호가 0부터 들어간다
        try:
            img.click()
            time.sleep(3)
            
            # 아래의 xPath는 자주 바뀌는 것 같다. 나머지는 고정인거 같으니 이것만 가끔 확인해주자
            bigImg = driver.find_element(By.XPATH, IMG_XPATH)
            src = bigImg.get_attribute('src')
            urllib.request.urlretrieve(src, saveDir + '/' + str(imgNum) + '.jpg')
            sec = check_time(start)
            print(f'{imgNum+1}/{img_count} saved {sec}')

        except Exception as e:
            print(e)
            forbiddenCount += 1# 저장 실패한 개수. forbidden이나 파일에러도 꽤 많다
            continue
    return forbiddenCount


# 시간 측정
def check_start():
    start_time = time.time()
    print("Start! now.." + str(start_time))
    return start_time
def check_time(start):
    end = time.time()
    during = end - start
    sec = str(datetime.timedelta(seconds=during)).split('.')[0]
    return sec
main()

이제 코드를 실행해보자. 잘 실행될 것이다.

일반적으로 네이버는 최대 500개의 이미지를 가져온다.