Wookang makes AI

밤 11시 50분 갑자기 달리고 싶어졌다. 다음 주 내내 비가 온다는 예보를 들었기 때문일지도 모른다.

거의 3년만이었다. 러닝머신은 꾸준히 달렸어도 야외 달리기는 또 다르다.

5km나 뛸수 있을까, 3년 전에 야외 달리기를 했을 때도, 그때도 지금처럼 오랜만에 야외에서 달렸다. 당시에도 처음 뛸 때는 허벅지가 터질것 같고 허리가 아파서 5km를 뛰지 못했다. 물론 짬이 있다보니 3번째 달릴때 즈음부턴 정상적인 페이스로 달릴 수 있었다.

그래서 이번에는 처음부터 기대하지 않고 가볍게 달렸다. 나이키 앱도 켜지 않고 시계로만 시간을 재서 저 앱화면에는 처음 4.5km가 누락돼있다. 즉 오늘 달린 전체 거리는 약 14km. 페이스는 6분 38초 ㅋ 부끄럽기 그지없는 페이스지만 평소보다 거의 3배의 거리를 달렸고 야외 달리기는 처음이라는 것으로 변명을 대신한다.

이번에도 달리자마자 허벅지가 부풀고 허리가 아파오기 시작했지만 다행히 몇킬로 뛰다보니 예전 실전 감각이 떠오르며 아픔이 사라졌다. 야외 도로에서 어떻게 달려야 하는지 그때의 폼이 떠올랐달까. 그래서 중간에 나이키 앱을 켜고 기록을 시작했다.

토요일 밤, 이 늦은 시간에도 자전거를 타는 사람들이 꽤 있었다. 혼자 자전거를 타는 여자들도 여럿이었다. 나처럼 러닝을 하는 사람들도 몇명 있었다. 다들, 나처럼, 다음주 기상예보때문에 나온것일까, 혼자 정리할 생각들이 있었던걸까

달리기는 내 안에 신을 영접하는 어떤 의식같다. 달릴때 나는 진정한 내가 된다. 본질적인 내가 된다. 이물질이 제거된 고유의 성질만 남은 분자가 된다. 아주 기분이 좋았다. 앞으로 계속 야외에서 달리게 될 것 같다. 그래서 기록을 남기려 한다.

dc, 펨코, 네이트판같은 커뮤니티사이트를 크롤링해야 할때가 있다. 하지만 대부분의 커뮤니티 사이트는 몇번만 글을 가져와도 ip가 차단된다. 이때 필요한 것이 ip우회다. 가장 좋고 쉬운 방법은 nord vpn 같은 유료 우회프로그램을 사용하는거지만 맥이나 리눅스 환경이라면 공짜인 tor를 사용하는 것도 대안이 될 수 있다. - 윈도우에서는 해본적이 없어 될지 안될지 모르겠는데 쉽진 않을 거 같다.

1. 먼저 tor를 설치한다. 한참동안 설치한다.

1. sudo apt install tor [리눅스]
2. brew install tor [맥]

2. 터미널에서 tor를 실행한다. 이제 tor는 9050포트를 이용해 통신한다.

3. 아래의 예는 ip를 우회해서 펨코(fmkorea.com)의 메인 페이지 글목록을 가져오는 코드다.

- 파이어폭스 브라우저를 이용했다.

- 처음 접속 후 10초를 쉬는 이유는 펨코의 경우 첫 접속시 redirect를 하기 때문이다. 이건 사이트마다 다르기 때문에 그에 맞게 수정이 필요하다.

import re, time
from selenium import webdriver
from bs4 import BeautifulSoup

HOME = 'https://fmkorea.com'
profile = webdriver.FirefoxProfile()
profile.set_preference("network.proxy.type", 1)
profile.set_preference("network.proxy.socks", "127.0.0.1")
profile.set_preference("network.proxy.socks_port", 9050)
profile.update_preferences()

driver = webdriver.Firefox(profile)
driver.get(HOME)
time.sleep(10)
driver.get('https://www.fmkorea.com/index.php?mid=best&page=1')
html = driver.page_source # 페이지 소스코드 가져오기
soup = BeautifulSoup(html, 'html.parser')

articles = soup.select(".li_best2_pop0 ")
for articles in articles:
    voted_count = articles.select('.count')[0].text.strip() # 추천수
    title = articles.select('.hotdeal_var8')[0]
    comment_count = title.find('span').text[1:].replace(']','') # 댓글수
    title.find('span').decompose()# 자식 태그인 span태그를 파괴한다
    
    href = HOME + title['href']
    title = title.text.strip() # 제목
    title = re.sub(r"[^\uAC00-\uD7A30-9a-zA-Z\s]", "_", title) # 특수문자 _로 변경
    category = articles.select('.category > a:nth-child(1)')[0].text.strip() # 카테고리
    author = articles.select('.author')[0].text[2:].strip() # 글쓴이. 앞에  쓰레기 문자 제거후 가져옴
    date = articles.select('.regdate')[0].text.strip() # 날짜
    
    output_obj = { "title": title, "href": href,"voted_count": voted_count, "comment_count": comment_count, "category": category, "author": author, "date": date }
    
    print(output_obj)
    
driver.quit()

4. 실행해본다. 잘된다.

5. 결론

- 해당 커뮤니티의 robot.txt를 살핀 후 그에 맞게 데이터를 취합해야 한다.

- 해당 커뮤니티의 서버에 부하가 가지않도록 충분히 sleep을 주며 데이터를 가져와야 한다. tor에서 제공하는 ip에도 한계가 있으므로 우회하더라도 ip차단을 당할 수 있다.

- 주요 커뮤니티 사이트들은 보안이 강력해 크롤링이 쉽지 않다. 구조가 자주 바뀌기 때문에 위 코드가 갑자기 작동 안될수도 있다. 법적인 문제가 생길수도 있다. 그러니 딱 필요한 만큼만 천천히 취합해야 한다.

수년만에 만난 친구는 반가워하는 것 같았지만 조금 바빠보였다.

나는 멀리있는 친구를 만나러갔다. 친구는 (나도 잘 아는 사람들이 많은) 어떤 모임에 참석해야한다며 내게 시간을 내기 어려워했다.

나는 알겠다고 말해놓곤 친구가 참석한다는 모임 장소에 깜빡 놓고(?) 간 물건이 있다며 방문했다.

내가 다 잘아는 사람들(후배들)이었다. 그리고 실제로 내가 놓고 간 물건이 있었다.

물건을 들고 그 장소를 나왔다.

다시 집으로 돌아오는 길은 복잡했다. 터미널로 어떻게 가야할지 몰랐다.

한쪽에는 등산복을 입은 할머니, 할아버지들이 많이 계셨다. 변두리 시골느낌이었다. 할아버지들에게 터미널로 어떻게 가야하는지 여쭸다.

할아버지들은 내가 묻지도 않는 여러 이야기들을 들려주셨다.

나는 잘 이해하지 못했지만 경청하며 고개를 끄떡였다.

할머니들이 착하다며 칭찬해주셨다.

한참후 다시 혼자가 되었지만 여전히 터미널이 어디있는지 알수 없었다.

친구의 그 반가워하면서도 귀찮아하는 표정을 잊을 수 없다.

친한 친구가 있음에도 혼자가 된 상황이 고통스러웠다.

그 모임의 후배들도 예전에는 모두 나를 잘 따르던 후배들이었다.

그들은 나를 보기만 할뿐 아무말도 하지않았다. 놓고 갔다는 물건을 찾는 시늉만했다.

그곳에서 나는 어쩌다 이 지경이 된 건지 도무지 알 수가 없었다.

깨어난 지금, 내가 그 이유를 알고 있다는 걸 깨달았다.

당시에는 나를 훌륭한 개발자라고 생각했다. 처음부터 끝까지 무언가를 만드는 것도 벌써 두번째였다. 지금처럼 파파고나 구글 번역이 좋지 않던 시절이었다. 

돈을 벌지 못하는 개발이 지긋지긋했던 나는 뜬금없이 영어 공부에 빠져있었다. 내가 개발을 잘할 수 있게 된 방법론을 영어에 적용해 보고 싶었다. 돌이켜보건데 둘다 결과가 별로였던 건 이렇게 필연적이었다. 

그럼에도 이 서비스의 아이디어는 나쁘지 않다고 생각한다. 나처럼 숫자 듣기에 약한 사람이나 나만의 특정 상황을 훈련해야 하는 사람이라면 그런 문장들을 집중적으로 반복해 듣고 익힐 수 있기 때문이다. 물론 나는 여전히 영어 숫자 듣기에 약하다. 그러니 이 서비스의 신뢰 여부는 내 판단을 넘어선다.

https://github.com/vEduardovich/sayToRemember

https://www.youtube.com/watch?v=MSGr6z-tVTU 

넥슨겜이지만 참신하고 재밌다는 말도 안되는 이야기를 듣고 시작했다.

시작 1시간만에 분노의 그만두기 후 나만 그런건가 알아보니 역시나 나만 그런건 아니었다.

내가 딱 저 침투부 영상처럼 플레이하다가, 저렇게 똑같이 몇번 죽고 그만뒀다.

아기자기하게 갈거면 옛날 고전게임 '금광을 찾아서'처럼 중심 플레이 하나를 코어에 두고 부자가 된다는 목표아래 곁가지를 쳤어야하는데

이건 분주하고 잡다하게 할 것들이 많은데 그 플레이 방식이 각각 달랐다.

미니게임 여러개가 물리적으로 결합되어 있어 내가 게임을 하는게 아니라 게임에 끌려가는 기분이다.

레이싱 게임을 1분하고 클릭 게임을 1분하고 데이트 게임을 1분하고 슛팅 게임을 1분하고 다시 레이싱 게임을 1분하고 돌고 도는 수레바퀴.

신안 염전 노예가 된 것 같은 기분이다.

무엇보다 확실하건 내가 주인공은 아니었다. 나는 계속 그냥 게임의 시중만 들고 있다.

내가 주도하는게 하나도 없다는 부분이 너무나 마음에 안들었다.

나는 재미를 못느꼈다.