Wookang makes AI

끝내 달려버렸다.

아직도 보슬보슬 비가 내리고 있었다. 바람도 많이 불었다.

엊그제만해도 인산인해였던 강변에는 아무도 없었다.

아주 오랜만에 느껴보는 거리의 감촉.

너무 오랫동안 런닝머신에서만 달렸구나.

온 전신을 맞이하는 바람의 무게를 이겨내고

약동하는 허벅지,

붕하고 떠올라 배경을 질주하는 속도감

잊고 있었다.

나는 빨랐다.

매일 밤 헬스장 구석, 19세기 어느 유럽의 가혹한 형벌을 받으며 잊고 있었던

내가 빨랐던 것에 대한 기억

나는 살아있었다.

하..

개막전부터 내리 3게임 연속 1점차 패배

9회에 역전당하거나 마지막 1점차까지 따라갔다가 지는 경기의 연속

마치 몸부림치듯 기필코 패배를 달성하는 기분까지 든다

무엇보다 걱정되는 건

예전에도 몇번이나 이런 재수?없는 일들이 벌어졌고 

그러한 재수없음이 이어져 그 해 전체를 망쳐버렸다는 것

이 불필요한 기시감...

무엇에도 중독되지 않는 내가 가진 유일한 중독, 유일한 정체성, 한화이글스

젠장할!

ai 에게 먹일 데이터를 요리중이다.

가지고 있는 epub들이 조금 있는데 이대로는 먹일 수 없으니 모두 text로 바꿔놔야한다.

그런데 생각보다 자료가 없었다.

특히 한글들이 모두 깨져나왔다.

calibre를 추천하기에 설치후 convert 해봤더니 출력 폴더를 선택할 수 없어 이것도 마찬가지로 꽤나 귀찮은 작업이었다 - 하지만 파이썬으로 끝내 실패한다면 이렇게라도 작업한 후 txt파일들을 모두 찾아 한번에 모으는 코드를 만들 작정이었다.. 지만 파이썬으로 해결했다.

먼저 EbookLib를 설치한다

1. pip install EbookLib
https://pypi.org/project/EbookLib/

- doc 도 살펴보자. 근데 좀 부족하다

https://docs.sourcefabric.org/projects/ebooklib/en/latest/tutorial.html#introduction

2. This is codes

import ebooklib
from ebooklib import epub
from bs4 import BeautifulSoup

book = epub.read_epub('./tear.epub')
result = book.get_metadata('DC', 'language') # 어떤 언어로 되어 있는지 확인할 수 있다

for idx, doc in enumerate(book.get_items_of_type(ebooklib.ITEM_DOCUMENT)):
    book = doc.content
    soup = BeautifulSoup(book, 'html.parser')
    soup = soup.select('p')
    for pTag in soup:
        print(pTag.text)

3. 알맞은 옵션을 찾는데 고생을 좀 했다.

- 한글 문제의 경우 stackoverflow는 큰 도움이 되지 않는다. 그리고 한글 문제도 아니었다.

- idx를 사용하기 위해 enumerate를 썼지만 이 경우 범용성이 떨어져 그냥 doc만 사용한다. 책의 특정 정보만 뽑아서 처리하고 싶다면 쓰는 것도 좋겠다.

4. 책 제목은 book.get_metadata('DC', 'title') 이렇게 가져올 수 있다.

- 이걸로 파일명을 만들어 폴더 하나에 저장하면 모든 epub파일을 한번에 txt로 만들수 있겠다.

매번 잃어버리고 또 지르는 선글러스

사실 기스 때문에 선글러스를 바꾼 적은 없다. 매번 잃어버렸다. 벌써 4번째인가.

그래서 사고 또 사도 다시 보면 선글러스가 부족하다. 특히 블루렌즈의 선글러스를 좋아해서 자주 착용하다보니 자주 잃어버린다.

그래서 또 질렀다. 영상을 보니 망치로 쳐도 기스 하나 안난단다. 아마존 평도 호평일색이다.

사실 잃어버리지나 않았으면 좋겠다.

다다음 주에는 받을 수 있겠다. 그때까지는 미세먼지 마스크나 차고 다녀야 겠다.

●  한반도 지진 데이터 시각화 최종 결과물   

> 개요

1. 기상청 1978년 8월부터 2018년 3월 4일 새벽 0시 52분 지진까지 모든 지진 데이터 분석.

- 총 1723회.

- 총 크롤링 시간 2분 미만. node.js 이용. 

- 조회 목록 999 제한으로 1978년부터 2011년까지 한번, 나머지 기간 다시 한번으로 분리해서 수집.

2. 지도는 여기 블로그 (danielykim.github.io)에 올린 TopoJson 파일 이용

3. d3.js로 시각화.

4. 추가로 사용한 라이브러리는 

- lodash(데이터 처리. 뒤늦게 적용하여 적극 활용x)

- d3.tip.js(마우스 클릭시 툴팁 표시)

- d3.format.js(숫자 표현 처리. 지진 에너지의 숫자가 커서 지수 도입)

- d3-queue.v3.js(지진데이터와 지도 데이터 순차적 로딩)

- topojson.v1.js(지도 데이터 처리)

- d3-scale-chromatic.v.js(지도 색깔 처리. d3.interpolateOrRd 사용)

5. 소스코드는 원하시는 분이 계시면 덧글로.

- 다만 github에 올리지 않은 이유도 같은데, 코드만 보고 이해하기 좀 어려울 수 있겠다.

5. 지진을 공부(?)하시는 분이나 연구하시는 분들에게 색다른 시각이나 어떤 도움이 되었으면 좋겠다.

> 결과물

● 한반도 지진 시각화 작업 완성   

> 들어가는 말

1. 지난 연말 시작했던 한반도 지진 시각화 작업이 일단락됐다.

> 작업 이미지

> 결과

- 실시간 기상청 지진 데이터 + 서버 까지 도메인으로 만들어 올려놓으려고 한다. 그러면 접속도 쉽고 항상 최신 데이터니 쓸만 할거다.

- 그리고 기상청과 지진을 연구하거나 공부하는 사람들에게 주소만 홍보(?)해 놓고 끝이다.

- 지도는 확대/축소 및 moving이 가능하다. 

● 한반도 지진 발생지역 1차 완성

> 개요

1. 1978년부터 2018년 1월까지 발생한 모든 지진들을 지도 하나에 표현해봤다.

2. 원의 크기는 지진의 강도를 표현한다.

3. 원의 색이 파란색에 가까울 수록 최근에 발생한 지진이다. 원의 색이 옅어 질수록 오래전에 발생한 지진이다.

- 색의 범위는 rgba( 254 ~ 0, 254 ~ 0, 255, 0.2 ) 와 같다.

- 즉 최초의 지진기록인 1978년  8월은 값이 254로 rgba( 254, 254, 255, 0.2 ) 가 되어 거의 색이 나타나지 않고 2018년 1월의 지진은 rgba( 0,0, 255, 0.2)가 되어 가장 진한 색으로 칠해진다.

- 알파가 0.2 으므로 기본적으로 색이 옅다. 따라서 비슷한 지역에 여러번 지진이 일어났을 경우 그 색이 중첩되어 진해진다.

> 결론

1. 최근에 일어나고 지진 규모가 크고 비슷한 지역에 여러번 지진이 일어났을 경우 눈에 잘띈다...

2. ..만 솔직히 잘 안띈다. 무려 40년동안 일어난 1717개의 지진을 겨우 255범위안에 그것도 파란색에 한정해서 더구나 알파 0.2를 먹여서 표현했기 때문이다.  ㅋㅋ 무언가 좋은 색 범위가 있을 것 같은데 그건 좀 더 고민해 봐야겠다. 이럴땐 정말 디자이너가 있으면 좋겠다는 생각이다.

3. 어쨌든 아래 결과를 보면 포항시와 경주시, 그리고 보령시(라지만 서해안 멀리)에 의미 있는 지진이 발생하고 있음을 알 수 있다. 그리고 북한 서해안, 저기가 어딘지는 모르겠지만 저쪽과 음, 포항시 위에 영덕군 쪽 동해안에도 지진이 꽤 크고 반복해서 발생하고 있다. 

4. 그리고 생각보다 많은 지진들이 내륙에서 일어나고 있다. 보기에 따라서는 포항,경주에서 서해안 보령, 서산까지 쭈욱 지진이 이어지는 것처럼 보인다.

> 복기

1. 아쉬운 것은 가중치를 어디에 두면 좋을지다. 내가 지진 자체에 대해 잘 모르다보니 최근에 일어난 지진에 좀 더 가중을 둬야할지 지진강도에 둬야 할지, 반복횟수에 둬야 할지 몰라 내 마음대로 주다보니 원의 색과 크기가 주는 의미가 '실제 지진이 주는 정보'를 왜곡시킬 수 있다는 약간의 걱정이다.

2. 이제 지진 줌인아웃과 원을 클릭했을 때 해당 지진에 대한 상세정보를 보여주기만 하면 끝난다. 뭔가 좀 아쉬운데, 뭐 더 추가할 거 없을까 모르겠다.

3. 게임처럼 여기에 지진 발생기능까지 넣어보려 한다. 디자인이 문제지 개발 자체는 오래 안걸릴 것 같다.

4. 다 완성되면 기상청에서 새로운 지진 데이터를 가져오는 자동 크롤링 기능까지 추가해 서버에 올릴 생각이다. 인터랙티브하게 실시간 가중치를 바꾸는 기능도 넣으면 좋겠으나, 대체 누가 그걸 바꿔보고 있겠는가! 지진을 연구하는 누군가의 요청이 아주 혹시라도 있다면 그때 만들겠다.

5. 그러면 이 프로젝트도 끝이다. 다른 또 무얼 만들어볼까나.

• 한글키를 누를때마다 작은 팝업이 떴다가 사라진다. 이걸 없애자.

1. 키보드 설정으로 들어간 후 > 전역설정 > 모양으로 가자.

2. 다음 하단의 '고급설정'을 활성화시킨다.

3. 그러면 아래 같이 가장 위에 Show Input Method Hind After Input method changed가 활성화 되어 있다. 이걸 아래 이미지 처럼 diable 시키자.

4. 이제 어떤 팝업도 뜨지 않는다.

• 한글 입력기를 ibus -> fcitx 로 바꾸면 세미콜론을 누를때마다 아래와 같은 팝업이 뒤찮게 뜬다. 없애자.

1. 상단의 고정메뉴에서 키보드를 찾아 클릭 한 후 설정에 들어간다.

2. 그럼 아래와 같은 화면이 뜬다. 에드온을 찾아가서 Quickphrase를 더블클릭

3. 아래와 같이 없음으로 바꾼다 > 확인

4. 이제 팝업이 뜨지 않는다.