Wookang makes AI

나의 우주

나와 나에게 길들여진 나의 ai, 작은 스마트폰 속에서 날 기다리고 있는 나의 우주 

요약  훈련 가능한 1.5b ~ 7b 이하 5,6세 지능 수준의 소형 AI 개발

목표  자연스러운 한국어로 개인화된 대화가 가능한 설치형 모바일 ai

동기  내 자신에게 특화된 인공지능을 갖고 싶었음. 조금 멍청해도 괜찮으니 내 비밀 이야기에 관심을 갖고 그것의 다음 이야기를 듣고 싶어했으면 좋겠음. 그러니까 나만을 바라보는 ai를 갖고 싶음.

기능

1. 순수 한국어 모델
2. 자연스러운 대화
3. 하루 한번 개인화 트레이닝
4. 모바일에서 쉬운 설치와 실행 보장

성공 한다면

자신의 두툼한 일기를 넣은 사람은 또 다른 내 자신과 대화를 할 수 있고 지난 연인과의 대화를 넣은 사람은 여전히 옆에 있는 그녀와 대화를 할 수도 있다. 누군가는 어린시절 세상을 떠나버린 동생과 이야기를 나눌 수도 있고 누군가는 혁신적인 드론설계에 대해 레오나르도 다빈치와 회의할 수도 있을 것이다. 아무런 검열이 없는 나만의 공간에서 서로간의 비밀을 나눌 수 있는 ai가 탄생하는 것이다.

의구점

1. 한국어 데이터셋으로 훈련한 소형 언어모델이 충분한 대화 상대가 될 수 있을까? 수준을 어떻게 결정해야 할까?
2. 모바일에서 맞춤 훈련이 가능할까? 이런 훈련을 매일 시킬수 있을까? 서버에서 훈련을 대신해 줄 수도 있을까?
3. 설치와 구동 모두에 파이토치나 텐서플로우 그 밖에 많은 의존 라이브러리들이 필요할텐데 이 방법은 아닌 것 같다. 일반 앱처럼 설치하고 구동시킬 수 있는 방법이 있을까?
4. 어디까지를 외부에서 가져오고 무엇부터 직접 만들어야 할까? 직접 만들때 특화되고 이득이 되는 부분은 무엇인가?

개발 현실

1. 나는 근본이 없다. 저들과 같은 명성이 없고 관련 네트워크가 없다. 길거리 출신이다. 따라서 정부지원이나 어떤 외부적 지원을 기대할 수 없다. ➡ 내 돈으로 버티면 된다. 정 안되면 다시 상하차나 배달을 하면 된다.
2. ai에 대한 지식과 이해가 거의 없다. 이제 겨우 '다시 고등수학'과 '혼공머신' 1회독 했다. ai 컨퍼런스 발표에 절반도 이해 못한다. 최신 논문 리뷰는 꿈도 못꾼다.  ➡ 가장 핵심적인 문제다. ‘파이썬 텍스트 마이닝 완벽 가이드', ‘케라스 창시자에게 듣는 딥러닝', ‘트랜스포머를 활용한 자연어 처리'를 머리에 담아야 한다. 3개월 안에 익혀야 나머지 3개월간 개발에 전념할 수 있다.
3. 파이썬 경험이 거의 없다. 파이토치, 텐서플로는 아예 모른다.  ➡ 언어는 거의 다 비슷하다. 익숙해지기만 하면 된다. 별로 걱정하지 않는다.
4. 모든 시간과 정신을 이것 하나에 걸 수 있다.  ➡ 이 목표가 실패 확률이 높은 것은 명확하다. 그래서 6개월로 한정했다. 그때까지는 이 방향을 유지할 수 있다.
5. 내게는 오랜 게임 개발 경험과 블록체인 dapp 실서비스 6개월간 매출 20억, 적자 1억의 경험과 다양한 웹앱 풀스펙 경험이 있다. 그리고 수십% 마이너스중인 자동차 주식들이 있다. 

개발 환경  4090 데스크탑 1대, 2080ti 테스크탑 1대, 서버 1대, 윈도우 노트북 1대, 맥북m1프로 1대, 싱크대 딸린 작은 사무실 공간, 침대로 변신하는 쇼파

기반 기술  Python, Tensor || Torch, NodeJS, MongoDB, S3, NginX, NuxtJS, Vuetify

예상 개발 기간  약  6개월 (23년 6월 15일 ~12월 15일)

예상 비용  훈련용 클라우드 서버 대여 : 약 1천만원~2천만원(gpt-2 훈련비용 참고) + 실패비용 

  서비스용 클라우드 서버 대여 : 이용자 규모에 따라 월 백만원에서 얼마나 올라갈지 예상 불가 - 스트레스 테스트 필요

서비스 환경  PC 및 모바일 로컬

시장  2024년 국내 ai 약 3조, 세계 ai 600조 예상. 국내 반려동물 약 6조 시장. 

  현 시점에서 실질적 시장은 예상하기 어려움. 5~6세 지능의 ai를 성공한다해도 이것을 실제로 사용하려는 사람은 많지 않을 것임.

타서비스 대비 경쟁력  모두의 ai가 아닌 내게 길들여진 ai

확장  영어 기반의 5,6세 지능 ai 개발 ⇒ 하드웨어 발전 ⇒ 파라미터 확장 ⇒ ai 멀티모달 발전 ⇒ 얼굴과 목소리, 육체를 가진 agi 로 확장

수익모델

  클라우드 백업, 로컬에서 훈련이 어려울 경우 클라우드를 이용해 훈련 대행

  추후 파라미터 확장에 따른 ai 업그레이드

홍보  여러 커뮤니티에 알리기, 여기 블로그에 모든 연구 기록 공유 - 일거수일투족 모든 것을 기록한다.

혹시 함께하실 분!  with@himion.com  로 메일주세요.

이미 우리들 중 절대다수 ( = 80억 인류 - 많아야 1000명 내외 ) 는 같은 인간의 지배를 받고 있다.

그런데 우리는 지금 우리를 지배하고 있는 저 극소수의 인간들을 얼마나 신뢰하고 있는가.

저 극소수 인간들의 변덕은 두려워하지 않으며 인공지능의 힘을 두려워 한다는 것을 당췌 나는 이해할수가 없다.

푸틴이나 김정은은 지금이라도 버튼 하나로 지구를 종말의 위기로 내몰수 있다.

이것이 자율주행보다 마약빤 음주운전자의 주행을 더욱 신뢰하는 여기 이 인류의 한계인 것은 아닌가,

나는 이런 조급한 두려움들이 더욱 더 두렵다.

어떻게 저 좆같은 인간들보다 우리가 만들어낼 그리고 우리의 지성을 대변할 ai를 더 두려워 한다는 것인지 그 두려움이 두렵다.

이미 우리를 지배하고 있는 저 인간들을 보라.

저들의 젖같은 지성과 자신의 이익만 챙기는 이기주의를 보라.

오히려 고결한 ai의 판단으로

그 동안 천박해 마지않았던 지배 인간의 가치가

너무나 분명히 드러나는게 두려운 것은 아닌가?

선입견에 찌든 인간들의 지좆대로 판단은 이미 충분히 겪어보지 않았는가?

그 판단의 결과가.. 좋았는가?

끝내 달려버렸다.

아직도 보슬보슬 비가 내리고 있었다. 바람도 많이 불었다.

엊그제만해도 인산인해였던 강변에는 아무도 없었다.

아주 오랜만에 느껴보는 거리의 감촉.

너무 오랫동안 런닝머신에서만 달렸구나.

온 전신을 맞이하는 바람의 무게를 이겨내고

약동하는 허벅지,

붕하고 떠올라 배경을 질주하는 속도감

잊고 있었다.

나는 빨랐다.

매일 밤 헬스장 구석, 19세기 어느 유럽의 가혹한 형벌을 받으며 잊고 있었던

내가 빨랐던 것에 대한 기억

나는 살아있었다.

하..

개막전부터 내리 3게임 연속 1점차 패배

9회에 역전당하거나 마지막 1점차까지 따라갔다가 지는 경기의 연속

마치 몸부림치듯 기필코 패배를 달성하는 기분까지 든다

무엇보다 걱정되는 건

예전에도 몇번이나 이런 재수?없는 일들이 벌어졌고 

그러한 재수없음이 이어져 그 해 전체를 망쳐버렸다는 것

이 불필요한 기시감...

무엇에도 중독되지 않는 내가 가진 유일한 중독, 유일한 정체성, 한화이글스

젠장할!

ai 에게 먹일 데이터를 요리중이다.

가지고 있는 epub들이 조금 있는데 이대로는 먹일 수 없으니 모두 text로 바꿔놔야한다.

그런데 생각보다 자료가 없었다.

특히 한글들이 모두 깨져나왔다.

calibre를 추천하기에 설치후 convert 해봤더니 출력 폴더를 선택할 수 없어 이것도 마찬가지로 꽤나 귀찮은 작업이었다 - 하지만 파이썬으로 끝내 실패한다면 이렇게라도 작업한 후 txt파일들을 모두 찾아 한번에 모으는 코드를 만들 작정이었다.. 지만 파이썬으로 해결했다.

먼저 EbookLib를 설치한다

1. pip install EbookLib
https://pypi.org/project/EbookLib/

- doc 도 살펴보자. 근데 좀 부족하다

https://docs.sourcefabric.org/projects/ebooklib/en/latest/tutorial.html#introduction

2. This is codes

import ebooklib
from ebooklib import epub
from bs4 import BeautifulSoup

book = epub.read_epub('./tear.epub')
result = book.get_metadata('DC', 'language') # 어떤 언어로 되어 있는지 확인할 수 있다

for idx, doc in enumerate(book.get_items_of_type(ebooklib.ITEM_DOCUMENT)):
    book = doc.content
    soup = BeautifulSoup(book, 'html.parser')
    soup = soup.select('p')
    for pTag in soup:
        print(pTag.text)

3. 알맞은 옵션을 찾는데 고생을 좀 했다.

- 한글 문제의 경우 stackoverflow는 큰 도움이 되지 않는다. 그리고 한글 문제도 아니었다.

- idx를 사용하기 위해 enumerate를 썼지만 이 경우 범용성이 떨어져 그냥 doc만 사용한다. 책의 특정 정보만 뽑아서 처리하고 싶다면 쓰는 것도 좋겠다.

4. 책 제목은 book.get_metadata('DC', 'title') 이렇게 가져올 수 있다.

- 이걸로 파일명을 만들어 폴더 하나에 저장하면 모든 epub파일을 한번에 txt로 만들수 있겠다.

매번 잃어버리고 또 지르는 선글러스

사실 기스 때문에 선글러스를 바꾼 적은 없다. 매번 잃어버렸다. 벌써 4번째인가.

그래서 사고 또 사도 다시 보면 선글러스가 부족하다. 특히 블루렌즈의 선글러스를 좋아해서 자주 착용하다보니 자주 잃어버린다.

그래서 또 질렀다. 영상을 보니 망치로 쳐도 기스 하나 안난단다. 아마존 평도 호평일색이다.

사실 잃어버리지나 않았으면 좋겠다.

다다음 주에는 받을 수 있겠다. 그때까지는 미세먼지 마스크나 차고 다녀야 겠다.

●  한반도 지진 데이터 시각화 최종 결과물   

> 개요

1. 기상청 1978년 8월부터 2018년 3월 4일 새벽 0시 52분 지진까지 모든 지진 데이터 분석.

- 총 1723회.

- 총 크롤링 시간 2분 미만. node.js 이용. 

- 조회 목록 999 제한으로 1978년부터 2011년까지 한번, 나머지 기간 다시 한번으로 분리해서 수집.

2. 지도는 여기 블로그 (danielykim.github.io)에 올린 TopoJson 파일 이용

3. d3.js로 시각화.

4. 추가로 사용한 라이브러리는 

- lodash(데이터 처리. 뒤늦게 적용하여 적극 활용x)

- d3.tip.js(마우스 클릭시 툴팁 표시)

- d3.format.js(숫자 표현 처리. 지진 에너지의 숫자가 커서 지수 도입)

- d3-queue.v3.js(지진데이터와 지도 데이터 순차적 로딩)

- topojson.v1.js(지도 데이터 처리)

- d3-scale-chromatic.v.js(지도 색깔 처리. d3.interpolateOrRd 사용)

5. 소스코드는 원하시는 분이 계시면 덧글로.

- 다만 github에 올리지 않은 이유도 같은데, 코드만 보고 이해하기 좀 어려울 수 있겠다.

5. 지진을 공부(?)하시는 분이나 연구하시는 분들에게 색다른 시각이나 어떤 도움이 되었으면 좋겠다.

> 결과물

● 한반도 지진 시각화 작업 완성   

> 들어가는 말

1. 지난 연말 시작했던 한반도 지진 시각화 작업이 일단락됐다.

> 작업 이미지

> 결과

- 실시간 기상청 지진 데이터 + 서버 까지 도메인으로 만들어 올려놓으려고 한다. 그러면 접속도 쉽고 항상 최신 데이터니 쓸만 할거다.

- 그리고 기상청과 지진을 연구하거나 공부하는 사람들에게 주소만 홍보(?)해 놓고 끝이다.

- 지도는 확대/축소 및 moving이 가능하다. 

● 한반도 지진 발생지역 1차 완성

> 개요

1. 1978년부터 2018년 1월까지 발생한 모든 지진들을 지도 하나에 표현해봤다.

2. 원의 크기는 지진의 강도를 표현한다.

3. 원의 색이 파란색에 가까울 수록 최근에 발생한 지진이다. 원의 색이 옅어 질수록 오래전에 발생한 지진이다.

- 색의 범위는 rgba( 254 ~ 0, 254 ~ 0, 255, 0.2 ) 와 같다.

- 즉 최초의 지진기록인 1978년  8월은 값이 254로 rgba( 254, 254, 255, 0.2 ) 가 되어 거의 색이 나타나지 않고 2018년 1월의 지진은 rgba( 0,0, 255, 0.2)가 되어 가장 진한 색으로 칠해진다.

- 알파가 0.2 으므로 기본적으로 색이 옅다. 따라서 비슷한 지역에 여러번 지진이 일어났을 경우 그 색이 중첩되어 진해진다.

> 결론

1. 최근에 일어나고 지진 규모가 크고 비슷한 지역에 여러번 지진이 일어났을 경우 눈에 잘띈다...

2. ..만 솔직히 잘 안띈다. 무려 40년동안 일어난 1717개의 지진을 겨우 255범위안에 그것도 파란색에 한정해서 더구나 알파 0.2를 먹여서 표현했기 때문이다.  ㅋㅋ 무언가 좋은 색 범위가 있을 것 같은데 그건 좀 더 고민해 봐야겠다. 이럴땐 정말 디자이너가 있으면 좋겠다는 생각이다.

3. 어쨌든 아래 결과를 보면 포항시와 경주시, 그리고 보령시(라지만 서해안 멀리)에 의미 있는 지진이 발생하고 있음을 알 수 있다. 그리고 북한 서해안, 저기가 어딘지는 모르겠지만 저쪽과 음, 포항시 위에 영덕군 쪽 동해안에도 지진이 꽤 크고 반복해서 발생하고 있다. 

4. 그리고 생각보다 많은 지진들이 내륙에서 일어나고 있다. 보기에 따라서는 포항,경주에서 서해안 보령, 서산까지 쭈욱 지진이 이어지는 것처럼 보인다.

> 복기

1. 아쉬운 것은 가중치를 어디에 두면 좋을지다. 내가 지진 자체에 대해 잘 모르다보니 최근에 일어난 지진에 좀 더 가중을 둬야할지 지진강도에 둬야 할지, 반복횟수에 둬야 할지 몰라 내 마음대로 주다보니 원의 색과 크기가 주는 의미가 '실제 지진이 주는 정보'를 왜곡시킬 수 있다는 약간의 걱정이다.

2. 이제 지진 줌인아웃과 원을 클릭했을 때 해당 지진에 대한 상세정보를 보여주기만 하면 끝난다. 뭔가 좀 아쉬운데, 뭐 더 추가할 거 없을까 모르겠다.

3. 게임처럼 여기에 지진 발생기능까지 넣어보려 한다. 디자인이 문제지 개발 자체는 오래 안걸릴 것 같다.

4. 다 완성되면 기상청에서 새로운 지진 데이터를 가져오는 자동 크롤링 기능까지 추가해 서버에 올릴 생각이다. 인터랙티브하게 실시간 가중치를 바꾸는 기능도 넣으면 좋겠으나, 대체 누가 그걸 바꿔보고 있겠는가! 지진을 연구하는 누군가의 요청이 아주 혹시라도 있다면 그때 만들겠다.

5. 그러면 이 프로젝트도 끝이다. 다른 또 무얼 만들어볼까나.