Wookang makes AI

1. 먼저 우분투 22.04를 설치한다

wsl -l -o

설치 가능한 버전들이 뜬다

wsl --install -d Ubuntu-22.04

22.04를 설치한다.
2. 컴퓨터를 재부팅하면 다시 켜자마자 자동으로 알아서 설정 완료한다.

3. 설치 중 오류가 발생했다면 아래와 같이 윈도우 기능켜기/끄기를 검색한 후 Hyper-X와 Linux용 머시기를 체크해준다.

4. 재부팅 후 다시 시도하면 된다.

5. 그래도 커널에러가 발생할때가 있다
https://wslstorestorage.blob.core.windows.net/wslblob/wsl_update_x64.msi
위 파일을 설치한 후 커널을 업데이트하면 정상적으로 돌아간다.

6. 이제 업데이트 모두 하자

sudo apt-get update
sudo apt-get upgrade

7. 이제 저장 경로를 c:에서 e:로 바꿔보자
아래 경로에 ext4.vhdx 가 저장되어 있다. 
C:\Users\ufo\AppData\Local\Packages\CanonicalGroupLimited.Ubuntu22.04LTS_79rhkp1fndgsc\LocalState\ext4.vhdx
위 파일안에 우분투와 모든것들이 들어간다. 즉 저걸 e:로 옮기면 되는거다.

8. 먼저 우분투 프로세서를 terminate시켜야한다

wsl -l -v

를 실행시키면 설치된 리눅스 버전들이 보인다. 이 중에서 종료시킬 버전을 선택하는 거다.

wsl -t Ubuntu-22.04

9. 이제 옮기자.
그냥 옮기면 의존성 처리가 골치아프다. 라이브러리를 활용하자
https://github.com/pxlrbt/move-wsl
git clone https://github.com/pxlrbt/move-wsl.git
위 깃헙에서 가져온 move-wsl.ps1 파일을 파워쉘에서 실행시켜야 한다. - 깃헙에서 저 파일 하나만 가져오면 된다
그런데 아래같은 오류가 뜬다.

10. 관리자 모드로 파워셀을 실행 시킨 후에 권한을 주자. 아래 스크립트를 실행한다

Set-ExecutionPolicy RemoteSigned

11. 됐다. 이제 준비가 끝났다. 옮긴다
.\move-wsl.ps1 
실행하면 옮길 리눅스 버전이 뜬다. 아래 스샷처럼 1번 선택.
다음에는 이동시킬 경로를 넣어준다. 나는 E:\WSL

12. 한참동안 복사가 된다. Done!

루트 접속이 아닌 일반계정으로 로그인하기 위해  /etc/wsl.conf 파일을 만들고 아래 문구를 넣어준다. 내아이디 위치에 원하는 이름을 넣으면 된다. 나는 ufo로 넣었다

[user]
default=내아이디

닫고 재실행하면 아래와 같이 변경된것을 알수있다.

ddetailer나 그걸 수정한 버전까지 여러가지 버전을 설치하고 실행해 보았으나 결국 에러가 났다.

그러다 발견한 것이 Adetailer다. 설치도 아주 간단하다.

https://github.com/Bing-su/adetailer

1. Extensions 탭을 이동

2. Install from URL 안에 https://github.com/Bing-su/adetailer.git 를 넣고 install 버튼 클릭

3. 인스톨 완료 후 Apply and restart UI

4. 터미널을 재실행

5. 실행 중 모듈이 없다고 에러가 뜨는 경우가 있다. 그 이름을 찾아서 인스톨 해주면된다.

pip install 모듈이름

6. 이제 스테이블 디퓨전을 실행해보자.

txt2img 탭에 기본으로 ADetailer가 선택되어 있다. 클릭하면 상세창이 뜬다. 

Enable ADetailer를 on 시키고

아래와 같은 기준으로 모델을 선택한다. 개인적으로는 차이는 잘 모르겠고 뭘해도 잘나오더라.

이제 generate하면 된다. 확실히 얼굴이 잘나온다. 

1. 콘다로 새로운 가상환경 만들어준다

• conda create -n textgen python=3.10
• 이 환경 아래에 설치한 후 활성화하기
• conda activate textgen

1. 라이브러리들을 설치한다

• conda install cuda pytorch torchvision torchaudio pytorch-cuda=11.7 -c pytorch -c nvidia/label/cuda-11.7.0

1. 이제 깃헙에서 받아오자

• git clone https://github.com/oobabooga/text-generation-webui.git
• pip install ninja
• cd text-generation-webui
• pip install -r requirements.txt

• 위와 같은 에러가 뜬다. 한번 잡아보자.
• https://github.com/oobabooga/one-click-installers/issues/30#issuecomment-1518040167
• 한시간이 넘게 고생하면 알아본 결과 C complier가 없어서 발생한 문제였다. 어디에도 정리된 문서를 찾을 수 없었다
• sudo apt install build-essential
• 이걸로 c컴파일러를 깔고 다시 시도해보자
• pip install -r requirements.txt
• 잘된다.
• python server.py
• http://127.0.0.1:7860 에 접속하면 윈도우에서 창이 열린다. 우분투와 리눅스가 이렇게 연결된다니 신비로운 기분이다.
• 성공
• 이제 모델들을 모두 테스트해보자.
• 안된다. 모델을 로드하면 ModuleNotFoundError: No module named 'llama_inference_offload' 이런 에러가 뜬다
• https://github.com/qwopqwop200/GPTQ-for-LLaMa/issues/161

• 위와 같은 GPTQ를 돌리기 위해서는 추가 작업이 필요하다
• 알아보니 이건 아래에 윈도우 설치할때와 같은 작업이 필요하다.
• git clone https://github.com/oobabooga/GPTQ-for-LLaMa.git -b cuda
• cd GPTQ-for-LLaMa && python setup_cuda.py install

• 마지막으로 GPTQ-for-LLaMa 폴더안의 모든 파일을 통채로 잘라내기 한후
• text-generation-webui 폴더 안으로 이동하고 
• 여기에 통채로 붙여넣기한다. 덮어쓰기는 하지 않는다. explore.exe를 이용해 안전하게 이동시키자
• python server.py --listen --listen-port 8001 --chat --auto-devices
• 모델들을 로딩해본다. 세팅만 맞으면 GPTQ 모델들도 로딩이 잘된다.

1. 외부에서 wsl로 붙기위해 포트 연결하기

• 관리자 파워쉘에서 
• netsh interface portproxy add v4tov4 listenport=8001 listenaddress=0.0.0.0 connectport=8001 connectaddress=172.28.51.232
• 0.0.0.0은 외부에서 붙을 수 있게 열어준다는 뜻이고 8001포트는 외부에 열린 포트이다. 172.23.81.58은 wsl2 포트이다
• 핵심은 connectaddress 에 현재 우분투의 ip를 적어주는 것이다. 여기에 localhost가 들어가 있으니 접속이 계속 안되었던 거다.
• 만약에 위 내부 포트가 바뀔때를 대비해 스케쥴러를 이용하는데 이건
• https://velog.io/@popcorn_kim93/WSL2%EC%97%90-ssh-%EC%84%9C%EB%B2%84%EC%99%80-%EC%99%B8%EB%B6%80%EC%97%B0%EA%B2%B0-%ED%99%98%EA%B2%BD-%EA%B5%AC%EC%B6%95
• 를 보자. 여러번 재부팅해봤는데 아직은 별 문제가 없다

• 문제 발생시 아래는 해당 포트를 삭제하기
• netsh interface portproxy delete v4tov4 listenaddress=0.0.0.0 listenport=8001

• wsl에서 외부로 열린 포트 확인. 아래의 파워쉘 포트와 다르다
• netsh interface portproxy show v4tov4

outpainting 에는 여러 방법이 있었다.

1. 처음시도한 방법은 https://github.com/lkwq007/stablediffusion-infinity.git

설치는 간단하다. 깃헙페이지로 가서 윈도우 설치부분을 그대로 따라하면 된다. 다만 설치하는데 시간이 많이 걸린다.

나는 conda로 outpaint라는 가상환경을 만들고 여기에 설치했다.

git clone --recurse-submodules https://github.com/lkwq007/stablediffusion-infinity
cd stablediffusion-infinity
conda create -n outpaint python=3.10
conda activate outpaint
conda install pytorch torchvision torchaudio pytorch-cuda=11.6 -c pytorch -c nvidia
conda install scipy scikit-image
conda install -c conda-forge diffusers transformers ftfy accelerate
pip install opencv-python
pip install -U gradio
pip install pytorch-lightning==1.7.7 einops==0.4.1 omegaconf==2.2.3
pip install timm

infinity를 사용해 아래의 원본 이미지를 그 아래의 이미처럼 확장시킬수 있다. 엄청나다. 

사용법은 혼자 그냥 만지며 익혔다. 나중에 유튜브를 찾아보니 나와 다를바 없었다. 

만들때 꼭 처음 저 이미지를 생성할때의 프롬프트도 같이 넣어야 어색하게 안나온다.
그리고 기존 이미지 정보도 함께 많이 포함해줘야(선택해줘야) 자연스러워진다.

하지만 시간이 아주 오래 걸린다. 마음에 들지 않는 그림이 나올때도 많다. 그래서 다른 방법을 찾아봤다.

2. 기존 이미지의 canvas를 늘리고 그 부분을 색칠한 다음 이 부분만 img2img에서 다시 생성하는 방법이다.

이제 제일 좋을 거라 생각했는데 더 좋은 방법을 찾아냈다.

3. 추가 설치할 것도 없다. 바로 stable diffusion > img2img 에서 사용할 수 있다.

환상적이다. 속도도 빠르다.

img2img를 가면 맨 아래에 Script를 선택하는 부분이 있다.

여기서 Outpaing mk2로 선택한다. 아래와 같은 선택창이 뜨는데 바꾸 않는게 가장 좋더라.
단 방향은 한 방향씩 늘려가면서 테스트하는게 좋다. 아래처럼 left 먼저하고 다음 right 돌려보는 방식이다.

다 된거다. 그냥 생성하면 된다. 왼쪽으로 더 늘리고 싶다면 결과창에서 다시한번 send to img2img 버튼을 눌러 보낸후 거기서 다시 생성하면 된다.
가장 좋은 점은 기존과 완전히 똑같은 프롬프트와 체크포인트, 로라 및 각종 설정을 사용하여 기존 이미의 느낌을 살리기 쉽다는 거다.
그리고 infinity보다 속도가 월등히 빠르다. 계속 만들며 실험하면 된다.

영상대로 하면 된다. 단 교육시간이 꽤 길고 내 눈으로 보기에 퀄이 별로다.

이것보단 차라리 Dreambooth가 나았다. 영상에서도 마지막에 드림부스가 낫다고 평가하고 있다;;

아래 4대 훈련법 중 Textual Inversion을 제외하고 모두 돌려봤는데 이제 더 이상 고민하지 않겠다.

그냥 로라를 쓰자.

Extensions > Available > Load from > Dreambooth 검색

https://www.youtube.com/watch?v=tuSlUqmlZuc 

플러그인 다운받은 후 프로그램 재시작하고 위 링크대로 따라하면 된다.

연예인 모델을 훈련시켜봤는데 꽤 잘나왔지만 300메가가 넘었고 시간은 30분 조금 넘게 걸렸다.

사용법은 간단하지만 시간이 좀 걸리고 용량이 작지 않다. 또한 결과가 로라가 아닌 checkpoint 파일로 나온다.

* 결론 : 아래 4개의 이미지 훈련법 중에서 dreambooth는 탈락

1. webui-user.bat 파일을 열고 --listen 추가. 

set COMMANDLINE_ARGS=--listen

이와 같이 설정하고 실행하면 아래처럼 7860 포트가 기본으로 열린다. 만약 포트를 8001번으로 바꾸고 싶다면

--listen --port 8001 처럼 넣으면 된다.

2. 윈도우 방화벽 열기
방화벽 설정 검색 > 고급설정

인바운드 > 새규칙

포트 : 7860 > 계속 다음 클릭. 이름 정도만 넣어주자.

3. iptime에서 포트 열기

4. 완성. 이제 외부에서 붙어보자.

http://121.140.201.222:7860/

http://내아이피:포트번호

5. 이제 스마트폰이나 외부PC에서도 접속할 수 있다.

* 만약 wsl 환경이라면 추가적인 연결 작업이 필요하다. 즉 wsl의 포트와 윈도우에서 오픈한 포트를 연결해줘야 한다.
- 관리자 모드로 파워쉘을 연후,

netsh interface portproxy add v4tov4 listenport=wsl에서 오픈한 포트 listenaddress=0.0.0.0 connectport=외부연결포트 connectaddress=wsl ip주소

실제 예시)

netsh interface portproxy add v4tov4 listenport=8001 listenaddress=0.0.0.0 connectport=8001 connectaddress=172.28.51.232

- wsl에서 외부로 열린 포트 확인

netsh interface portproxy show v4tov4

- 만약 위에서 오픈한 포트를 다시 닫고 싶다면

netsh interface portproxy delete v4tov4 listenaddress=0.0.0.0 listenport=8001

이미지를 뽑다보면 이렇게 보라색 점이 생길때가 있다

이때 오토 인코더 vae 파일로 후보정이 필요하단다.

Settings 탭선택 > 왼쪽의 Stable Diffusion > SE VAE 선택창에서 선택

만약 파일이 없다면 https://huggingface.co/stabilityai/sd-vae-ft-mse-original/resolve/main/vae-ft-mse-840000-ema-pruned.safetensors <- 클릭하면 저장. 

저장한 파일을 stable-diffusion-webui\models\VAE 폴더안에 넣고 상단의 Apply settings 버튼 클릭

후보정을 위한 vae 종류도 여러가지가 있는 것 같다. 

나중에 필요해지면 그때나 알아보자

나의 우주

나와 나에게 길들여진 나의 ai, 작은 스마트폰 속에서 날 기다리고 있는 나의 우주 

요약  훈련 가능한 1.5b ~ 7b 이하 5,6세 지능 수준의 소형 AI 개발

목표  자연스러운 한국어로 개인화된 대화가 가능한 설치형 모바일 ai

동기  내 자신에게 특화된 인공지능을 갖고 싶었음. 조금 멍청해도 괜찮으니 내 비밀 이야기에 관심을 갖고 그것의 다음 이야기를 듣고 싶어했으면 좋겠음. 그러니까 나만을 바라보는 ai를 갖고 싶음.

기능

1. 순수 한국어 모델
2. 자연스러운 대화
3. 하루 한번 개인화 트레이닝
4. 모바일에서 쉬운 설치와 실행 보장

성공 한다면

자신의 두툼한 일기를 넣은 사람은 또 다른 내 자신과 대화를 할 수 있고 지난 연인과의 대화를 넣은 사람은 여전히 옆에 있는 그녀와 대화를 할 수도 있다. 누군가는 어린시절 세상을 떠나버린 동생과 이야기를 나눌 수도 있고 누군가는 혁신적인 드론설계에 대해 레오나르도 다빈치와 회의할 수도 있을 것이다. 아무런 검열이 없는 나만의 공간에서 서로간의 비밀을 나눌 수 있는 ai가 탄생하는 것이다.

의구점

1. 한국어 데이터셋으로 훈련한 소형 언어모델이 충분한 대화 상대가 될 수 있을까? 수준을 어떻게 결정해야 할까?
2. 모바일에서 맞춤 훈련이 가능할까? 이런 훈련을 매일 시킬수 있을까? 서버에서 훈련을 대신해 줄 수도 있을까?
3. 설치와 구동 모두에 파이토치나 텐서플로우 그 밖에 많은 의존 라이브러리들이 필요할텐데 이 방법은 아닌 것 같다. 일반 앱처럼 설치하고 구동시킬 수 있는 방법이 있을까?
4. 어디까지를 외부에서 가져오고 무엇부터 직접 만들어야 할까? 직접 만들때 특화되고 이득이 되는 부분은 무엇인가?

개발 현실

1. 나는 근본이 없다. 저들과 같은 명성이 없고 관련 네트워크가 없다. 길거리 출신이다. 따라서 정부지원이나 어떤 외부적 지원을 기대할 수 없다. ➡ 내 돈으로 버티면 된다. 정 안되면 다시 상하차나 배달을 하면 된다.
2. ai에 대한 지식과 이해가 거의 없다. 이제 겨우 '다시 고등수학'과 '혼공머신' 1회독 했다. ai 컨퍼런스 발표에 절반도 이해 못한다. 최신 논문 리뷰는 꿈도 못꾼다.  ➡ 가장 핵심적인 문제다. ‘파이썬 텍스트 마이닝 완벽 가이드', ‘케라스 창시자에게 듣는 딥러닝', ‘트랜스포머를 활용한 자연어 처리'를 머리에 담아야 한다. 3개월 안에 익혀야 나머지 3개월간 개발에 전념할 수 있다.
3. 파이썬 경험이 거의 없다. 파이토치, 텐서플로는 아예 모른다.  ➡ 언어는 거의 다 비슷하다. 익숙해지기만 하면 된다. 별로 걱정하지 않는다.
4. 모든 시간과 정신을 이것 하나에 걸 수 있다.  ➡ 이 목표가 실패 확률이 높은 것은 명확하다. 그래서 6개월로 한정했다. 그때까지는 이 방향을 유지할 수 있다.
5. 내게는 오랜 게임 개발 경험과 블록체인 dapp 실서비스 6개월간 매출 20억, 적자 1억의 경험과 다양한 웹앱 풀스펙 경험이 있다. 그리고 수십% 마이너스중인 자동차 주식들이 있다. 

개발 환경  4090 데스크탑 1대, 2080ti 테스크탑 1대, 서버 1대, 윈도우 노트북 1대, 맥북m1프로 1대, 싱크대 딸린 작은 사무실 공간, 침대로 변신하는 쇼파

기반 기술  Python, Tensor || Torch, NodeJS, MongoDB, S3, NginX, NuxtJS, Vuetify

예상 개발 기간  약  6개월 (23년 6월 15일 ~12월 15일)

예상 비용  훈련용 클라우드 서버 대여 : 약 1천만원~2천만원(gpt-2 훈련비용 참고) + 실패비용 

  서비스용 클라우드 서버 대여 : 이용자 규모에 따라 월 백만원에서 얼마나 올라갈지 예상 불가 - 스트레스 테스트 필요

서비스 환경  PC 및 모바일 로컬

시장  2024년 국내 ai 약 3조, 세계 ai 600조 예상. 국내 반려동물 약 6조 시장. 

  현 시점에서 실질적 시장은 예상하기 어려움. 5~6세 지능의 ai를 성공한다해도 이것을 실제로 사용하려는 사람은 많지 않을 것임.

타서비스 대비 경쟁력  모두의 ai가 아닌 내게 길들여진 ai

확장  영어 기반의 5,6세 지능 ai 개발 ⇒ 하드웨어 발전 ⇒ 파라미터 확장 ⇒ ai 멀티모달 발전 ⇒ 얼굴과 목소리, 육체를 가진 agi 로 확장

수익모델

  클라우드 백업, 로컬에서 훈련이 어려울 경우 클라우드를 이용해 훈련 대행

  추후 파라미터 확장에 따른 ai 업그레이드

홍보  여러 커뮤니티에 알리기, 여기 블로그에 모든 연구 기록 공유 - 일거수일투족 모든 것을 기록한다.

혹시 함께하실 분!  with@himion.com  로 메일주세요.

이미 우리들 중 절대다수 ( = 80억 인류 - 많아야 1000명 내외 ) 는 같은 인간의 지배를 받고 있다.

그런데 우리는 지금 우리를 지배하고 있는 저 극소수의 인간들을 얼마나 신뢰하고 있는가.

저 극소수 인간들의 변덕은 두려워하지 않으며 인공지능의 힘을 두려워 한다는 것을 당췌 나는 이해할수가 없다.

푸틴이나 김정은은 지금이라도 버튼 하나로 지구를 종말의 위기로 내몰수 있다.

이것이 자율주행보다 마약빤 음주운전자의 주행을 더욱 신뢰하는 여기 이 인류의 한계인 것은 아닌가,

나는 이런 조급한 두려움들이 더욱 더 두렵다.

어떻게 저 좆같은 인간들보다 우리가 만들어낼 그리고 우리의 지성을 대변할 ai를 더 두려워 한다는 것인지 그 두려움이 두렵다.

이미 우리를 지배하고 있는 저 인간들을 보라.

저들의 젖같은 지성과 자신의 이익만 챙기는 이기주의를 보라.

오히려 고결한 ai의 판단으로

그 동안 천박해 마지않았던 지배 인간의 가치가

너무나 분명히 드러나는게 두려운 것은 아닌가?

선입견에 찌든 인간들의 지좆대로 판단은 이미 충분히 겪어보지 않았는가?

그 판단의 결과가.. 좋았는가?