Wookang makes AI

올해 초 처음 테무에서 실험삼아 가방과 무선 이어폰을 샀다.

모니터 화면으로는 그럴듯했으나 실제로 받아보니 재질이 이상했다. 부스럭 거리는 비닐같았다. 그리고 너무나 가벼웠다. 그냥 보기에도 싼티 작렬이었다. 실제로도 쌌으니 할말은 없었다.

무선이어폰은 충전단자가 micro usb 옛날 방식이었다. 소리는 나쁘지 않았지만 기능에 문제가 많았다. 이어폰을 귀에서 제거하고 케이스에 넣어도 음악이 계속 흘러나왔다. 휴대폰과 이어폰의 연결이 자동으로 끊어지지 않았다. 휴대폰에서 직접 음악을 멈춰야만 이어폰에서 나오던 소리가 멈췄다. 휴대폰에서 블루투스 접속을 직접 끊어줘야만 했다.

한마디로 쓰레기였다.

당시 테무에서 결제 정보를 빼간다는 소문도 나돌았다. 바로 카드정보를 삭제하고 앱도 지웠다.

내가 다시 테무로 돌아온건 어이없게도 침착맨의 테무깡 영상 때문이었다.

구독하지도 않는 사람의 영상이 추천으로 뜬 이유는 아마도 인기급상승 동영상이었기 때문이겠지만 어쨌든 저 영상을 보고 테무에서서 무엇을 사고 무엇을 사지 말아야할지 감을 잡을 수 있었다.

테무에서 사지 말아야 할것 - 신발이나 가방처럼 기능과 품질이 중요한 제품들, 화학적 작용이 들어가는 모든 제품들

테무에서 사면 괜찮은 것 - 일반 의류나 모자처럼 한번 빨고 입으면 되는 옷들, 한국에서 사기 어려운 디자인의 옷들, 온갖 종류의 케이스나 시계줄, 벨트, 스티커 같은 값싼 악세서리들,

테무에서 사면 아주 좋은 것 - 한국에서 사기 어렵거나 사면 바가지 쓰는 전자제품들, 스펙이 확실히 정해져있는 값싼 전자제품들. 예를들어, sd card adapter, hdmi dummy(이 2개는 한국에서 도저히 살수가 없었다), 입문자용 드론이나 rc car, 스마트 시계(이 3가지는 중국이 월드 넘버원인거 같다), 온도/습도계, dp cable처럼 스펙이 확실한 전자제품들

살때 주의해할 것들 - 재질과 스펙. 개인적으로 면을 좋아하는데 의류 중에 상당수가 아래와 같이 폴리에스테르였다. 디자인만 보고 이뻐서 샀다가 나중에 후회했다. 하지만 리뷰를 보면 이 재질을 좋아하는 사람들도 꽤 있는거 같긴하다.

스펙도 유의해서 봐야한다. 충전방식이 어떤지, 배터리가 얼마나 가는지 등등 디테일한 사항들이 보이지 않는다면 일단 의심을 해야한다. 옛날 규격일수있다.

> 결론

1. 가격을 쿠팡과 비교해도 어떤건 절반이고 상당수는 1/4 가격이다.

2. 품질은 쿠팡과 또이또이하다. 배송기간만 한~참 차이날 뿐이다.

3. 나중에보면 내가 산 제품의 가격이 절반으로 떨어져 있을 때가 있는데 이때는 가격 재조정 신청하면 된다.

- 이게 제일 신기했다. 구입한지 꽤 오랜 시간이 지난 제품도 가격조정이 가능했다.

- 내주문에 들어가면 아래 스샷처럼 '가격조정' 버튼이 보일것이다. 이게 뭔가 싶어 눌러봤더니 내가 구매한 가격과 현재 판매중인 가격과 비교해서 그 차익만큼 바로 크레딧으로 보상해주었다. 다만 한번만 된다ㅋ

- 이건 정말 '신뢰'를 주는 기능이라고 생각한다. 사업적으로나 개발적으로나 도입하기 어려운 기능인데 간단하게 잘 적용되어있다.

4. 혹시나해서 구입 후 바로 환불도 해보고 3일 후 환불도 해봤는데 모두 잘 되었다.

5. 통관에 계속 묶여있기에 as상담도 해보았는데 꽤 확실하게 일처리를 해줬다. 내 물건이 현재 어디에 있고 언제 처리될지도 알려주었다.

6. 테무에서 전세계인들의 리뷰를 읽는것도 꽤 재미있다.

7. 모든 제품이 구겨져서 온다. 구겨지면 안되는 물건은 사지 않는다.

8. 가장 만족스러웠던 물건은 드론과 스마트 워치였다. 둘 합쳐도 3만원 즈음이었는데 성능은 충격적으로 좋았다. 

9. 내 개인정보야 뭐, 이미 대한민국의 대기업들이 전세계에 공유한 정보이니 이에 대해선 마음을 비웠다.

- 지난번 티몬에서 전기자전거 사기를 당한 후 '판매자가 연락이 되지 않아 환불 불가'라는 희대의 핑계를 듣고는 오만정이 떨어졌다. 심지어 소비자보호원 담당자분도 똑같이 이야기했다. 티몬은 항상 이렇게 나오는데 법적으로 어떻게 할수가 없다고. 에휴, 적어도 티몬보단 테무가 훨씬 더 신뢰가 간다.

앞으로도 계속 사용할거다. 모두가 욕해도 나는 테무가 좋다.

● 동기

AI작업을 하다보면 4090의 24GB vram이 간당간당 할때가 있다.

보통 llama2 13b 모델이나 Mixtral의 8x7B 모델은 양자화 시켜 돌릴 수 있지만 max length 조절을 섬세?하게 해야한다.

yanolja-eeve의 경우도 마찬가지다. 메모리 100메가 차이로 가끔씩 out of memory 메시지를 토해낼때가 있다.

이때는 메모리 100, 200메가도 소중한데 이 경우 모니터 출력에 사용하는 메모리만 줄여도 큰 도움이 된다. 내 모니터의 경우 대략 300메가 이상을 먹는다. 

그래서 컴퓨터를 앞에 두고도 직접 접속하지 않고

hdmi 더미 플러그를 이용한 가상의 모니터에 ssh로 원격접속해 vram을 아껴쓰기도 했다.

잠시마나 내장 그래픽을 이용하자는 생각도 했었지만

당시 hp에서 구입한 오멘pc의 내부 모니터 dp단자는 아예 막혀서 출고가 되어 이걸 빼내는 것도 귀찮은 일이어서 미루고 있었다.

하지만 요새 날씨가 더워져 사무실 창문에 노출되어 있는 바깥 파티션은 사용하기 힘들어졌다. 여기는 에어컨 바람도 막혀있다. 선풍기 만으론 4090에서 뿜어내는 열기를 감당할수 없었다. 그래서 대대적으로 사무실 구조를 바꾸며 이번 기회에 미뤄뒀던 작업을 진행하기로 했다.

● 상태

1. 서버PC에서 항상 사용하는 모니터를 4090 데스크탑에서도 보조 모니터로 사용하고 맥북에서도 보조모니터로 사용할 수 있게, 즉 3개의 컴퓨터가 하나의 모니터를 모두 사용할 수 있게 구조를 엮었다. 어차피 서버는 모니터가 거의 필요하지 않고 필요하다 해도 원격으로 붙어 사용하는 경우가 훨씬 더 많기 때문이었다.

2. 4090pc에는 윈도우와 우분투가 함께 깔려 있고 처음 부팅시 grub에서 os를 선택해 실행한다.

3. 4090 PC의 경우. 이제까진 5120x1440 모니터 하나만 썼는데 보조 모니터 하나가 더 생기니 이렇게 편할 수가 없었다.  stable diffusion은 윈도우 기반으로 돌리기 때문에 - 윈도우가 바로 편집할 수 있어 우분투 환경보다 훨씬 낫다 - 그런데 윈도우는 내장 그래픽 카드를 자동으로 인식하지만 우분투는 내장 그래픽 카드를 인식하지 못했다.

4. 대부분의 ai개발이나 llm은 모두 우분투 기반으로 돌리기 때문에 이는 심각한 문제였다.

● 해결

아래 링크를 통해 해결했다.

세상에! 보통 이런 경우 외국사이트를 수도없이 들락날락 거리며 한참 고생해야하는데 위 한국분이 아주 친절하고 상세하게 이미 정리해 놓으셔서 아무 고생도 하지 않았다.

솔직히 우분투에 관한 대부분의 한국 정보는 '잘못된' 경우가 많아 반신반의하면서 작업했는데

너무 나이스하게 working이 되었다. 특별히 더 감사한 마음이 들어 이렇게 글을 정리한다.

드디어 한줌의 vram을 아낄수 있게 되었다.

오랜만에 stable diffusion webui에 접속했더니, 아예 돌아가지가 않았다.

체크포인트를 추가하고 프롬프트를 넣고 생성버튼을 클릭해도 이미지 자체가 생성되지 않았다.

* xformers에서 지원하는 토치 버전 문제

xformer는 이미지 생성 가속화 라이브러리다. 업데이트 되면서 torch 2.1.2버전을 요구했다. 하지만 내 torch버전은 2.0.1이었다. 업그레이드 방법은 간단하다.

1. webui-user.bat 파일을 연다. 

set COMMANDLINE_ARGS=--reinstall-xformers --medvram --xformers --reinstall-torch

2. 위처럼 --reinstall-torch 인자를 추가한후 저장하고 다시 webui-user.bat을 다시 시작한다.

3. 그러면 알아서 버전을 torch버전을 업그레이드한다.

4. 설치가 완료되면 위  --reinstall-torch 는 제거하고 원래대로 인자들을 되돌린다.

5. 해결

이제 이미지는 생성이 되는데 controlnet 이 말썽이었다. 

Error running process:  E:\Libraries\stable-diff-sdxl\models\Stable-diffusion\extensions\sd-webui-controlnet\scripts\controlnet.py

Traceback (most recent call last):

* controlnet 을 다시 설치하면 된다

https://www.reddit.com/r/StableDiffusion/comments/11dba9p/controlnet_error_after_update/

레딧에 나온 방법대로 하니 해결이 된다.

1. 먼저 extensions\sd-webui-controlnet\models 안에 있는 기존 모델 파일들을 다른 곳으로 이동시켜놓는다.

2. 다음 extensions\sd-webui-controlnet\ 를 삭제한다.

3. 다음 Extensions > Installed에 들어가 controlnet 의 체크를 풀고 Apply and restart UI를 클릭한다.

4. cmd 창을 닫고 다시 시작한다. (꼭 해야하나 싶긴한데 나는 했다)

5. Install from URL탭으로 이동해 다시 controlnet을 추가한다. 

https://github.com/Mikubill/sd-webui-controlnet

6. restart UI하니 에러없이 컨트롤 넷이 잘 돌아간다. 

7. 확장탭에 들어온 김에 Check for updates 후 다시 restart UI를 해서 모든 모듈들을 최신으로 업데이트 했다.

8. 해결

그럼에도 오류들이 쏟아졌다. 하나씩 해결해본다.

* Error loading script: m2m_ui.py 오류

- https://github.com/Scholar01/sd-webui-mov2mov/issues/146

1. 위 깃헙 이슈를 통해 해결했다. 먼저 modules/ui.py 파일을 연다. 

2. 아래 함수를 추가하고 저장한다.

def create_sampler_and_steps_selection(choices, tabname):
    return scripts.scripts_txt2img.script('Sampler').steps, scripts.scripts_txt2img.script('Sampler').sampler_name

3. 다시 실행하면 해당 에러 메시지가 사라진다. 업데이트 중 함수 누락이 있었나보다.

4. 해결

하지만 그럼에도 에러가 아직 남아있다.

* activating extra network lora: TypeError 오류

- https://github.com/AUTOMATIC1111/stable-diffusion-webui/issues/13561

1. 위 깃헙 이슈에서 해결했다.

2. 세상에, 가장 별거 아닌 오류였다.

3. 아래처럼 Add network to prompt를 none으로 하고 재시작하니 사라졌다.

* No module named 'basicsr' 오류

*** Error loading script: main.py
    Traceback (most recent call last):
      File "E:\AI\stable-diffusion-webui-master\modules\scripts.py", line 527, in load_scripts
        script_module = script_loading.load_module(scriptfile.path)
      File "E:\AI\stable-diffusion-webui-master\modules\script_loading.py", line 10, in load_module
        module_spec.loader.exec_module(module)
      File "<frozen importlib._bootstrap_external>", line 883, in exec_module
      File "<frozen importlib._bootstrap>", line 241, in _call_with_frames_removed
      File "E:\AI\stable-diffusion-webui-master\extensions\openpose-editor\scripts\main.py", line 14, in <module>
        from basicsr.utils.download_util import load_file_from_url
    ModuleNotFoundError: No module named 'basicsr'

- open pose를 아무리 다시 깔아도 해결이 안되었다
- https://github.com/AUTOMATIC1111/stable-diffusion-webui/issues/15094 이 이슈에서 해결했다.

1. 먼저 sd 기본 루트 폴더에서 아래 순서대로 하나씩 터미널에 실행하면 된다.

- 파이썬 가상로컬환경으로 가서 basicsr를 설치하고 다시 로컬환경을 나오는 스크립트다.

venv\scripts\activate.bat
pip install basicsr
venv\scripts\deactivate.bat

* 모두 해결

에러 메시지 없이 아름답게 로딩된다. 

sd3가 나락으로 가고 stable diffusion 생태계가 오픈소스에 집중하며 자체 성장하다보니 정신없는 방향으로 발전하는거 같다. text generation webui도 그렇고 이쪽은 한달만 지나도 돌리면 에러가 '탄생'한다.

그래서 너무 좋다. 에러가 난다는건 무언가 하고 있다는 뜻이니 말이다.

도다리 고급 번역이 어느정도 안정됨에 따라 코드 공개를 결정했습니다.

1. vram이 23이상일때 야놀자 모델사용 가능
2. 운영체제가 리눅스일 경우 vllm(AI 가속 모듈) 사용 가능
3. 번역 프롬프트 커스터마이징
4. 필터 문구 커스터마이징

현재 코드는 개발자인 저에게만 맞춰져 있어 빈틈이 많습니다.

모두가 쓸수 있게 바꾸는데에는 시간이 좀 걸릴 것 같습니다.

소스코드 전면 공개 후 다시 공지하겠습니다!

현재(24.07.19) eeve(고급번역)모델을 파인튜닝하고 있습니다.

여러방식으로 전처리, 후처리, 프롬프트 엔지니어링을 테스트 해보았지만

번역 출력시 발생하는 환각현상을 제거하기 어려웠기 때문입니다.

오늘 3차 파인튜닝 결과물을 이용해 테스트를 하고 있는데 지금까지는 결과가 희망적으로 보입니다. => 다시 비관적으로 보입니다

gguf모델도 함께 만들고 있습니다. 이 경우 cpu를 이용해 구동시킬수도 있습니다.

보다 많은 분들이 도다리 고급모델을 사용해 보실수 있게 최대한 빨리 작업하겠습니다.

오늘(24.07.21) 테스트에서 만족할만한 결과가 나왔습니다.

그래서 지금 기분이 좋습니다ㅋ 여러가지 테스트를 조금 더 진행한 후 완성된 eeve-dodari모델과 gguf버전의 허깅스페이스 주소를 공유하겠습니다!

지금이 24.07.21 일요일 새벽 3시 30분.

파인튜닝이 성공적으로 된것 같습니다. 

심지어 후처리를 하지 않아도 됩니다. - 그동안 ai의 환각현상 때문에 엄청난 후처리를 해야만 했고 그렇게 했어도 여전히 많은 환각문구들을 해결하지 못하고 있었습니다 - 마치 transformer의 pipeline에서 translation을 사용한 것과 같은 처리가 됩니다.

이렇게 간단한 데이터셋으로 이리도 깔끔하게 해결될줄은 몰랐네요. 

* 허깅스페이스 eeve-dodari 모델 링크

https://huggingface.co/blueflag/eeve-yanolja-dodari

* eeve-dodari-gguf 모델 링크 (8bit양자화)

https://huggingface.co/blueflag/eeve-yanolja-dodari_gguf

* basic template

prompt = f'''
Translate Human sentences into {언어설정. Korean or English} in short. Do not add anything else.\nHuman: {번역할 문구}\nAssistant:\n
'''

* 직접 모델 로딩하여 사용하실 분들에게

위 모델을 다운로드 받으신 후 prompt를 위와 같은 형식으로 번역요청하시면 아주 깔끔한 결과를 보실수 있을 겁니다.

이번 파인튜닝 작업에 밀려 도다리 고급모델 코드 공개가 더욱 늦어졌네요. 하지만 이번 파인튜닝 성과가 좋은 만큼 코드들을 더욱 다듬어 공개하도록 하겠습니다.

* 네이버 스마트 스토어를 통해 도다리를 이용하실수 있습니다.

1. 도다리 텍스트 txt 고급 번역하러 가기
2. 도다리 전자책 epub 고급 번역하러 가기
3. 도라리 70분 자유번역하러 가기