Wookang makes AI

올해 초 처음 테무에서 실험삼아 가방과 무선 이어폰을 샀다.  모니터 화면으로는 그럴듯했으나 실제로 받아보니 재질이 이상했다. 부스럭 거리는 비닐같았다. 그리고 너무나 가벼웠다. 그냥 보기에도 싼티 작렬이었다. 실제로도 쌌으니 할말은 없었다.무선이어폰은 충전단자가 micro usb 옛날 방식이었다. 소리는 나쁘지 않았지만 기능에 문제가 많았다. 이어폰을 귀에서 제거하고 케이스에 넣어도 음악이 계속 흘러나왔다. 휴대폰과 이어폰의 연결이 자동으로 끊어지지 않았다. 휴대폰에서 직접 음악을 멈춰야만 이어폰에서 나오던 소리가 멈췄다. 휴대폰에서 블루투스 접속을 직접 끊어줘야만 했다. 한마디로 쓰레기였다. 당시 테무에서 결제 정보를 빼간다는 소문도 나돌았다. 바로 카드정보를 삭제하고 앱도 지웠다.내가 다시 테무로 ..

● 동기AI작업을 하다보면 4090의 24GB vram이 간당간당 할때가 있다.보통 llama2 13b 모델이나 Mixtral의 8x7B 모델은 양자화 시켜 돌릴 수 있지만 max length 조절을 섬세?하게 해야한다. yanolja-eeve의 경우도 마찬가지다. 메모리 100메가 차이로 가끔씩 out of memory 메시지를 토해낼때가 있다.이때는 메모리 100, 200메가도 소중한데 이 경우 모니터 출력에 사용하는 메모리만 줄여도 큰 도움이 된다. 내 모니터의 경우 대략 300메가 이상을 먹는다.  그래서 컴퓨터를 앞에 두고도 직접 접속하지 않고hdmi 더미 플러그를 이용한 가상의 모니터에 ssh로 원격접속해 vram을 아껴쓰기도 했다. 잠시마나 내장 그래픽을 이용하자는 생각도 했었지만당시 hp에..

오랜만에 stable diffusion webui에 접속했더니, 아예 돌아가지가 않았다.체크포인트를 추가하고 프롬프트를 넣고 생성버튼을 클릭해도 이미지 자체가 생성되지 않았다. * xformers에서 지원하는 토치 버전 문제 xformer는 이미지 생성 가속화 라이브러리다. 업데이트 되면서 torch 2.1.2버전을 요구했다. 하지만 내 torch버전은 2.0.1이었다. 업그레이드 방법은 간단하다.1. webui-user.bat 파일을 연다. set COMMANDLINE_ARGS=--reinstall-xformers --medvram --xformers --reinstall-torch2. 위처럼 --reinstall-torch 인자를 추가한후 저장하고 다시 webui-user.bat을 다시 시작한다.3...

도다리 고급 번역이 어느정도 안정됨에 따라 코드 공개를 결정했습니다.vram이 23이상일때 야놀자 모델사용 가능운영체제가 리눅스일 경우 vllm(AI 가속 모듈) 사용 가능번역 프롬프트 커스터마이징필터 문구 커스터마이징현재 코드는 개발자인 저에게만 맞춰져 있어 빈틈이 많습니다.모두가 쓸수 있게 바꾸는데에는 시간이 좀 걸릴 것 같습니다. 소스코드 전면 공개 후 다시 공지하겠습니다!현재(24.07.19) eeve(고급번역)모델을 파인튜닝하고 있습니다.여러방식으로 전처리, 후처리, 프롬프트 엔지니어링을 테스트 해보았지만번역 출력시 발생하는 환각현상을 제거하기 어려웠기 때문입니다. 오늘 3차 파인튜닝 결과물을 이용해 테스트를 하고 있는데 지금까지는 결과가 희망적으로 보입니다. => 다시 비관적으로 보입니다ggu..

* 네이버 스마트 스토어를 통해 도다리를 이용하실수 있습니다.1. 도다리 텍스트 txt 고급 번역하러 가기2. 도다리 전자책 epub 고급 번역하러 가기3. 도라리 70분 자유번역하러 가기