Wookang makes AI

올해 초 처음 테무에서 실험삼아 가방과 무선 이어폰을 샀다.  모니터 화면으로는 그럴듯했으나 실제로 받아보니 재질이 이상했다. 부스럭 거리는 비닐같았다. 그리고 너무나 가벼웠다. 그냥 보기에도 싼티 작렬이었다. 실제로도 쌌으니 할말은 없었다.무선이어폰은 충전단자가 micro usb 옛날 방식이었다. 소리는 나쁘지 않았지만 기능에 문제가 많았다. 이어폰을 귀에서 제거하고 케이스에 넣어도 음악이 계속 흘러나왔다. 휴대폰과 이어폰의 연결이 자동으로 끊어지지 않았다. 휴대폰에서 직접 음악을 멈춰야만 이어폰에서 나오던 소리가 멈췄다. 휴대폰에서 블루투스 접속을 직접 끊어줘야만 했다. 한마디로 쓰레기였다. 당시 테무에서 결제 정보를 빼간다는 소문도 나돌았다. 바로 카드정보를 삭제하고 앱도 지웠다.내가 다시 테무로 ..

● 동기AI작업을 하다보면 4090의 24GB vram이 간당간당 할때가 있다.보통 llama2 13b 모델이나 Mixtral의 8x7B 모델은 양자화 시켜 돌릴 수 있지만 max length 조절을 섬세?하게 해야한다. yanolja-eeve의 경우도 마찬가지다. 메모리 100메가 차이로 가끔씩 out of memory 메시지를 토해낼때가 있다.이때는 메모리 100, 200메가도 소중한데 이 경우 모니터 출력에 사용하는 메모리만 줄여도 큰 도움이 된다. 내 모니터의 경우 대략 300메가 이상을 먹는다.  그래서 컴퓨터를 앞에 두고도 직접 접속하지 않고hdmi 더미 플러그를 이용한 가상의 모니터에 ssh로 원격접속해 vram을 아껴쓰기도 했다. 잠시마나 내장 그래픽을 이용하자는 생각도 했었지만당시 hp에..