[Text-Generative-Diffusion] WSL에 설치하기

1. 콘다로 새로운 가상환경 만들어준다

• conda create -n textgen python=3.10
• 이 환경 아래에 설치한 후 활성화하기
• conda activate textgen

 

1. 라이브러리들을 설치한다

• conda install cuda pytorch torchvision torchaudio pytorch-cuda=11.7 -c pytorch -c nvidia/label/cuda-11.7.0

 

1. 이제 깃헙에서 받아오자

• git clone https://github.com/oobabooga/text-generation-webui.git
• pip install ninja
• cd text-generation-webui
• pip install -r requirements.txt

• 위와 같은 에러가 뜬다. 한번 잡아보자.
• https://github.com/oobabooga/one-click-installers/issues/30#issuecomment-1518040167
• 한시간이 넘게 고생하면 알아본 결과 C complier가 없어서 발생한 문제였다. 어디에도 정리된 문서를 찾을 수 없었다
• sudo apt install build-essential
• 이걸로 c컴파일러를 깔고 다시 시도해보자
• pip install -r requirements.txt
• 잘된다.
• python server.py
• http://127.0.0.1:7860 에 접속하면 윈도우에서 창이 열린다. 우분투와 리눅스가 이렇게 연결된다니 신비로운 기분이다.
• 성공
• 이제 모델들을 모두 테스트해보자.
• 안된다. 모델을 로드하면 ModuleNotFoundError: No module named 'llama_inference_offload' 이런 에러가 뜬다
• https://github.com/qwopqwop200/GPTQ-for-LLaMa/issues/161

 

• 위와 같은 GPTQ를 돌리기 위해서는 추가 작업이 필요하다
• 알아보니 이건 아래에 윈도우 설치할때와 같은 작업이 필요하다.
• git clone https://github.com/oobabooga/GPTQ-for-LLaMa.git -b cuda
• cd GPTQ-for-LLaMa && python setup_cuda.py install

 

• 마지막으로 GPTQ-for-LLaMa 폴더안의 모든 파일을 통채로 잘라내기 한후
• text-generation-webui 폴더 안으로 이동하고 
• 여기에 통채로 붙여넣기한다. 덮어쓰기는 하지 않는다. explore.exe를 이용해 안전하게 이동시키자
• python server.py --listen --listen-port 8001 --chat --auto-devices
• 모델들을 로딩해본다. 세팅만 맞으면 GPTQ 모델들도 로딩이 잘된다.

 

1. 외부에서 wsl로 붙기위해 포트 연결하기

• 관리자 파워쉘에서 
• netsh interface portproxy add v4tov4 listenport=8001 listenaddress=0.0.0.0 connectport=8001 connectaddress=172.28.51.232
• 0.0.0.0은 외부에서 붙을 수 있게 열어준다는 뜻이고 8001포트는 외부에 열린 포트이다. 172.23.81.58은 wsl2 포트이다
• 핵심은 connectaddress 에 현재 우분투의 ip를 적어주는 것이다. 여기에 localhost가 들어가 있으니 접속이 계속 안되었던 거다.
• 만약에 위 내부 포트가 바뀔때를 대비해 스케쥴러를 이용하는데 이건
• https://velog.io/@popcorn_kim93/WSL2%EC%97%90-ssh-%EC%84%9C%EB%B2%84%EC%99%80-%EC%99%B8%EB%B6%80%EC%97%B0%EA%B2%B0-%ED%99%98%EA%B2%BD-%EA%B5%AC%EC%B6%95
• 를 보자. 여러번 재부팅해봤는데 아직은 별 문제가 없다

 

• 문제 발생시 아래는 해당 포트를 삭제하기
• netsh interface portproxy delete v4tov4 listenaddress=0.0.0.0 listenport=8001

 

• wsl에서 외부로 열린 포트 확인. 아래의 파워쉘 포트와 다르다
• netsh interface portproxy show v4tov4