Wookang makes AI

22.04에서 24.04로 업그레이드했더니 

터미널에서 nvidia-smi가 먹히지 않았다.

ubuntu-drivers devices 로 확인해보니 이전 설치 버전은 545였는데 560까지 나와 있었다.

실제로 software & update로 보면 드라이버는 잘 설치되어 있다.

그럼에도 nvidia-smi를 해보면 아래와 같은 메시지가 떴다.

"NVIDIA-SMI has failed because it couldn't communicate with the NVIDIA driver. Make sure that the latest NVIDIA driver is installed and running."

sudo apt install nvidia-driver-550 을 새로 설치해봤는데 설치는 성공적으로 완료되나 결과는 위와 같았다.

아무래도 우분투 24.04와의 문제같아서 chatgpt에게 웹으로 검색해서 답변해달라했더니,

바로 나왔다.

secure boot를 off로 하라는 거였다. secure문제가 여기까지 연결될줄은 상상도 못했다.

Bios 부팅설정에 들어가면 아래처럼 Secure Boot가 있을거다. (아마 모든 메인모드 공통일거다) 이걸 off로 바꾸고 저장후 다시 부팅한다.

터미널에 nvidia-smi를 넣어보니

잘된다 ㅠ 세상에

우분투 사용은 대부분 원격으로 이루어진다.

외부에서 작업시 필요할때만 원격pc를 켠후 우분투로 부팅을 하는데 이때 자동로그인을 열어놔야만 원격접속이 가능해진다.

하지만 계정 로그인 설정을 안했을 경우 아래처럼 키모음 잠금이 기본으로 되어 있어 원격접속이 불가능하다.

풀어보자.

1. 암호 및 키로 검색

2. 왼쪽 네이바에 ‘로그인’ 위에서 마우스 오른쪽 키 암호변경 선택

3. 이전 비번 넣어주고

4. 아래창을 아무것도 입력하지 않고 그냥 계속하면 마스터 키링 값이 널값이 되어 진정 자동로그인이 된다.

이제 컴퓨터만 켜면 자동으로 원격접속이 가능해진다.

이번에 24.04로 업그레이드하며 기본값이 롤백되었기에 다시 작업이 필요했다.

24.04가 4월에 처음 나온 후 몇달간은 업그레이드가 쉽지 않았다.

터미널로만 작업하는건 복잡할게 없는데 23.04로 먼저 업그레이드 한후 다시 24.04로 업그레이드 해야한다는게 번거로워 진행하지 않고 있었다.

하지만 이제 os단에서 자동 업그레이드가 지원된다.

클릭 한번이면 끝난다. 우분투 14.04부터 사용해오던 골수 유저의 입장에서 이런건 기적같은 발전으로 느껴진다.

ubuntu server 만 사용하는 사람들은 우분투 버전업의 체감이 거의 없겠지만

ubuntu desktop 사용자들에게 메이저 버전업은 항상 커다란 스트레스와 행복 두가지를 동시에 안겨준다.

참고로 14.04때는 설치후 한글을 따로 설치해야 한글을 쓸수 있었고 바탕 아이콘 하나 만들때도 내가 스크립트로 직접 만들어야만 했다. 그야말로 원시 그 자체였다.

1. 현재는 22.04버전이다. 먼저 소프트웨어 업데이터를 찾아서 실행시킨다.

2. 새로운 버전이 있다면 설치할것이냐고 묻는다. 설치하자.

- 다만 이전 패키지들을 모두 업데이트 해놓아야 정상적으로 작동할수도 있다.

- 만약 새버전 설치 메시지가 뜨지 않는다면,

sudo apt update

sudo apt upgrade

를 해준후 다시 시도해보자.

3. 업그레이드 완료. 

잘된다. 아무 충돌이나 깨짐이 없다. 놀랍다.

아직 많이 사용하진 못했지만 지난 이틀간 느낌은,

- ui가 보다 깔끔해졌다.

- 내가 가장 많이 사용?하는 원격 데스크톱의 위치가 바뀌었다.

- 기존 '공유'탭에서 '시스템' 탭으로 바뀌었다.

- 그리고 이유는 모르겠는데 이전에는 원격으로 붙었을때 소리는 전송이 안되었는데 지금은 소리까지 전송이 잘된다. 이 부분이 아주 마음에 든다;

한달만에 우분투로 부팅을 하려했더니 grub화면 자체가 뜨지 않았다.

이런 오류였다. chatGPT의 힘을 빌어 알아보니 아래와 같은 이유였다.

* Shim
많은 Linux 배포판은 Secure Boot와 호환되도록 "Shim"이라는 부트로더를 사용합니다. Shim은 부팅 시에 서명을 검사하여 UEFI Secure Boot에 의해 신뢰받을 수 있도록 합니다.

* 문제의 원인
Microsoft에서 2024년 8월에 업데이트를 진행했는데, 이 업데이트는 Shim 부트로더의 취약점을 해결하기 위한 것이었습니다.이로 인해 오래된 버전의 Shim을 사용하는 Ubuntu ISO 파일은 Secure Boot가 활성화된 시스템에서 부팅이 차단됩니다.

너무나 완벽한 설명이다.  이제 해결해보자.

https://askubuntu.com/a/1523439/893710 이 답변의 도움을 받았다.

1. CMOS(BIOS 화면)으로 들어가서(부팅시 F10이나 F2키를 연타)

2. 부팅을 선택한 후, Secure Boot를 off로 바꾼다. 잘 찾아보면 on으로 되어 있을 거다. 이걸 off로 바꾼다.

3. 저장하고 나와서 재부팅

4. 이제 grub화면이 정상적으로 뜬다. 우분투로 부팅한 후 기존 SBAT 정책을 삭제한다.

5. sudo mokutil --set-sbat-policy delete

6. 됐다. 다시 부팅하여 BIOS화면으로 들어가서 Secure Boot 옵션을 on으로 바꿔준다.

7. 이제 잘된다.

현재 위 문제는 24버전에는 이미 해결되어 나타나지 않는다고 한다.

파인튜닝 데이터를 만들던 중 아래처럼 영단어와 뜻으로 구성된 json파일이 필요했다. 대략 500개정도 있으면 충분할 거 같았다.

{
    "plain": "솔직한",
    "parallel": "평행한",
    "crack": "금이 가다",
    "Red": "빨간색",
    "deal": "거래",
    "size": "크기",
}

혹시나해서 chatgpt에게 물어보니 바로 만들어줬다. 그런데 단지 결과만 알려준게 아니라 파이썬 코드도 함께 알려줬다.

나는 코드를 요구한적도 없었는데 말이다. (아마도 이전 대화기록을 바탕으로 추론했을것이다)

더구나 나는 코드로 이런걸 만들어내는수가 있을거라 생각한적도 없었다.

코드를 보니 ntlk라는 라이브러리 안에 영어사전이 있고 이것을 가져와 구글 번역 api로 번역을 하는 것 같다.

막상 코드를 돌려보니 사람들이 거의 사용하지 않는 단어들을 무작위로 500개 가져오기에

한번 더 chatgpt의 힘을 빌려 코드를 보강했다.

기능은 아래와 같다.

1. 생성하고자 하는 영단어 수를 입력하면(아래 주석부분을 수정)
2. 상위빈도 5000개의 단어를 먼저 가져와(물론 이것도 아래 코드에서 5000을 원하는 값으로 수정하면된다)
3. 그 중 명사와 동사만 추려낸 후
4. 랜덤하게 500개만 json형식으로 파일로 저장하는 것이다.

* 이제 돌려보자

1. 먼저 설치할게 하나있다

pip install nltk googletrans==4.0.0-rc1

2. 다음 아래 코드를 그냥 붙여넣기하고 돌리면 된다.

- 처음에는 사전을 다운로드 하는데 시간이 좀 걸린다

import random, time
import nltk
from nltk.corpus import words, brown
from collections import Counter
from googletrans import Translator
import json

# NLTK 데이터 다운로드 (한번만 실행하면 됩니다)
nltk.download('words')
nltk.download('brown')
nltk.download('averaged_perceptron_tagger')

# 생성하고자 하는 영단어 개수를 입력
word_count = 500

# 모든 영어 단어 목록
word_list = words.words()

# Brown 코퍼스의 단어 목록과 빈도 계산
brown_words = brown.words()
word_freq = Counter(brown_words)

# 빈도가 높은 상위 단어 5000개 선택
common_words = {word for word, freq in word_freq.most_common(5000)}

# word_list에서 상위 빈도 단어만 선택
filtered_word_list = [word for word in word_list if word.lower() in common_words]

# 품사 태깅하여 명사와 동사만 필터링
tagged_words = nltk.pos_tag(filtered_word_list)

# 명사와 동사 품사 태그 목록
noun_tags = {'NN', 'NNS', 'NNP', 'NNPS'}
verb_tags = {'VB', 'VBD', 'VBG', 'VBN', 'VBP', 'VBZ'}

# 명사와 동사만 필터링
filtered_nouns_and_verbs = [word for word, tag in tagged_words if tag in noun_tags or tag in verb_tags]

# 그 중 랜덤하게 500개의 단어를 선택합니다.
random_words = random.sample(filtered_nouns_and_verbs, word_count)
# Google Translate API를 사용하여 번역합니다.
translator = Translator()
translated_dict = {}

def save():
    with open('translated_words.json', 'w', encoding='utf-8') as f:
        json.dump(translated_dict, f, ensure_ascii=False, indent=4)

for idx, word in enumerate(random_words):
    try:
        translated_word = translator.translate(word, src='en', dest='ko').text
        print(idx+1, word, translated_word)
        translated_dict[word] = translated_word
        time.sleep(1)
    except:
        print('중간에 오류발생. 지금까지 작업한 것들 저장함')
        save()
        
    
# JSON 파일로 저장합니다.
save()

print(f"{len(random_words)}개의 단어가 번역되고 JSON 파일로 저장되었습니다.")

위 코드를 돌리면 아래 파일과 같은 결과를 얻을 수 있다.

거의 100% chatgpt가 코딩한 결과이고 나는 편의를 위한 사소한 수정과 코드 조합만 했다.

이쪽 분야에 있으면서도 새삼 놀라운 세상임을 느낀 하루였다.

● 동기

AI작업을 하다보면 4090의 24GB vram이 간당간당 할때가 있다.

보통 llama2 13b 모델이나 Mixtral의 8x7B 모델은 양자화 시켜 돌릴 수 있지만 max length 조절을 섬세?하게 해야한다.

yanolja-eeve의 경우도 마찬가지다. 메모리 100메가 차이로 가끔씩 out of memory 메시지를 토해낼때가 있다.

이때는 메모리 100, 200메가도 소중한데 이 경우 모니터 출력에 사용하는 메모리만 줄여도 큰 도움이 된다. 내 모니터의 경우 대략 300메가 이상을 먹는다. 

그래서 컴퓨터를 앞에 두고도 직접 접속하지 않고

hdmi 더미 플러그를 이용한 가상의 모니터에 ssh로 원격접속해 vram을 아껴쓰기도 했다.

잠시마나 내장 그래픽을 이용하자는 생각도 했었지만

당시 hp에서 구입한 오멘pc의 내부 모니터 dp단자는 아예 막혀서 출고가 되어 이걸 빼내는 것도 귀찮은 일이어서 미루고 있었다.

하지만 요새 날씨가 더워져 사무실 창문에 노출되어 있는 바깥 파티션은 사용하기 힘들어졌다. 여기는 에어컨 바람도 막혀있다. 선풍기 만으론 4090에서 뿜어내는 열기를 감당할수 없었다. 그래서 대대적으로 사무실 구조를 바꾸며 이번 기회에 미뤄뒀던 작업을 진행하기로 했다.

● 상태

1. 서버PC에서 항상 사용하는 모니터를 4090 데스크탑에서도 보조 모니터로 사용하고 맥북에서도 보조모니터로 사용할 수 있게, 즉 3개의 컴퓨터가 하나의 모니터를 모두 사용할 수 있게 구조를 엮었다. 어차피 서버는 모니터가 거의 필요하지 않고 필요하다 해도 원격으로 붙어 사용하는 경우가 훨씬 더 많기 때문이었다.

2. 4090pc에는 윈도우와 우분투가 함께 깔려 있고 처음 부팅시 grub에서 os를 선택해 실행한다.

3. 4090 PC의 경우. 이제까진 5120x1440 모니터 하나만 썼는데 보조 모니터 하나가 더 생기니 이렇게 편할 수가 없었다.  stable diffusion은 윈도우 기반으로 돌리기 때문에 - 윈도우가 바로 편집할 수 있어 우분투 환경보다 훨씬 낫다 - 그런데 윈도우는 내장 그래픽 카드를 자동으로 인식하지만 우분투는 내장 그래픽 카드를 인식하지 못했다.

4. 대부분의 ai개발이나 llm은 모두 우분투 기반으로 돌리기 때문에 이는 심각한 문제였다.

● 해결

아래 링크를 통해 해결했다.

세상에! 보통 이런 경우 외국사이트를 수도없이 들락날락 거리며 한참 고생해야하는데 위 한국분이 아주 친절하고 상세하게 이미 정리해 놓으셔서 아무 고생도 하지 않았다.

솔직히 우분투에 관한 대부분의 한국 정보는 '잘못된' 경우가 많아 반신반의하면서 작업했는데

너무 나이스하게 working이 되었다. 특별히 더 감사한 마음이 들어 이렇게 글을 정리한다.

드디어 한줌의 vram을 아낄수 있게 되었다.

당시에는 나를 훌륭한 개발자라고 생각했다. 처음부터 끝까지 무언가를 만드는 것도 벌써 두번째였다. 지금처럼 파파고나 구글 번역이 좋지 않던 시절이었다. 

돈을 벌지 못하는 개발이 지긋지긋했던 나는 뜬금없이 영어 공부에 빠져있었다. 내가 개발을 잘할 수 있게 된 방법론을 영어에 적용해 보고 싶었다. 돌이켜보건데 둘다 결과가 별로였던 건 이렇게 필연적이었다. 

그럼에도 이 서비스의 아이디어는 나쁘지 않다고 생각한다. 나처럼 숫자 듣기에 약한 사람이나 나만의 특정 상황을 훈련해야 하는 사람이라면 그런 문장들을 집중적으로 반복해 듣고 익힐 수 있기 때문이다. 물론 나는 여전히 영어 숫자 듣기에 약하다. 그러니 이 서비스의 신뢰 여부는 내 판단을 넘어선다.

https://github.com/vEduardovich/sayToRemember

한번도 도박을 해본적 없으면서 시작했던 해외축구 베팅 서비스. 모든 것이 서툴고 힘들었다. 사업을 진행할수록 계속 이더리움을 잃었다. 이더리움을 딴 사람들은 계속 방문했고 잃은 사람들은 다시 오지 않았다.

블록체인 판은 사기꾼 천지였다. 서버를 해킹당하고 홍보를 미끼로 여기저기서 사기를 당했다. 게다가 이더리움 가스비는 매일 출렁거렸다. 어느 날은 30원이었고 어느 날은 1300원이었다.

서비스를 진행했던 6개월간 거의 잠을 자지 못했다. 부모님은 항상 걱정하셨다. 붉은 눈과 늘어진 다크서클이 너무 진하게 각인되어 영원히 없어질 것 같지 않았다. 그리고 코로나로 모든 축구 리그가 중지되었다.

서비스도 중지되었다. 적자 1억. 그 1년이 아마도 내 인생에서 가장 믿을 수 없을만큼 세상에 무언가를 빌드했던 시기였다. 아쉬운건 그것이 겨우 도박 사이트였다는 것이다. 다시는 그런것에 내 인생을 걸지 않을 것이다. 그런 의미로 이 서비스를 완전 공개한다.

https://github.com/vEduardovich/whitebetting

1. 먼저 우분투 22.04를 설치한다

wsl -l -o

설치 가능한 버전들이 뜬다

wsl --install -d Ubuntu-22.04

22.04를 설치한다.
2. 컴퓨터를 재부팅하면 다시 켜자마자 자동으로 알아서 설정 완료한다.

3. 설치 중 오류가 발생했다면 아래와 같이 윈도우 기능켜기/끄기를 검색한 후 Hyper-X와 Linux용 머시기를 체크해준다.

4. 재부팅 후 다시 시도하면 된다.

5. 그래도 커널에러가 발생할때가 있다
https://wslstorestorage.blob.core.windows.net/wslblob/wsl_update_x64.msi
위 파일을 설치한 후 커널을 업데이트하면 정상적으로 돌아간다.

6. 이제 업데이트 모두 하자

sudo apt-get update
sudo apt-get upgrade

7. 이제 저장 경로를 c:에서 e:로 바꿔보자
아래 경로에 ext4.vhdx 가 저장되어 있다. 
C:\Users\ufo\AppData\Local\Packages\CanonicalGroupLimited.Ubuntu22.04LTS_79rhkp1fndgsc\LocalState\ext4.vhdx
위 파일안에 우분투와 모든것들이 들어간다. 즉 저걸 e:로 옮기면 되는거다.

8. 먼저 우분투 프로세서를 terminate시켜야한다

wsl -l -v

를 실행시키면 설치된 리눅스 버전들이 보인다. 이 중에서 종료시킬 버전을 선택하는 거다.

wsl -t Ubuntu-22.04

9. 이제 옮기자.
그냥 옮기면 의존성 처리가 골치아프다. 라이브러리를 활용하자
https://github.com/pxlrbt/move-wsl
git clone https://github.com/pxlrbt/move-wsl.git
위 깃헙에서 가져온 move-wsl.ps1 파일을 파워쉘에서 실행시켜야 한다. - 깃헙에서 저 파일 하나만 가져오면 된다
그런데 아래같은 오류가 뜬다.

10. 관리자 모드로 파워셀을 실행 시킨 후에 권한을 주자. 아래 스크립트를 실행한다

Set-ExecutionPolicy RemoteSigned

11. 됐다. 이제 준비가 끝났다. 옮긴다
.\move-wsl.ps1 
실행하면 옮길 리눅스 버전이 뜬다. 아래 스샷처럼 1번 선택.
다음에는 이동시킬 경로를 넣어준다. 나는 E:\WSL

12. 한참동안 복사가 된다. Done!

루트 접속이 아닌 일반계정으로 로그인하기 위해  /etc/wsl.conf 파일을 만들고 아래 문구를 넣어준다. 내아이디 위치에 원하는 이름을 넣으면 된다. 나는 ufo로 넣었다

[user]
default=내아이디

닫고 재실행하면 아래와 같이 변경된것을 알수있다.