Wookang makes AI

● 조정래 교수님의 작품 '아리랑' 텍스트 분석.

- 이라는 거창한 이름을 붙였지만 실상은 파이썬을 이용한 형태소 분석일 뿐.

- 이기황 박사(다음소프트 이사)님의 수업을 바탕으로 진행.

> 들어가는 말

난 조정래 교수님의 열렬한 팬이다. 그래서 텍스트 마이닝을 공부하며 무엇보다 먼저 그의 작품을 분석해보고 싶었다.

특히 태백산맥을 좋아하는데 끝내 텍스트 파일을 구하지 못했다.

하지만 다행스럽게도 유튜브에 빠지신(?) 우리 어머니마저 전권 독파를 자랑하신 '아리랑' 파일을 구할 수 있어 최종 선택했다.

(미리 밝히건데 종이책으로 이미 전집을 가지고 있다. 그리고 이 텍스트 파일은 (미안하지만) 누구에게도 공유할 생각이 없다.)

> 목표

아직 실력이 미약하다.

그래서 현재의 목표를 '아리랑' 속에 제일 많이 나온 단어(실제는 형태소) 순서대로 뽑아 그림으로 시각화하는 것으로 했다.

1. 먼저 각 권을 따로따로 분석하여 12권 각각의 wordcloud 이미지를 만든다.

2. 다음 전 권의 형태소를 하나로 묶어 전체의 wordcloud 이미지를 만든다.

+ 후에 기계학습(machine learning)을 시키면 '어떤 작품을 컴퓨터에게 보여주고 이게 누구의 작품인지 맞추게' 할 수도 있을 것 같다.

+ 이것을 영어버전으로 바꿔 '세익스피어의 작품은 모두 세익스피어의 작품인가'를 알아볼 수도 있겠다. 또 당대의 다른 작가들과 비교하여 가장 유사한 문체나 어휘를 구사한 작가가 누구인지도 알아볼 수 있겠다. 왜 세익스피어가 실제는 '다른 누구'이거나 '특정 작가들의 조직'이라는 음모론이 있지 않은가.

+ 그런데 영어도 형태소 분석이 필요한지는 모르겠다. 어절로 분석하는 것이 더 좋다는 이야기를 들었던 것 같은데.. 

뭐.. 그렇다면 더 쉬워지니 ㅋ 상관없다.

> 실행 

1. 먼저 아리랑 전권의 텍스트 파일을 (알아서 잘) 구한다.

2. 하나의 폴더에 12개 파일을 모두 넣은 후(txt폴더)

3. 형태소 분석하기 알맞게(여백을 제거해) 준비해 새폴더(ready폴더)에 저장한다. -  1.readyToMorph.py

3. Komoran 모듈의 konlpy으로 형태소 분석하여 다시 새폴더(morphed폴더)에 저장한다. - 2.morph_anal_output.py

(후에 이게 좀 문제가 됐는데. konlpy는 사용자 사전 만들기가 어렵단다. 인물들의 이름까지 형태소 분리해놓은 탓에 결과가 좀 후지게 나왔다.  예를들어 '백종두'가 '백종'과 '두'로 분리되어 '두'는 날아가고 '백종'만 랭킹되었더라) 

4. 3에서 형태소 분석된 파일을 바탕으로 ranking파일을 만들어 새폴더(ranked폴더)에 저장한다 - 3.count_morphs.py

5. wordcloud모듈을 이용해 4에서 빈도순으로 정렬된 파일을 바탕으로 새폴더(result_wordcloud폴더)에 이미지 파일들을 저장한다. - 4.draw_word_cloud.py

> 결과 

1. 12권 모두에서 '사람'이 압도적으로 1등. 처음에는 잘못된게 아닌가 해서 각각의 raw file들을 확인해봤는데 실제로 사람이 모두 1등.

2. 백종으로 나온 건 '백종두'를 말하고 장덕으로 나온 건 '장덕풍'을 말한다 ㅡ,ㅡ 이건 나중에 한번 싹 손봐야겠다.

3. 이제 12권 전체를 하나로 묶어 랭킹을 정리해 보자.

 - 먼저 형태소 차별(?)하지 않고 텍스트로 50위까지만 정렬해보면 아래와 같다.

 - '같은 따옴표(SS)나 '다','었'같은 종결어미(EF), 선어말 어미(EP) 등이 당~연히 압도적이다.

' SS 199729 (이건 텍스트 파싱하며 만들어진 것이다)

, SP 122673 (이 놈도 마찬가지. 다만 문장과 문장을 구분하는 용도로 쓰인 특수문자이므로 아리랑 전체의 문장 수라고 보아도 될 것 같다. 물론 접속사에도 쓰이므로 좀 빼긴빼야하는데 아래 마침표 9만개와 물음표 7600개를 미루어 짐작해 보자면 약 10만개 정도의 문장이 있는 것으로(그러니까 그런 느낌으로) 보인다ㅡ,ㅡ )

. SF 89962  

다 EF 58261

었 EP 49996 (우리나라 소설은 모두 과거형을 쓰다보니 '었'이 많다)

이 VCP 43400

을 JKO 39047 (이햐~ '을'이 그의 경쟁상대인 '를' 을 2배가 넘는 점수로 재꼈다. 이 정도면 라이벌이라 할수도 없겠다. 어떻게보면 우리말에 받침없는 명사나 대명사가 적다는 뜻이기도 할 거다)

이 JKS 38248

고 EC 36615

" SS 34875 (큰 따옴표는 하나의 문장마다 2개씩 가지고 있음을 추론(?)할 수 있고 즉, 소설 속 대화문은 거의 1.7만개. 전체 문장 중 약 17%를 차지한다고 볼 수 있지 않을까. 시대 묘사도 뛰어나지만 역시 (찰진)대화가 많아 흡입력이 좋았던 기억이다.다만 대화가 문장의 97%를 차지하는 웹소설과는 비교치 말자.)

ㄴ ETM 30802

하 XSV 23292

는 ETM 23233 (오! '는'과 '은'은 진짜 오..)

은 JX 23173

것 NNB 22931 (숨은 강자랄까)

어 EC 22411

았 EP 22163

에 JKB 21899

가 JKS 20922

는 JX 20265

들 XSN 19392

의 JKG 18105 (생각보다 적다)

를 JKO 18004

아 EC 15144

게 EC 15023

도 JX 14832

ㄹ ETM 14015

하 VV 12753

있 VX 11756

그 MM 10246

하 XSA 9508

말 NNG 9140

으로 JKB 8632

지 EC 8406

로 JKB 8235

며 EC 7768

있 VV 7692

? SF 7642

사람 NNG 7443 (이 사람이라는 단어는 어쩌면(이것도 느낌이다만) 조정래 선생님을 정의하는 단어가 아닐까 싶다. 아마 내 글을 분석하면 사람대신 '인간'이란 단어가 쏟아질 것이다)

기 ETN 7371

없 VA 7309

그 NP 7169

은 ETM 7090

되 VV 6215

에서 JKB 6090

던 ETM 6065

ㄴ JX 5465

아니 VCN 5451

않 VX 5229

만 JX 4970

- 이제 실제로 의미가 강한 형태소들만 추려내여 이미지 파일을 만들어 보면 짜~잔! 최종 결과다.

> 반성

1. 파이썬이 처음이었는데 이제 많이 익숙해진 기분(?)이다. 특히 파이썬의 지독한 한글 인코딩ㅋ

2. 수업 중 가장 감동(?)적이었던 부분은 사실 '크롤링'이었다. 수업이 끝나자마자 정말 미친듯이 크롤링하고 다녔다 ㅡ,ㅡ 그 후로 나 혼자 열심히 코딩하고 있는데 옆에 데스크탑이 놀고 있으면 왠지 분한 기분이 들어 데스크탑에게도 뭐든 일을 시키는 버릇이 생겼다. 미안. 나중에 인공지능 덕분에 나보다 더 똑똑해져도 나 때리면 안돼ㅠ

3. 함께 수업을 듣는 다른 사람들의 경험이 많은 것인지 경험이 아예 없는 것인지 종잡을 수가 없다. 실제로 '자기 소스'를 가지고 코드를 돌려보면 여러 종류의 다양한 에러가 발생하는데 이에 대해 질문하는 사람들이 없다. 다들 파이썬에 능숙한 개발자라서 왠만한 에러는 자기가 직접 처리하는 건지도 모르겠지만 수업 중 다른 사람들의 모니터를 보면 나처럼 실제로 돌려보는 사람들이 거의 없고 그냥 박사님의 말씀만 듣고 있다. 조낸 쉽다는 건가.

또, 적어도 어느 정도의 개발자라면 응당 자신이 발견한 것들을 공유하는 것이 기본 성향일텐데 그것도 하는 분들이 별로 없는걸 보면 뭐랄까, 좀 이상하다. 혹시나 아무것도 모르는 것 같냐 하면 그것도 아니다. 전혀 그렇지 않다. 오히려 내가 알아듣지 못하는 '많은 경험'에서 우러나온 듯한 질문들을 하는데 그걸 내가 이해하지 못해서 여기에 적을 수도 없다 ㅡ,ㅡ;;

다들 그냥 조낸 쩌는 것 같다.

어쨌든 사람마다 다르겠지만 나의 경우에

코드가 아무리 어려워도 그건 어떻게든 이해하고 해결할 수 있다.

수학적으로 복잡하다느니 뭐니 하는 건 솔직히 별로 걱정도 안된다. (우리에겐 풍부한 라이브러리가 있지 않은가! 크하하)

하지만 어절이라니 형태소라느니 BOM이나 공기(지금도 이해가 잘ㅜ) 같은 어색한 단어들과 무슨무슨 기법들은 '아직' 경험이 부족한 내게 낯설다. 어렵지는 않은데 낯설다보니 처음 OOP개념을 접한 사람처럼 '그래서 지금 내가 해야하는 게 뭔지' 헷갈리게 만든다.

4. 파이썬은 정말 매력적인 언어같다. 

끝.

> 비교

참고로 아래는 신경숙의 '외딴방' 분석 결과다. 친척들 참 많이 나온다;; 비교해 볼만하다.