현대경제연구원 보고서 쿨백라이블러 발산 (Kullback–Leibler divergence) 분석

푸른깃발🏳️ 2016. 7. 3. 20:23

2016. 7. 3. 20:23

● 현대경제연구원 보고서 KL발산 분석

> 들어가는 말

1. 예상하기는 했지만 생각보다 빨리 다시 하고 싶어졌다. 그 동안 내가 이 정도 하다가 무언가를 그만둔 적이 평생에 한번도 없기 때문이다.

2. 그래도 헬대라는 생각에는 변화가 없다.

> 계획

1. 먼저 season2로 새로운 프로젝트를 만든다. 새술은 새부대에!

2. morphed 폴더 안에 이미 형태소 분석한 보고서 txt파일들을 몽땅 넣는다. (2109개다)

3. 보고서의 내용을 (요약)정리한 json파일에 이 형태소 txt 파일의 이름을 dictionary로 추가한다.

4. 이것으로 현대경제연구소 보고서 분석에 대한 모든 재료가 준비되었다. 보기 좋게 indent을 4정도 주면 아래같이 이쁘게 뽑힌다.

[

{

"fileName":"2016.06.27[0].pdf",

"morphedName":"2016.06.27[0].txt",

"fileNum":0,

"whoID":"이부형 이사대우",

"reportURL":"https:\/\/hri.co.kr:442\/download.asp?file_path=%2Fpublication%2F&file_name=201662716126%5B1%5D.pdf",

"dateID":"2016.06.27",

"titleID":"일본 고령자 일자리 창출 사례와 시사점",

"magazineID":"VIP Report"

},

{

"fileName":"2016.06.24[1].pdf",

"morphedName":"2016.06.24[1].txt",

"fileNum":1,

"whoID":"홍준표 연구위원",

"reportURL":"https:\/\/hri.co.kr:442\/download.asp?file_path=%2Fpublication%2F&file_name=201662713513%5B1%5D.pdf",

"dateID":"2016.06.24",

"titleID":"브렉시트의 불확실성 차단과 성장잠재력 확충을 위한 2016 추경 편성 방향 제언",

"magazineID":"한국경제주평"

},

5. 접근은 간단하다. 빈배열을 하나 만든 후 json.load(f)를 바로 대입한 후 for문 안에 넣고 print(information[i]['morphedName'])와 같이 접근하면 된다. 게임에서는 xml만 사용해서 json을 처음 써봤는데 이게 4천배 더 좋다. 일단 형식이 있어 좋고 배열과 딕셔너리를 이용해 세상 모든 데이터들을 요리할 수 있겠다. 활용방법이 다양하겠지만 지금 내게는 먼저 배열로 싸고 그 안에 딕셔너리로 구조를 짜고 그 안에 상황에 맞춰 두 가지를 혼용하는 방식이 제일로 (편해)보인다.

즉 [ { }, { }, { } ] 이렇게 사용하는 건데 대량의 데이터를 처리할 때에는 배열로 감싸야 인덱스로 접근이 가능하기 때문이다. 이렇게 처리하지 않으면 매번 for문을 돌려 한줄한줄 파싱해서 문자열 비교를 통해 접근해야 한다.

어쨌든 이 거지같은 셀프 프로젝트를 진행하며 json 사용에 익숙해진 것이 성취라면 성취다. 프로젝트를 발주한 사람이 바로 나라 욕도 못하겠다ㅡ,ㅡ

5. 2001년 2월부터 2016년 6월 27일까지 시기별 단어 빈도수 분석의 경우, 이게 한번도 해본적 없는 사람에게는 흥미롭겠지만 난 이미 지긋지긋하게 했으므로 안한다..만 프로젝트 완료하고 할지도 모르겠다. 2000년 초반에 많이 쓰인 단어와 현재 많이 쓰이는 단어는 분명 차이가 있을 것도 같다.

6. 오늘은 아직 해본적 없는 작업. MagazinID별 키워드 중요도 산출을 할 거다. 룰루~

지금이 제일 신날때다ㅡ,ㅡ

> 실행

1. 먼저 MazingineID별 보고서의 개수를 정리하면 아래와 같다.

{ 전체 : 2109, VIP Report : 443, 한국경제주평 : 686, 이슈리포트 : 401, 연금시장리뷰 : 105, Chairperson Note: 377, 통일경제 : 85, 지식경제 : 12 }

2. 처음 계획대로 json파일을 열어 for문으로 각 형태소에 접근한 후 해당 MagazinID를 기준으로 KL발산을 계산한다.

3. 아래는 전체 코드다.

#!/usr/bin/env python3
# -*- coding: utf-8 -*-

import sys
import os.path
from collections import Counter
import math
import ujson

Subject_KEY = "magazineID"
MagazinID_MAP = { # 이건 지금 할 필요가 없지만 혹시 필터 처리가 필요할지 몰라 넣어놓는다.
    "VIP Report": "VIP Report", # vip
    "한국경제주평" : "한국경제주평", #korea
    "이슈리포트" : "이슈리포트", #issue
    "연금시장리뷰" :"연금시장리뷰", #pension
    "Chairperson Note" : "Chairperson Note", #chair
    "통일경제" : "통일경제", #unity
    "지식경제" : "지식경제" #knowledge
}
FEATURE_POSES = ["NNG"]

def get_subj_morph_counts(input_file_name):

vip_morph_counts = Counter()
    korea_morph_counts = Counter()
    issue_morph_counts = Counter()
    pension_morph_counts = Counter()
    chair_morph_counts = Counter()
    unity_morph_counts = Counter()
    knowledge_morph_counts = Counter()
    all_morphs = set()
    information = []
    subjs_counts = {}

with open(input_file_name, 'r', encoding='utf-8') as f:
        information = ujson.load(f)
        for i in range(len(information)):
            subj_code = information[i][Subject_KEY]
            if subj_code == "Nowhere": #이건 pass!
                continue
            subj = MagazinID_MAP[subj_code]

morphed_file = "HyunEco_Season2/morphed/" + information[i]['morphedName']
            try:
                with open(morphed_file, 'r', encoding='utf-8') as morphedReport:
                    morphedText = ujson.load(morphedReport)
                    morphs = []
                    for j in range(len(morphedText)):
                        morphs = ext_morphs(morphedText[j]['morphAnal'], morphs)

if subj == "VIP Report":
                        vip_morph_counts.update(morphs)
                    elif subj == "한국경제주평":
                        korea_morph_counts.update(morphs)
                    elif subj == "이슈리포트":
                        issue_morph_counts.update(morphs)
                    elif subj == "연금시장리뷰":
                        pension_morph_counts.update(morphs)
                    elif subj == "Chairperson Note":
                        chair_morph_counts.update(morphs)
                    elif subj == "통일경제":
                        unity_morph_counts.update(morphs)
                    elif subj == "지식경제":
                        knowledge_morph_counts.update(morphs)
                    all_morphs.update(morphs)
            except:
                pass

subjs_counts = { "vip" : vip_morph_counts, "korea" : korea_morph_counts, "issue" : issue_morph_counts,\
                    "pension":pension_morph_counts, "chair":chair_morph_counts, "unity":unity_morph_counts,\
                    "knowledge":knowledge_morph_counts, "all" : all_morphs}
    num_counts = {"vip":vip_num, "korea" : korea_num, "issue" : issue_num,"pension":pension_num,"chair":chair_num,\
                  "unity":unity_num,"knowledge":knowledge_num,"all" : all_num}
    return subjs_counts, num_counts

def ext_morphs(ma_res,morphs):

for word in ma_res:
        #for word in sen:
        for morph_lex, morph_pos in word:
            if morph_pos not in FEATURE_POSES: #지금은 모든 MazagineID를 실험한다
                continue

morphs.append(morph_lex)

return morphs

def get_subj_morph_kl_divs(subjs_counts):

sum_vip_morph_counts = 0
    sum_korea_morph_counts = 0
    sum_issue_morph_counts = 0
    sum_pension_morph_counts = 0
    sum_chair_morph_counts = 0
    sum_unity_morph_counts = 0
    sum_knowledge_morph_counts = 0

for count in subjs_counts['vip'].values():
        sum_vip_morph_counts += count

for count in subjs_counts['korea'].values():
        sum_korea_morph_counts += count

for count in subjs_counts['issue'].values():
        sum_issue_morph_counts += count

for count in subjs_counts['pension'].values():
        sum_pension_morph_counts += count

for count in subjs_counts['chair'].values():
        sum_chair_morph_counts += count

for count in subjs_counts['unity'].values():
        sum_unity_morph_counts += count

for count in subjs_counts['knowledge'].values():
        sum_knowledge_morph_counts += count

#드디어 KL발산을 계산한다
    subj_morph_kl_divs = []

for morph in subjs_counts['all']:
        for subj, morph_counts, sum_morph_counts in zip(["VIP Report","한국경제주평","이슈리포트","연금시장리뷰",\
                                                            "Chairperson Note","통일경제","지식경제" ],
                                         [subjs_counts['vip'],subjs_counts['korea'],subjs_counts['issue'],subjs_counts['pension'],\
                                          subjs_counts['chair'],subjs_counts['unity'],subjs_counts['knowledge']],
                                                        [sum_vip_morph_counts,sum_korea_morph_counts,sum_issue_morph_counts,
                                                         sum_pension_morph_counts,sum_chair_morph_counts,
                                                         sum_unity_morph_counts,sum_knowledge_morph_counts]):
            subj_morph_count = morph_counts[morph]
            subj_morph_prob = subj_morph_count / sum_morph_counts

vip = subjs_counts['vip'][morph] / sum_vip_morph_counts
            korea = subjs_counts['korea'][morph] / sum_korea_morph_counts
            issue = subjs_counts['issue'][morph] / sum_issue_morph_counts
            pension = subjs_counts['pension'][morph] / sum_pension_morph_counts
            chair = subjs_counts['chair'][morph] / sum_chair_morph_counts
            unity = subjs_counts['unity'][morph] / sum_unity_morph_counts
            knowledge = subjs_counts['knowledge'][morph] / sum_knowledge_morph_counts

if subj == "VIP Report": # [ korea, vip, issue, pension, chair, unity, knowledge ]
                other_subj_morph_probs = [ korea, issue, pension, chair, unity, knowledge ]

elif subj == "한국경제주평":
                other_subj_morph_probs = [ vip, issue, pension, chair, unity, knowledge ]

elif subj == "이슈리포트":
                other_subj_morph_probs = [ korea, vip, pension, chair, unity, knowledge ]

elif subj == "연금시장리뷰":
                other_subj_morph_probs = [ korea, vip, issue, chair, unity, knowledge ]

elif subj == "Chairperson Note":
                other_subj_morph_probs = [ korea, vip, issue, pension, unity, knowledge ]

elif subj == "통일경제":
                other_subj_morph_probs = [ korea, vip, issue, pension, chair, knowledge ]

elif subj == "지식경제":
                other_subj_morph_probs = [ korea, vip, issue, pension, chair, unity ]

avg_morph_prob = \
                (subj_morph_prob + sum(other_subj_morph_probs)) / 7

try:
                kl_div = calc_kl_div(subj_morph_prob, avg_morph_prob)
            except:
                kl_div = 0.0

subj_morph_kl_divs.append([subj, morph, kl_div])

return subj_morph_kl_divs

def calc_kl_div(subj_morph_prob, avg_morph_prob):

kl_div = subj_morph_prob * math.log(subj_morph_prob / avg_morph_prob)

return kl_div

def write_subj_morph_kl_divs(output_file_name, subj_morph_kl_divs):

with open(output_file_name, "w", encoding="utf-8") as output_file: 
        for output_elems in sorted(subj_morph_kl_divs,
                                   key=get_3rd_elem, reverse=True):
            output_elems = [str(e) for e in output_elems]
            output_file.write("{}\n".format("         \t".join(output_elems)))

def get_3rd_elem(seq):

elem = seq[2]
    return elem

def main():

input_file_name = "HyunEco_Season2/report_infomation.txt"
    output_file_name= "HyunEco_Season2/result_keywords.txt"

subjs_counts = get_subj_morph_counts(input_file_name)
    subj_morph_kl_divs = get_subj_morph_kl_divs(subjs_counts)
    write_subj_morph_kl_divs(output_file_name, subj_morph_kl_divs)
    w.close()

main()

4. 코드를 보면 알겠지만 핵심이 되는 KL발산 부분은 몇 줄 없다.

$D_{{{\mathrm {KL}}}}(P\|Q)=-\int _{X}\log {\frac {dQ}{dP}}dP$

요리를 위한 재료 준비가 90%다. 재료 준비도 자꾸하다보니 이게.. 역시나.. 지겨워진다..

그래도 어제는 현다이의 마수에 걸려 코딩을 한줄도 못했는데 오늘은 코딩할 수 있어 좋았다.

그리고..

다른 사람들은 좀 담담하던데 난 여전히 코드 만들고 돌릴 때 짜릿한 느낌이 있다.

게임보다는 결과를 예측할 수 없는 시뮬레이션 만들 때 그런데, 그래서 연산 중에는 일부로 화면에 숫자들 정신없이 돌아가게 만들기도 한다.

나만의 공식으로 주식 종목 필터 처리해서 결과 볼 때도 그랬고 길찾기 만들어 캐릭터가 알아서 복잡한 길 찾아가는 거 지켜볼때도 그랬고

게임 화폐시스템을 만들어 그 안에서 여러 유형의 유저들이 온갖 화폐 활동 후 기간별 가질 수 있게 되는 화폐의 크기를 시뮬레이션 할때도 손맛이 짜릿했던 기억이다.

어쨌든 결과가 나왔다.

> 결과

1. 아래가 150위까지 결과다. 막상 살펴보니 보고서 숫자가 몇개 없는 지식경제가 상위를 차지했다.

지식경제 지식 0.05117214233259338
지식경제 지역 0.04613919186344038
연금시장리뷰 연금 0.04168524702969031
연금시장리뷰 퇴직 0.03826572708508563
지식경제 능력 0.02361373000643169
지식경제 혁신 0.023407272014866806
지식경제 투입 0.021659357681599493
통일경제 교류 0.018282206808129225
지식경제 기술 0.015020391406510198
Chairperson Note 기업 0.014464712113028735
연금시장리뷰 은퇴 0.013570079603951965
통일경제 통일 0.013314087784168068
지식경제 지표 0.013289696448486162
지식경제 인식 0.012779286403723398
지식경제 해운 0.012614375433823675
통일경제 협력 0.012492566838067633
통일경제 문제 0.011783161263373277
지식경제 한 0.011114488450019729
통일경제 평화 0.010740176199994842
통일경제 합의 0.010660185679314614
통일경제 경협 0.010233035869884567
지식경제 공정 0.010039132171178944
지식경제 데이터 0.00976384959405063
지식경제 특집 0.009752297899769691
지식경제 시스템 0.00971673555612069
지식경제 태그 0.009399179119666468
Chairperson Note 경영 0.009255815209444592
통일경제 사업 0.008922475077681508
통일경제 정책 0.008919643026122791
연금시장리뷰 동향 0.00886013794843319
지식경제 위 0.008662761162350324
지식경제 사용 0.008505749594320948
연금시장리뷰 실물 0.008182718220850142
연금시장리뷰 노후 0.008145603162927336
지식경제 안테나 0.008052783224219581
통일경제 체제 0.007977727440628064
지식경제 당 0.007970174158133286
지식경제 경쟁력 0.007940560715629156
지식경제 창출 0.007856950542174706
Chairperson Note 대비 0.007838667665899975
지식경제 기반 0.007415467704308894
연금시장리뷰 금융 0.0073794446392304635
지식경제 형태 0.007254609500438182
통일경제 회담 0.007237759112368118
통일경제 관계 0.0071531378270205045
지식경제 연구 0.0070560294949536684
연금시장리뷰 제도 0.006985402887290724
연금시장리뷰 국고 0.006955251939446108
연금시장리뷰 지표 0.0068541015551171255
한국경제주평 현안 0.00680721899724958
Chairperson Note 전월 0.0068049742136018785
지식경제 타입 0.006711460463054223
지식경제 영역 0.006689472640431887
지식경제 주파수 0.006638714759447003
연금시장리뷰 급여 0.00658385023328223
한국경제주평 경제 0.006522138559841905
지식경제 저장 0.006468110335549213
연금시장리뷰 이슈 0.006433708634766417
Chairperson Note 노트 0.006382593564160401
지식경제 거리 0.006368700023626369
연금시장리뷰 소득 0.006330997311506695
통일경제 관광 0.006326504316213985
통일경제 지원 0.00619850398386751
지식경제 정보 0.006045104005522932
통일경제 추진 0.005997008018365364
연금시장리뷰 증가 0.005886865413630022
지식경제 제조 0.005884436969748431
지식경제 리더 0.005881759908847569
지식경제 적용 0.005833909208523491
지식경제 인구 0.005780564367417474
연금시장리뷰 국내 0.005703573495686132
지식경제 이용 0.0056705640044322535
연금시장리뷰 도입 0.005662048222275087
한국경제주평 보고서 0.005653909009264356
연금시장리뷰 달러 0.005645620421269845
Chairperson Note 소비자 0.005642737434769391
Chairperson Note 고객 0.005632446318774009
지식경제 활용 0.005620003099021143
통일경제 체육 0.005571340504743894
지식경제 자원 0.005566126797938561
VIP Report 전망 0.00549326095273325
지식경제 과제 0.005469390212293774
연금시장리뷰 물 0.005428563775188254
연금시장리뷰 확정 0.005394936957739391
Chairperson Note 성공 0.00537564737555545
지식경제 사물 0.005375442400705285
지식경제 대역 0.005337794764348844
통일경제 핵 0.005312036049624507
연금시장리뷰 대비 0.005304400274583366
지식경제 대학생 0.0053010543887570755
지식경제 역할 0.005247102728885184
통일경제 위원장 0.0052450771029699614
지식경제 연계 0.005237673531102336
지식경제 무선 0.005188039515486743
지식경제 전국 0.0051595626735444575
지식경제 사교육비 0.005155470674214651
지식경제 전원 0.0051061327239512655
연금시장리뷰 가입자 0.005093427583451424
지식경제 협의회 0.00504424867338268
한국경제주평 주간 0.005038367490807575

2. 그래서 무슨 문제가 있나 싶어 지식경제, 통일경제, 연금시장 리뷰를 제외하고 다시 돌려봤다.

결과가 기존에 제외시킨 녀석들만 빼고 나올놈은 다 나왔다.

Chairperson Note 기업 0.008800099125323136
한국경제주평 경제 0.007870494298962282
한국경제주평 보고서 0.00695416392829662
한국경제주평 현안 0.006191632212335288
Chairperson Note 대비 0.0058210048815597205
Chairperson Note 경영 0.004918691258216475
한국경제주평 연구 0.004760104349834483
Chairperson Note 전월 0.004720491420750464
Chairperson Note 노트 0.004493261417870355
Chairperson Note 소비자 0.004304380938901556
한국경제주평 내용 0.004289653346541593
Chairperson Note 혁신 0.0039811055228721175
한국경제주평 자료 0.003940730650127842
한국경제주평 연구원 0.00393363655175351
Chairperson Note 이슈 0.00383518484260979
Chairperson Note 성공 0.0037401044381968297
Chairperson Note 고객 0.003516831038878191
Chairperson Note 기록 0.00348125781066183
VIP Report 산업 0.0034623918961342497
한국경제주평 구 0.0033929821212152953
VIP Report 정책 0.0033215805789093902
VIP Report 견해 0.0033210855240679822
한국경제주평 주간 0.0033184413662809384
VIP Report 전망 0.0033115636662431128
Chairperson Note 제품 0.003282414478040096
Chairperson Note 전략 0.0032817740999557797
한국경제주평 전재 0.003134234511785528
한국경제주평 문의 0.00312715769159755
한국경제주평 허락 0.003124870931122974
한국경제주평 차례 0.003114894808467614
한국경제주평 작성 0.0030531832284361954
한국경제주평 본부장 0.0030525738155969275
Chairperson Note 리더 0.0030041190203202615
한국경제주평 아래 0.0029747692580969105
Chairperson Note 브랜드 0.0029490104352328387
한국경제주평 인용 0.002901134507212622
한국경제주평 과 0.002852731816593467
Chairperson Note 조직 0.0027017443800774394
한국경제주평 비중 0.002644038206970609
Chairperson Note 요약 0.002613198390622161
VIP Report 건설 0.0025238185419716517
VIP Report 수주 0.0024614316797109286
Chairperson Note 브리프 0.0024577210182765174
VIP Report 동월 0.0024510404233766413
VIP Report 전년 0.0024509582808102098
Chairperson Note 저널 0.002431479015761166
한국경제주평 설명 0.0024302092721613404
Chairperson Note 직원 0.002386912969247453
Chairperson Note 정리 0.00226211493552968
Chairperson Note 분기 0.0022143785047610354
VIP Report 편집 0.0022059487136862352
한국경제주평 금리 0.0021268071556214997

> 반성

1. 솔직히 코딩은 쉬웠다. 강사님의 알고리즘에다가 자료만 알맞게 요리해 넣으면 되니까. utf-8과 cp949가 좀 짜증나게 했지만 뭐 하루이틀도 아니고 ㅋ

2. 그런데 여기서 반전. 저게 무슨 말인지 모르겠다...(하여간에 공식에 로그가 들어가면 그림이 안그려진다)

3. 그러니까 "지식, 지역, 연금, 퇴직, 능력, 혁신, 투입, 교류, 기술, 기업, 은퇴"등이 16년 전체 보고서 중에서 가장 중요한 키워드라는 말인가? 모르겠다. 무식에 대한 해답은 질문이다. 물어봐야겠다.

저작자표시 비영리 변경금지

'그 밖에 AI' 카테고리의 다른 글

현대경제연구원 보고서 Scikit-learn 모듈을 이용한 베이즈 분류 적용 (0)	2016.07.06
현대경제연구원 보고서 Scikit-learn과 scipy를 이용한 비계층 군집 분석 (0)	2016.07.04
아. 헬대. 현다이 ㅅㅂ (0)	2016.07.02
현대 경제 연구원 분석 중 - 1차 결과 (0)	2016.07.01
현대 경제 연구원 분석 중 2 (0)	2016.06.30

Wookang makes AI

현대경제연구원 보고서 쿨백라이블러 발산 (Kullback–Leibler divergence) 분석

'그 밖에 AI' 카테고리의 다른 글

+ Recent posts

티스토리툴바