현대경제연구원 보고서 Scikit-learn과 scipy를 이용한 비계층 군집 분석

● 현대경제연구원 보고서 Scikit-learn과 scipy를 이용한 비계층 군집 분석

> 들어가는 말

1. 이제 (약간의)인공지능이 들어간다. 알아서 문서의 중심(centroid)을 설정하고 이로부터 각 자료와의 거리에 드는 비용을 최소한하는 군집 알고리즘(K-평균기법)을 이용한다. 이것도 결과가 궁금하다.

> 계획

1. scikit-learn 라이브러리에서 이미 K-평균 군집화 기능을 제공한단다.

2. 처리 속도가 빨라 많은 분야에서 사용하고 있단다.

3. 문서를 행렬로 만들때 개발자가 일일이 만들 필요없이 

vectorizer = TfidfVectorizer(min_df=1) doc_term_mat = vectorizer.fit_transform(documents)

이렇게 하는 것으로 원샷 생성이 가능하다.

3. KL발산을 이용한 분석과 마찬가지로 개발자가 할일은 오로지 '요리재료 준비하기' 뿐이다. 실제 요리는 Scikit-learn이 다 해준다. 물론 요리가 나오면 먹기좋게 꾸미는 건 내 몫이다. 뭔가 내가 '을'이 된 기분이다 ㅡ,ㅡ

> 실행

1. 어차피 이 코드를 공유한다고 해서 갑자기 많은 사람들이 현대경제연구원에 몰려 들어가 자료들을 빼올거라 전혀 생각치 않기 때문에 지난번과 마찬가지로 전체 코드를 공유한다. 코드에 쓰인 몇가지 팁들은 도움이 될 법(?)하다.

#!/usr/bin/env python3 # -*- coding: utf-8 -*- import sys import os.path import ujson from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.cluster import KMeans FILTER_MAGAZINE_ID = "Nowhere" FILTER_POSES = {"NNG", "NNP", "NP", "VV", "VA", "MM", "MAG", "MAJ", "XR"} PRED_POSES = {"VV", "VA"} NUM_CLUSTERS = 10 def read_docs(input_file_name): titles = [] fileNames = [] documents = [] information = [] inputfileList = [] inputFolder = 'HyunEco_Season2/morphed/' for root, dirs, files in os.walk(inputFolder): # 입력 폴더에서 파일리스트를 받아 for file in files: inputfileList.append(file) # 리스트로 만든다. with open(input_file_name, "r", encoding="utf-8") as f: information = ujson.load(f) for i in range(len(information)): if FILTER_MAGAZINE_ID in information[i]['magazineID'] or information[i]['morphedName'] not in inputfileList: continue title = information[i]['titleID'] fileName = information[i]['fileName'] document = gen_doc(information[i]["morphedName"]) titles.append(title) fileNames.append(fileName) documents.append(document) return titles, fileNames, documents def gen_doc(morphedName): document =" " morphed_file = "HyunEco_Season2/morphed/" + morphedName try: with open(morphed_file, 'r', encoding='utf-8') as morphedReport: morphedText = ujson.load(morphedReport) for j in range(len(morphedText)): document = ext_morphs(morphedText[j]['morphAnal'], document) except: pass return document def ext_morphs(morphAnal, morphs): morphs = [] for word in morphAnal: #for word in sen: for morph_lex, morph_pos in word: if morph_pos not in FILTER_POSES: #지금은 모든 MazagineID를 실험한다 continue if morph_pos in PRED_POSES: morph = morph + u"다" morphs.append(morph_lex) document = " ".join(morphs) return document def get_doc_term_mat(documents): vectorizer = TfidfVectorizer(min_df=1) doc_term_mat = vectorizer.fit_transform(documents) return doc_term_mat, vectorizer def get_kmeans_clusters(doc_term_mat): km = KMeans(n_clusters=NUM_CLUSTERS, init="k-means++", verbose=1) km.fit(doc_term_mat) return km def print_clusters(km, titles, fileNames,w): result = {} text = [] for doc_num, cluster_num in enumerate(km.labels_): if cluster_num not in result: result[cluster_num] = [] result[cluster_num].append(doc_num) text.append(u"군집 분석 결과\n") text.append(u"목표 군집 수: " + str(NUM_CLUSTERS)+ "\n\n") for cluster_num, doc_nums in result.items(): clustered_titles = [] for doc_num in doc_nums: txt = titles[doc_num] + '(' + fileNames[doc_num]+')' clustered_titles.append(txt) # clustered_titles = [titles[doc_num] for doc_num in doc_nums] instant_titles = " ".join(clustered_titles) text.append(u"군집 : "+ str(cluster_num) + u"\t총개수 : " + str(len(clustered_titles)) + u"\t보고서 :\n" + instant_titles +"\n\n") text = "".join(text) w.write(text) def print_centroid_words(km, vectorizer, titles,w): text = [] text.append(u"군집별 중심 어휘\n\n") ordered_centroids = km.cluster_centers_.argsort()[:, ::-1] words = vectorizer.get_feature_names() for cluster_num in range(NUM_CLUSTERS): center_word_nums = [] for word_num in ordered_centroids[cluster_num, :20]: center_word_nums.append(word_num) # center_word_nums = [word_num # for word_num in ordered_centroids[cluster_num, # :20]] center_words = [] for word_num in center_word_nums: center_words.append(words[word_num]) text.append(u"군집 " + str(cluster_num) + " : " + ", ".join(center_words) + "\n\n") text = "".join(text) w.write(text) def main(): input_file_name = "HyunEco_Season2/report_infomation.txt" output_file_name= "HyunEco_Season2/cluster_HyunEco_flat.txt" titles, fileNames, documents = read_docs(input_file_name) doc_term_mat, vectorizer = get_doc_term_mat(documents) km = get_kmeans_clusters(doc_term_mat) with open(output_file_name, 'w', encoding = 'utf-8') as w: print_clusters(km, titles, fileNames,w) print_centroid_words(km, vectorizer, titles,w) w.close() main()

> 결과

1. 짜잔~ 군집은 10개로 했고 키워드는 상위 20개까지만 뽑았다. 속도가 매우 빠르다.

군집 분석 결과

목표 군집 수: 10

군집 : 0 총개수 : 1810 보고서 :

일본 고령자 일자리 창출 사례와 시사점(2016.06.27[0].pdf) 브렉시트의 불확실성 차단과 성장잠재력 확충을 위한 2016 추경 편성 방향 제언(2016.06.24[1].pdf) 2016년 하반기 국내외 주요 경제 이슈(2016.06.22[2].pdf) 2000~2015년 북중 교역 변화 분석(2016.06.21[3].pdf) Qarterly Economic Review (16-2) - 中文(2016.06.20[5].pdf) 경기 침체기의 가계소비 비교와 시사점(2016.06.15[6].pdf) 과거 불황기와 최근 고용 현황 비교(2016.06.10[8].pdf) 중국 자본유출 현황과 시사점(2016.06.08[9].pdf) 통화정책의 방향성 점검과 시사점(2016.06.07[10].pdf) 최근 경제 동향과 경기 판단(2016년 2분기)(2016.06.03[11].pdf) -- 너무 많아 하략

군집 : 1 총개수 : 136 보고서 :

청년 고용보조지표의 현황과 개선방안(2016.06.13[7].pdf) 시니어시프트 도래에 따른 경제환경 변화와 기업대응 트렌드(2016.05.11[19].pdf) 對中 수출 절벽 극복 방안(2016.05.02[21].pdf) 국제유가의 국내 물가 변수에 미치는 영향(2016.04.25[24].pdf) 최근 유가 급락의 한국 경제 파급영향(2016.01.26[47].pdf) 독일통일 25주년의 경제적 성과와 한계(2015.10.01[75].pdf) 최근 산업경기의 5대 특징과 시사점(2015.09.30[76].pdf) 한·러 수교 25주년 의미와 시사점(2015.09.24[77].pdf) 미국 기준금리 인상의 한국 경제 파급 영향(2015.09.16[79].pdf) 미국 경제 회복과 시사점(2015.09.14[80].pdf) 트리플 쇼크에 취약한 아시아 신흥 3개국 점검(2015.09.07[82].pdf) 한국 경제， 트리플 딥(triple-dip)에 빠지나?(2015.08.31[84].pdf) 글로벌 금융위기 전후 한중일 3국간 역내 직접투자 특징과 시사점(2015.08.03[93].pdf) 미국 제조업 르네상스의 진행 현황과 시사점(2015.07.28[95].pdf) 세계 M&A와의 비교를 통해 본 국내 M&A의 특징(2015.07.21[98].pdf) 경제적 행복감， 2013년 이래 최저(2015.07.07[104].pdf) 지난 10년간， 한중일 국경간 M&A 특징과 시사점(2015.06.30[107].pdf) 국내 외국인 체류자의 특징과 시사점(2015.05.12[129].pdf) 2015년 남북관계 현안에 관한 전문가 설문조사(2015.05.07[131].pdf) 2015년 1/4분기 한반도 평화지수 전망(2015.01.29[165].pdf) 국민의 안일한 인식이 부정부패를 키운다(2014.10.29[199].pdf) 한국 사회자본 나를 넘어 공동체로(2014.07.31[237].pdf) 2014년 글로벌 10대 트렌드(2013.12.30[352].pdf) 한중일 관계 개선，산업협력부터가 시작이다!(2013.12.23[354].pdf) 원화 강세 당분간 지속 가능성 높다.(2013.12.16[357].pdf) 유로존의 그레이 스완， 재정위기국의 불안요인(2013.12.09[363].pdf) 원화 절상이 제조업 수익성에 미치는 영향(2013.12.02[364].pdf) 에너지 수급 불균형 해소를 위한 생산 효율성 제고 방안(2013.11.25[368].pdf) 2014년 주택시장 전망과 시사점(2013.11.18[372].pdf) 우리나라 재정수지의 특징과 시사점(2013.11.11[376].pdf) 한국 DAC 가입 4년차 사업 현황과 시사점(2013.11.04[380].pdf) 아베노믹스， 일본경제 살리고 있다!(2013.10.28[382].pdf) 평균소비성향에 영향을 미치는 주된 요인과 시사점(2013.10.21[385].pdf) 설비투자 자본재의 수입의존도 현황과 시사점(2013.10.14[391].pdf) 2014년 국내 경제 전망(2013.10.07[394].pdf) 최근 규제개혁의 성과와 한계(2013.09.30[395].pdf) 미국 출구전략과 파급 영향(2013.09.23[399].pdf) 제조업 경쟁력이 국가 경쟁력 결정한다!(2013.09.09[404].pdf) 제조업이 살아야 경제가 산다(2013.09.02[408].pdf) 가계부채 위험의 급등과 시사점(2013.08.23[414].pdf) 중국경제의 구조조정 현황과 전망(2013.08.19[417].pdf) 국내 디플레이션 발생 가능성 점검(2013.08.12[422].pdf) 엔 캐리트레이드 향방과 시사점(2013.08.05[424].pdf) 중국의 경제구조 변화와 한국의 수출산업(2013.07.29[427].pdf) 독일 고용률 73% 달성의 비결(2013.07.22[431].pdf) 구매력평가 환율로 본 엔화 가치(2013.07.15[438].pdf) 시간제 일자리의 실상과 대응방안(2013.07.08[441].pdf) 한중 통화협력 강화해야 한다!(2013.07.01[445].pdf) 상반기 경제의 5대 패러독스와 하반기 리스크 요인 점검(2013.06.24[448].pdf) 고령화로 인한 지자체 지속가능성 점검(2013.06.17[453].pdf) 창조경제의 성공은 창조산업 육성부터(2013.06.10[455].pdf) 엔화 가치 급락과 한국경제에 미치는 영향(2013.05.27[459].pdf) 여성 경제활동 증가의 긍정적 효과(2013.05.20[464].pdf) 동북아 인프라 시장 전망과 시사점(2013.05.13[465].pdf) 베이비붐세대 고용의 특징과 시사점(2013.05.06[469].pdf) 인프라 고령화의 실태와 개선 과제(2013.04.29[472].pdf) 과소투자 고착화되고 있다(2013.04.22[476].pdf) 창조형 창업이 없다!(2013.04.15[479].pdf) 아시아 중산층을 잡아라!(2013.04.08[483].pdf) 차이나머니가 몰려온다!(2013.04.01[485].pdf) 창조경제의 의미와 새정부의 실현 전략(2013.03.25[490].pdf) 한국의 창조경제역량지수 개발과 평가(2013.03.25[491].pdf) 세대별 행복도 차이의 배경과 시사점(2013.03.18[496].pdf) 저소득층 가계부채의 특징과 시사점(2013.03.11[500].pdf) 지하경제 해소 방안(2013.03.04[504].pdf) 정부별 주요 경제지표 추이(2013.02.25[508].pdf) 한국경제의 중진국 함정 탈출 전략(2013.02.18[511].pdf) 한중 과학기술 경쟁력 비교와 시사점(2013.02.12[518].pdf) 아베노믹스가 국내경제에 미치는 영향과 시사점(2013.02.04[520].pdf) 새정부의 경제정책에 대한 국민 의견 조사(2013.01.28[523].pdf) 새 정부 출범과 2013년 국내 10대 트렌드(2013.01.14[534].pdf) 한국경제 재도약을 위한 5대 분야별 ‘10+3’ 정책 제언(2013.01.10[536].pdf) 2013년 글로벌 10대 트렌드(2013.01.07[538].pdf) 소득과 삶의 질 격차 확대되고 있다­ - 삶의 질 지수(HQLI) 추이와 시사점(2012.02.06[673].pdf) 중국 경제의 경착륙 가능성 확대와 대응 과제(2012.01.30[675].pdf) 잠재성장률의 위기 - 글로벌 금융위기 이후 3%대로 추락(2012.01.25[676].pdf) 2012년 10대 희망요인(2012.01.18[679].pdf) 2012 국내 10대 트렌드(2012.01.09[682].pdf) 은퇴빈곤층(Retire Poor)의 추정과 5대 특성-은퇴 준비 안 된 가구 100만 이상(2011.08.22[728].pdf) 美 주택가격지수 5개월 만에 상승세 기록(2010.12.27[809].pdf) 11월 미국 생산자 물가 5개월째 상승세 지속(2010.12.20[813].pdf) 11월 미국 실업률 전월대비 0.2%p 상승(2010.12.13[817].pdf) 美 제조업지수 전월대비 하락(2010.12.06[820].pdf) 美 3/4분기 국내총생산 성장률 2.5% 기록(2010.11.29[823].pdf) 10월 美 생산자물가 4개월째 상승(2010.11.22[827].pdf) 美 9월 무역수지 적자규모 전월대비 5.37% 감소(2010.11.15[832].pdf) 美 제조업지수 상승세로 전환(2010.11.08[836].pdf) 10월 美 소비자신뢰지수 소폭 상승(2010.11.01[840].pdf) 9월 美 소비자 물가 3개월 연속 상승세(2010.10.25[845].pdf) 9월 미국 실업률 9.6%로 전달과 동일(2010.10.18[848].pdf) 美 공급자관리협회(ISM)의 제조업지수(2010.10.11[851].pdf) 미국 소비 심리 악화(2010.10.04[855].pdf) 8월 美 생산자 물가 2개월째 상승세(2010.09.20[861].pdf) 8월 美 실업률 전월대비 0.1% 상승(2010.09.13[866].pdf) 미국 공급자관리협회(ISM)의 제조업지수(2010.09.06[871].pdf) 6월 미국 주택가격지수 3개월 만에 하락(2010.08.30[873].pdf) 7월 미국 소비자 물가 4개월 만에 상승(2010.08.23[880].pdf) 美， 제조업지수 전월 대비 하락세(2010.08.09[886].pdf) 미국 소비 심리 악화(2010.08.02[890].pdf) 한국의 OECD 경기선행지수 6개월 연속 하락세(2010.07.19[899].pdf) IMF 세계 경제 성장률 전망 상향 조정(2010.07.12[904].pdf) 4월 미국 주택가격지수 전월대비 상승(2010.07.07[907].pdf) 美 공급자관리협회(ISM)의 제조업지수 전월대비 하락세(2010.07.07[908].pdf) 미국 전역에서 완만한 경기 회복세(2010.06.14[918].pdf) 경상수지 3개월째 흑자 기록(2010.05.31[924].pdf) 4월 미국 소비자 물가 하락세로 전환(2010.05.24[927].pdf) 미국의 3월 소비자신용 증가(2010.05.10[934].pdf) 남유럽 국가의 국가신용등급 하향(2010.05.03[936].pdf) 3월 미국 생산자 물가 상승세로 전환(2010.04.26[940].pdf) 3월 미국 소비자 물가 소폭 상승(2010.04.19[943].pdf) 미국의 2월 소비자신용 큰 폭 하락(2010.04.12[946].pdf) 美 제조업지수 상승세 지속(2010.04.05[950].pdf) 美 주택가격지수 2달 연속 하락(2010.03.29[953].pdf) 2월 미국 소비자 물가 안정세 유지(2010.03.22[957].pdf) 미국 완만한 경기 회복세 확산(2010.03.08[964].pdf) 1월 소비자물가 전월대비 0.2% 상승(2010.03.02[967].pdf) 미국의 산업 생산 7개월 연속 상승세 지속(2010.02.22[970].pdf) 美 실업률 소폭 하락(2010.02.16[974].pdf) 북한 나무심기 사업의 의의와 활성화 방안(2010.02.04[980].pdf) 미국 소비자 신뢰지수 상승세 지속(2010.02.01[984].pdf) 중국 출구전략의 배경과 파급영향(2010.01.27[991].pdf) 美 경제활동 소폭 개선(2010.01.25[993].pdf) 美 소매판매， 하락세로 반전(2010.01.18[996].pdf) 美 제조업 부문 회복세 지속(2010.01.11[1002].pdf) 한미 정상 회담의 성과 제고 방안(2009.06.12[1104].pdf) 전통서비스업: 고부가 주력 산업으로의 전환 필요(2009.05.20[1117].pdf) 최근 중산층 붕괴 현황과 시사점(2009.04.22[1128].pdf) 중국 산업진흥계획의 특징과 한국에 미치는 영향(2009.04.16[1134].pdf) 최근 미국 부동산 경기 특징과 전망(2009.04.06[1138].pdf) 수출 산업의 한ㆍ중ㆍ일 경쟁력 비교와 시사점(2009.04.01[1141].pdf) 서민 경제 살리기 시급하다(2009.03.30[1142].pdf) 북한 미사일 발사의 영향과 과제(2009.03.16[1155].pdf) 한국을 이끌 9대 부품소재산업(2009.02.18[1168].pdf) 관광산업의 5대 트렌드 변화와 육성을 위한 시사점(2009.02.11[1171].pdf) 중국 경착륙이 한국경제에 미치는 영향과 시사점(2009.02.05[1174].pdf) 최근 한중일 국가간 M&A 특징 비교 분석(2009.01.22[1179].pdf)

군집 : 2 총개수 : 34 보고서 :

경상수지 악화 여건과 대응(2010.09.10[867].pdf) 하반기 소비둔화 가능성 높다(2010.07.23[894].pdf) 6. 25 참전국에 대한 경제적 보은 과제(2010.06.25[912].pdf) 최근 수출 증가 배경과 전망(2010.05.20[929].pdf) 최근 국내 통상마찰의 증가와 배경(2010.03.29[954].pdf) 최근 소비 회복세 약화와 과제(2010.03.22[958].pdf) 원화 환율 변동 리스크 커지고 있다(2010.02.10[977].pdf) 도요타 경영위기의 교훈과 시사점(2010.02.08[978].pdf) 한ㆍ미 정상 회담의 5대 경제 현안과 과제(2009.11.17[1024].pdf) 카드 문제의 교훈과 재발 방지 방안(2004.01.12[1897].pdf) 후세인 체포의 중장기적 파급 효과(2003.12.22[1906].pdf) 최근 부동산 가격의 하락 지속 여부 평가(2003.12.15[1908].pdf) 최근 금리 동향과 금융시장의 구조적 문제 재점검(2003.12.08[1909].pdf) 최근 세계 경제의 흐름과 시사점(2003.12.01[1912].pdf) 서울 뉴타운 지구 및 균형발전 촉진지구 개발 계획(2003.11.24[1918].pdf) KEDO 경수로 공사 잠정 중단 결정과 향후 전망(2003.11.17[1920].pdf) 2004년 국내 부동산 시장 전망(2003.11.17[1921].pdf) 10.29 주택시장 안정 종합대책의 평가(2003.11.10[1922].pdf) 이라크 파병의 경제적 영향과 대응 과제(2003.11.02[1925].pdf) 집단 소송제의 문제점 및 대안(2003.10.13[1935].pdf) 투자 활성화 방안(2003.10.06[1937].pdf) 향후 환율 전망과 과제(2003.09.29[1938].pdf) 국제 원유 가격 안정 예상(2003.09.29[1940].pdf) 주5일 근무제의 파급 영향과 보완책(2003.09.22[1945].pdf) 북한 동향: 6자 회담의 성과와 과제(2003.09.08[1953].pdf) 최근 금융산업 재편의 기본 방향과 문제점(2003.09.01[1955].pdf) 차세대 10대 성장 동력 산업 선정과 육성 과제(2003.09.01[1956].pdf) 최근 금리 변화의 특징과 문제점(2003.08.18[1960].pdf) 향후 남북경협 전망과 과제(2003.08.11[1962].pdf) 4대 경협 합의서 발효의 의미와 효과(2003.08.04[1964].pdf) 환율 동향과 전망(2003.07.28[1966].pdf) 경기부양 정책의 기대효과와 보완 과제(2003.07.21[1972].pdf) 위엔화 평가 절상 움직임과 환율 전망(2003.07.21[1973].pdf) 국내 금융 구조조정의 추진 현황과 향후 전망(2003.07.14[1975].pdf)

군집 : 3 총개수 : 63 보고서 :

이란 경제제재 해제의 한국 경제 파급 영향(2016.01.18[52].pdf) 국내 저물가 지속 배경과 시사점(2015.12.30[56].pdf) 온라인 소매업의 경쟁 기반 평가와 시사점(2015.11.03[67].pdf) ICT 산업의 발전 과제와 시사점(2015.09.10[81].pdf) 한중 수교 23주년 의미와 시사점(2015.08.19[87].pdf) 주요국 우주산업 경쟁력 현황과 시사점(2015.08.04[92].pdf) 위안화 국제화 정책 점검과 시사점(2015.07.14[101].pdf) Open R&D， 창조 경제를 담보한다(2015.06.23[110].pdf) 첨단기술기반 서비스업의 특징과 시사점(2015.06.16[115].pdf) 중국의 무역영토 확장 전략 및 시사점(2015.06.09[118].pdf) 유해폐기물 재활용 산업 현황 및 시사점(2015.06.04[120].pdf) 2015년 2/4분기 HRI 한반도 평화지수 전망(2015.04.28[134].pdf) 아세안(ASEAN) 주요 4개국의 성장 잠재력 및 시사점(2015.04.20[137].pdf) 국내 고부가가치 산업의 특징과 시사점(2015.04.14[139].pdf) 한.독(韓.獨) 외국인재 유치 기반 비교 및 시사점(2015.04.07[141].pdf) 콘텐츠산업의 시장 현황과 시사점(2015.03.31[144].pdf) 체감경제고통지수 조사 결과(2015.03.23[147].pdf) 해외직접투자 증가의 특징과 시사점(2015.03.04[155].pdf) 광복 70년， 삶의 질 변화와 시사점(2015.01.21[168].pdf) 광복 70년， 경제·산업 변화와 시사점(2015.01.14[171].pdf) 경제적 행복 추이와 시사점(2015.01.07[173].pdf) 지역특구 10년의 평가와 개선 방안(2014.10.08[209].pdf) 인공지능(AI) 관련 유망산업 동향 및 시사점(2014.09.16[219].pdf) 미국 에너지 정책 변화와 시사점(2014.08.13[232].pdf) 중국의 외투기업 유치정책 7대 변화와 시사점(2014.07.22[242].pdf) 경제적 행복 추이와 시사점(2014.07.08[250].pdf) 당신은 중산층입니까?(2014.06.12[265].pdf) 최근 북한 경제정책 특징과 통일에의 시사점(2014.05.20[276].pdf) 동북아 역내 교역 변화의 특징과 시사점(2009.12.09[1012].pdf) 여행업 선진화， 시스템의 정비가 필요하다(2009.12.02[1016].pdf) 민간 건축 경기 침체의 문제점과 대응 방안(2009.11.27[1020].pdf) 위안화 국제화 진전과 시사점(2009.11.18[1023].pdf) 한국 반도체 산업의 무역 역조 현황과 시사점(2009.10.28[1034].pdf) 녹색 소비가 녹색 성장의 원동력이다(2009.10.21[1037].pdf) 2010년 주요 산업 전망과 현안(2009.10.19[1038].pdf) 중ㆍ일의 희소금속자원 확보전략과 시사점(2009.10.07[1044].pdf) 업종간 희비가 교차되는 제조업 경기(2009.09.21[1055].pdf) 한국 녹색세제의 현황과 시사점(2009.09.02[1064].pdf) 국내 제조업의 3대 취약 요인과 시사점(2009.08.26[1066].pdf) 베이비 붐 세대의 은퇴와 정책적 대응방안(2009.07.09[1088].pdf) 산업재해 예방이 경쟁력이다(2009.06.10[1105].pdf) 가계신용 악화 현황과 시사점(2009.05.28[1114].pdf) 신성장산업 인력 수급의 애로와 시사점(2009.05.13[1120].pdf) 신 성장모델의 모색， 태양광 클러스터(2009.05.07[1122].pdf) 해외직접투자의 한일간 비교 및 정책적 시사점(2009.04.29[1125].pdf) 국내 물류부문의 에너지 과소비 현황과 정책적 시사점(2009.04.08[1137].pdf) 국내 이산화탄소 과(過)배출 원인과 시사점(2009.03.25[1151].pdf) 고용 안정과 미래 성장잠재력 확충 방안(2009.03.18[1154].pdf) 도시브랜드가 국가경쟁력이다(2009.03.12[1157].pdf) 대공황시기 세계 해운경기 침체현황과 시사점(2009.03.05[1160].pdf) 엔高-원低 활용 방안(2009.02.25[1165].pdf) 한일간 외국인 직접투자 비교와 시사점(2008.12.17[1201].pdf) 대-중소기업 동반 성장을 위한 바람직한 협력 모델 구축 방안(2008.12.04[1211].pdf) 오바마의 산업정책， New Apollo 프로젝트의 의미와 시사점(2008.11.27[1216].pdf) 중국 경기급랭과 한국의 대응방안(2008.11.20[1219].pdf) 2009년 주요 산업 전망과 현안(2008.11.14[1223].pdf) 對 중국 수출 둔화의 원인과 전망(2008.11.07[1226].pdf) 2008년 주요 산업경기 전망과 현안(2007.11.30[1425].pdf) 중국 경제특구와 개성공단의 성공 조건 비교와 시사점(2007.11.23[1428].pdf) 차기 정부의 주요 정책 방향 [정동영 후보 초청 토론](2007.11.16[1431].pdf) 자통법 이후 투자은행 발전 전략(2007.11.02[1438].pdf) 직장인 글로벌 의식과 과제(2007.10.25[1441].pdf) 차기 정부의 주요 정책 방향 [이명박후보 초청토론](2007.10.15[1454].pdf)

군집 : 4 총개수 : 4 보고서 :

경제 불안감 지속(2003.01.15[2015].pdf) 금융 불안 속 실물 경기 호조(2002.10.01[2031].pdf) 불안정한 경기 회복세(2002.09.09[2041].pdf) 경기 회복세 지속, 금융 시장 다소 불안(2002.06.10[2077].pdf)

군집 : 5 총개수 : 28 보고서 :

주간 경제 동향의 특징(2004.01.12[1898].pdf) 주간 경제 동향의 특징(2004.01.05[1899].pdf) 주간 경제 동향의 특징(2003.12.22[1905].pdf) 주간 경제 동향의 특징(2003.12.15[1907].pdf) 주간 경제 동향의 특징(2003.12.08[1910].pdf) 주간 경제 동향의 특징(2003.12.01[1911].pdf) 주간 경제 동향의 특징(2003.11.24[1917].pdf) 주간 경제 동향의 특징(2003.11.17[1919].pdf) 주간 경제 동향의 특징(2003.11.10[1923].pdf) 주간 경제 동향의 특징(2003.11.02[1924].pdf) 주간 경제 동향의 특징(2003.10.27[1931].pdf) 주간 경제 동향의 특징(2003.10.20[1933].pdf) 주간 경제 동향의 특징(2003.10.13[1934].pdf) 주간 경제 동향의 특징(2003.10.06[1936].pdf) 주간 경제 동향의 특징(2003.09.29[1939].pdf) 주간 경제 동향의 특징(2003.09.22[1944].pdf) 주간 경제 동향의 특징(2003.09.08[1952].pdf) 주간 경제 동향의 특징(2003.09.01[1954].pdf) 주간 경제 동향의 특징(2003.08.25[1957].pdf) 주간 경제 동향의 특징(2003.08.18[1959].pdf) 주간 경제 동향의 특징(2003.08.11[1961].pdf) 주간 경제 동향의 특징(2003.08.04[1963].pdf) 주간 경제 동향의 특징(2003.07.28[1965].pdf) 주간 경제 동향의 특징(2003.07.21[1971].pdf) 주간 경제 동향의 특징(2003.07.14[1974].pdf) 최근 주요국의 채권 금리 급등세의 원인과 전망(2003.07.07[1976].pdf) 최근 세계 주요 증시 상승의 원인 및 전망(2003.06.30[1977].pdf) 주간 경제 동향의 특징(2003.01.27[2010].pdf)

군집 : 6 총개수 : 5 보고서 :

제 4회 대한민국 경제 행복지수(2009.07.08[1089].pdf) 제 3회 대한민국 경제 행복지수(2009.01.22[1180].pdf) 국토해양 관련 주요 이슈와 정책 과제(2008.07.11[1296].pdf) 대한민국 경제 행복지수(2008.07.09[1299].pdf) 대한민국 경제 행복지수(2008.01.16[1403].pdf)

군집 : 7 총개수 : 3 보고서 :

한국 경제 성장 활력 잃고 있다(2006.08.14[1555].pdf) 국민주도형 국가브랜드 제고방안과 과제(2006.08.10[1556].pdf) 뉴 밀레니엄 시대의 건강관리 - CEO의 건강경영(2006.08.07[1557].pdf)

군집 : 8 총개수 : 10 보고서 :

저물가의 가계 특성별 영향 및 시사점(2016.03.28[32].pdf) 올해 추석 물가 심각하다(2011.09.01[721].pdf) 미시적인 물가 대응책 시급하다 - 물가 요인의 상호 상승작용 확대(2011.08.01[735].pdf) 하반기 물가 불안 지속-비용ㆍ수요 측면 물가 상승 요인 증대(2011.07.09[743].pdf) 소득 계층별 체감 물가 괴리(2011.04.13[775].pdf) 연초 물가 상승 배경과 대책(2011.01.12[806].pdf) 체감과 지수 물가 괴리 배경(2010.09.16[864].pdf) 국내 물가 상승 배경과 전망(2010.06.16[916].pdf) 위장된 저물가 현상(2005.10.12[1639].pdf) 2/4분기 경기 회복 전망 불투명(2001.03.09[2256].pdf)

군집 : 9 총개수 : 16 보고서 :

Quarterly Economic Review (16-2) - 英文(2016.06.20[4].pdf) Quarterly Economic Review (16-1) - 英文(2016.03.18[35].pdf) Quarterly Economic Review (15-4) - 英文(2015.12.21[58].pdf) Quarterly Economic Review (15-3) - 英文(2015.09.18[78].pdf) Monthly Economic Review (14-6)(2014.06.20[258].pdf) Monthly Economic Review (14-5)(2014.05.23[274].pdf) Monthly Economic Review (14-4)(2014.04.22[293].pdf) Monthly Economic Review (14-3)(2014.03.20[307].pdf) Monthly Economic Review (14-2)(2014.02.26[319].pdf) Monthly Economic Review (14-1)(2014.01.28[337].pdf) Monthly Economic Review (13-12)(2013.12.16[358].pdf) Monthly Economic Review (13-11)(2013.11.15[373].pdf) Monthly Economic Review (13-10)(2013.10.17[387].pdf) Monthly Economic Review (13-08)(2013.08.20[415].pdf) Monthly Economic Review (13-07)(2013.07.17[436].pdf) Monthly Economic Review (13-06)(2013.06.19[450].pdf)

군집별 중심 어휘

군집 0 : 경제, 시사점, 중국, 과제, 전략, 전망, 산업, 변화, 경영, 경기, 국내, 한국, 시장, 현안, 정책, 특징, 방안, 성장, 시대, 투자

군집 1 : 통권, 희소금속, 배우자, 방법, 방송, 방안, 방일, 방직, 방한, 방향, 배경, 배럴, 배출, 발행인, 백흥기, 밴드, 밸리, 버블, 번영, 범위

군집 2 : 현안, 과제, 자료, 이슈, 경상수지, 회담, 약화, 악화, 회복세, 여건, 경제, 소비, 대응, 최근, 성숙, 정상회담, 일정, 의제, 정상, 관계

군집 3 : 편집, 위원, 종로구, 서울시, 현대, 경제연구원, 주간, 계동, 통권, 주원, 시사점, 이장균, 백흥기, 율곡로, 주량, 부형, 형편, 산업, 김주현, 연지동

군집 4 : 생산, 증가, 증가세, 출하, 활동, 반도체, 동월, 전년, 대비, 산업, 소비, 투자, 화학제품, 감소세, 모두, 전반, 설비, 통신, 음향, 지속

군집 5 : 동향, 특징, 경제, 주간, 실물, 대비, 실업자, 실업률, 감소, 최근, 고용, 하락, 전망, 원인, 금융, 채권, 급등세, 주요국, 금리, 조치

군집 6 : 행복지수, 대한민국, 결과, 조사, 정책, 시사점, 경제, 희소금속, 방한, 발효, 방법, 방송, 방안, 방일, 방직, 배경, 방향, 배럴, 배우자, 배출

군집 7 : 건강, 장수, 비결, 상식, 밀레니엄, 관리, 시대, 경영, 목차, 배출, 방직, 방한, 방향, 배경, 배럴, 동계, 배우자, 동력, 방안, 백흥기

군집 8 : 물가, 소비자, 상승, 배경, 생산자, 위장, 수입, 수산, 제품, 농축, 공업, 근원, 현상, 가계, 서비스, 격차, 신선, 동월, 월간, 전년

군집 9 : ph, us, 희소금속, 배출, 방안, 방일, 방직, 방한, 방향, 배경, 배럴, 배우자, 밴드, 백흥기, 베이비붐, 밸리, 버블, 번영, 범위, 법적

> 반성

1. 형태소 txt파일들이 이만큼 중요할 줄은 몰랐다. 모든 분석은 이 파일들을 기준으로 했다. 그래서 text 파일들을 좀 더 자세히 살펴봤더니 모든 text가 형태소로 바뀌어 있지 않고 누락된 부분이 많았다. 이유는 텍스트 중간중간에 널값이 들어가 있어 분석이 중도 정지 되었던 것이다(Simpo PDF는 공짜인 대신 text문서 중간중간에 자기들만의 water mark를 박아놓는다. 아주 많이)

어쨌든 모두 제거하고 다시 형태소 파일을 만들었다. 전보다 몇배는 더 많은 형태소들이 들어왔다. ㅡ,ㅡ pdf에서 txt로 바꾸는 일이 전체 작업에서 제일 지루한 작업이었는데 그러다보니 은근슬쩍 대충 해버렸던 것 같다.

깨끗한 형태소 txt파일들을 준비해 놓는게 모든 분석의 시작이다(라는 걸 지금 알게 되었다)

위 결과는 그 놈들을 토대로 나왔다.