Wookang makes AI

● 현대경제연구원 보고서 분석 - 문서 전처리 작업 중 1. 아. 헬대. 현다이 ㅅㅂ 내가 현대를 왜 그리 몰랐을까.데이터들을 한 곳에 모으다가 발견했다. 그 동안 나는 각 카테고리별로 교집합없이 나눠져 있는 보고서들을 하나로 합치면 모든 보고서들의 합집합을 이룰 수 있을 것이라 동해안의 태양처럼 당연하게 생각했다. 카테고리란 그런거니까. 나누기 위해 만들어진 것이니까. 방금 발견한 결과는 이런 것이다. 경제 카테고리안의 보고서는 모든 보고서들의 집합이다.사회문화 카테고리안에 있는 모든 보고서는 경제 카테고리에도 있다. 다른 카테고리에도 있을 확률이 90%이상이다.산업경영 카테고리안에 있는 모든 보고서는 경제 카테고리에도 있다. 물론 다른 카테고리에도 있을 확률이 두말하면 잔소리다.ㅅㅂ 통일 카테고리안에..

● 현대경제연구원 분석 중 3 > 작업 중 1. 고통스러운 전처리 작업 시작 .. 대체 내가 왜 이걸 하고 있는 건지 ㅡ,ㅡ 2. 다행히 어젯밤 순식간에 보고서들을 모두 크롤링했다. sleep.time(2)을 주석처리하는 패기! > 아래는 파일 정리경제 = { 전체 : 4300 , 파일 주소 오류 : 146, 파일 다운 오류 : 123, 파일 오류 : 13개, txt로 변환 불가능 : 1912, 유용한 보고서 : 2110 }사회문화 : { 전체 : 3762 , 파일 주소 오류 : 179, 파일 다운 오류 : 122 , txt로 변환 불가능 : 2010 , 유용한 보고서 : 1572 }산업경영 : { 전체 : 3731 , 파일 주소 오류 : 142, 파일 다운 오류 : 124 , txt로 변환 불가능 : ..

● 현대경제연구원 분석 중 2 > 들어가는 말 1. 키워드 추출이나 보고서 학습을 시키기 위해서는 처음 목표로 했던 문서뿐 아니라 다른 카테고리의 문서들도 많이 필요하다.2. 그래서 지난 번 안하겠다고 했던 분야별 크롤링을 하기로 했다.3. 분야는,{ 경제 : 약 7,200개, 산업경영 : 약 6,500개, 사회문화 : 약 6,300개, 통일 : 약 6,500개 }보고서 전체 개수는 약 2만5천개 정도가 될 것 같다.4. 현대경제연구원이 현차나 현중 계열이 아니고(지분관계는 있다만) 고 정주영 할아버지 계열이라 현대아산을 통해 대북사업을 진행하고 있어 (현재는 좀 힘든듯해도) 다른 경제연구소에서는 쳐다도 보지 않는 통일에 대한 보고서가 저리 많다. 훌륭하다.5. 어차피 이게 내 전공도 아니고 재미로 공부..

● 현대 경제 연구원 보고서 분석 1 > 들어가며1. 다시 크롤링을 하기 위해 사이트를 보니 지난 번 내가 분석했던 보고서들은 특정 카테고리의 보고서가 아니라 '최신 보고서'라는 어디에도 없는(?) 카테고리의 보고서들이었다. (즉, 처음 들어보면 '최신연구보고서'만 보여주고 왼쪽의 카테고리를 클릭했을 때 해당 카테고리의 보고서를 보여주는 것이다. 그런데 카테고리 목록에 '최신연구보고서'는 없다 ㅡ,ㅡ 모를 수 밖에 없었다) 2. 지난 번 파일이름을 너무 대충 만들어서 이번에는 제대로 만들어 한번 더 크롤링했다. 아래와 같은 방식이다.{"reportURL":"https:\/\/hri.co.kr:442\/download.asp?file_path=%2Fpublication%2F&file_name=2016628..

● 현대 경제 연구원 간략 분석 > 들어가는 말막상 크롤링을 하고 보니 너무 대충했다.아무래도 다시 하는게 좋을 것 같은데, 저번에도 2번째 크롤링때 자주 끊겼던게 마음에 걸린다.블락당한 건 아니겠지. > 앞서 반성1. pdf 파일 이름을 너무 대충지었다. 파일이름에 보고서 발표날짜가 들어갔어야 했다.2. pdf 파일은 html이 아니어서 정규분포식을 이용한다해도 원하는 텍스트를 가져오는게 어렵다. 제목에 제목이라는 표시가 없다 ㅜ 아무래도 제목은 제목대로 따로 크롤링해서 가져와야겠다.3. 그리고 그 제목과 날짜 그리고 파일명을 하나의 json으로 만든 후 입맛에 맞게 요리해야겠다. > 결과아래 워드클라우드 이미지는 2010년 1월부터 ~ 2016년 6월 말(지난주)까지 약 6년 반 기간 동안 현대경영연..