Wookang makes AI

● 기상청 지진정보 크롤링

> 들어가는 말

1. 최근 시각화 스터디를 시작했다.

2. 그냥 R&D 하는 건 재미없고 무언가 의미있는 걸 만들어 보고 싶었다.

3. 그런데 이번 포항 지진을 보며 궁금한 것이 있었다.

4. '만약 포항에 지진 강도 7이 발생했다면 서울에서 얼마의 강도가 전해질까?' 였다.

5. 이걸 시각화해보기로 결정했다.

> 정보 제공 사이트

1. 기상청 

- 아쉬운 건 깊이 정보가 2017년 7월 5일부터 제공된다는 거다.

- 메일로 문의해보니 이전 데이터는 제공해줄 수 없단다. 역시 이유는 없다. 역시 최고의 직업은 공무원이다. 

- http://www.kma.go.kr/weather/earthquake_volcano/domesticlist.jsp

2. 지진연구센터 - 최근에 모든 데이터들이 삭제 되었다. 무슨 연유인지는 모르겠다. 그래서 무쓸모.

> 사이트 분석

1. 1978년부터 지진 정보가 제공된다. 이건 참 좋다.

2. 한번에 999개 밖에 검색이 안된다. 그래서 2012년을 기준으로 나눠서 이전, 이후로 따로 쿼리를 날려야 한다.

3. 굉장히 쉬운 크롤링이다. 다만 인코딩이 euc-kr이라는 칠득이로 되어 있어 node에서 그냥 가져오면 깨진다.

4. 다행히 iconv 모듈을 사용해 utf8로 바꿀 수 있었다.

5. for문과 request 모듈은 전혀 어울리지 않는다. 비동기 문제다.

6. 4번과 5번의 문제가 함께 꼬여 약간의 고생을 했다.

7. 오랜만에 코딩을 했더니 버벅거린것도 있다.

8. 어쨌든 끝냈다. 대충 만들었더니 저렇다. 총 1663개의 지진 데이터를 가져왔다. sleep()을 안하고 그냥 가져왔더니 1분 정도 밖에 안걸렸다. 미안, 기상청.

9. 이제 이 위도, 경도 정보를 일단 지도 위에 표시해보려한다. 가장 큰 고민은 구글을 쓸지, 다음이나 네이버 지도를 쓸지다. 지난 API경험으로 미루어 구글 지도가 우리나라 지도에 대해서는 많이 부실했기에 안쓸거 같다. 아마 다음 지도를 쓸거다. 그런데 다음이나 네이버 지도도 SVG지원이 잘되는지 모르겠다. 내일 몇가지 더 확인해 본 후 결정할 거다.

10. 단순하게 지도위에 지진을 표시하는 건 이미 많이 있다. 보면 아무 의미가 없다는 걸 금방 알수 있다. 

11. 난 '깊이'와 '규모'를 이용해 단순 점이 아닌 영역과 그라데이션을 만들어보려 한다. 또 타임랩스를 이용해 시간변화에 따른 지진 영역의 변화를 볼 수도 있겠다.

12. 오버일 수 있겠으나 지도 위에 특정 강도의 지진을 일으키게 만들어 해당 지진의 파급 영역을 보여줄 수도 있겠다.

13. 그 위에 5층, 10층짜리 가상의 건물을 만들고 해당 강도의 경우 건물의 붕괴정도를 보여줄 수도 있겠다.

14. 뭐 내가 지진에 대해 자세히 아는 것도 아니고 데이터에 p파, s파가 나와있는 것도 아니고 게다가 깊이도 없으니 '대~충' 러프하게 만들어 보겠다는 것이다.

15. 일단, 재밌을 것 같다. 결과가 무척 궁금하기도 하다. 

16. 이게 시각화의 매력이라고 생각한다.

17. 그나저나 SVG도 잘 모르는데 ㅋㅋㅋ 어떻게 만들지 이론 공부도 좀 해야한다.

18. 자자. 새벽 6시다. ㅜ

● 우리동네 장애인 주차구역 불법 주차 통계

> 들어가는 말

1. 지난 2017년 8월 27일부터 오늘 2017년 11월 6일까지 현재 거주하고 있는 오피스텔의 장애인 주차구역 불법 주차 차량들에 대해 조사했다. 물론 생활불편신고 앱으로 실제 신고하고 '처리'가 완료된 차들로만 정리했다.

2. 전체 기간은 약 100일이지만 실제 찍은 날짜는 약 60일 가량이다. 

3. 추석 연휴에도 찍지 못했다.

4. 거의 대부분 새벽시간에 신고했다. 따라서 신고날짜가 '토요일'로 표시된 것은 사실상 '금요일'에 불법 주차된 차량이다.

5. 차량번호는 공개할 수 없어 차 브랜드로 대신했다.

> 차량별 신고 건수 (총 66건)

1. 신고를 하며 제일 놀란 것은 '계속 신고'해도 '계속 불법주차'한다는 것이다.

2. 위 표는 해당 기간동안 불법주차한 차들의 적발 건수이다.

3. 총 20대가 불법 주차했으며 한번만 불법주차한 차량이 10대, 2번이상 불법주차한 차량이 똑같이 10대이다.

4. 아우디 차량이 10번으로 단독질주하고 있다. 해당 차량은 리스차량으로 이미 수백만원의 과태료가 부과되었는데 현재 연락이 되지 않는다고 한다. 하지만 우리 오피스텔에는 정기적으로 꾸준히 장애인 구역 불법주차하고 있다.

5. 위 표에서 바이크는 더 이상 불법주차하지 않는다.

6. 나머지 n번의 불법 전과 차량들은 지금도 성실히 불법주차중이다.

> 브랜드별 적발 건수

1. 아우디와 기아는 1.2등 차량이 독보적으로 많기도 했지만 다른 차량들의 불법주차도 많았다. (체감적으로는 기아가 1등, 아우디가 2등이었다)

2. 그에 반해 벤츠와 현대는 3,4등 차량을 제외하고 거의 불법주차가 없었다.

> 요일별 적발 건수

1. 역시 금요일 밤에 불법주차가 제일많았고(위에서 이미 언급했지만 새벽에 찍어 날짜가 하루씩 밀렸다) 다음이 토요일 밤 그리고 다음이 일요일 밤 순이다.

> 결론

1. 일단은 데이터를 엑셀로 정리했다.

2. 이 오피스텔에 얼마나 있을지 모르겠지만 있는 동안은 계속 신고할 생각이다.

4. 데이터만 있다면 시도별 불법주차 현황이나 기간별 추이같은 걸 시각화하거나 만들어보고 싶은데,

4. 데이터가 없다 ㅋ

5. 끝.

2008서버에서 IIS도 잘 설치 하셨다면 해당 포트도 열어줘야 접속이 가능하다. (방화벽을 열어줘야 한다.)

1. 제어판 -> 시스템 및 보안-> Windows 방화벽을 클릭하면 오른쪽에 고급설정 버튼이 있다. 클릭!

2. 고급 보안이 포함된 Widows 방화벽 창이 나온다. 

    여기서 인바운드 규칙, 아웃바운드 규칙을 모두 열어줘야 한다. 
    들어오는 포트 , 나가는 포트를 열어준다고 생각하면 된다.

3. 인바운드규칙에서의 포트를 열어주는 예를 들어보겠다.

    인바운드규칙을 클릭하면 오른쪽에 작업 부분의 "새 규칙..." 요놈을 클릭한다.

 4. 새 인바운드 규칙 마법사 창이 뜬다. 단계별로 진행이 된다.

    먼저 우리가 허용할 것은 포트이기 때문에 두번째 포트를 선택해주고 다음 버튼을 눌러준다.

5. 두번째 프로토콜 및 포트 부분이다.

    포트의 설정 부분으로 나의 경우 Tomcat 포트를 열어주는 것으로 속성이 TCP이다.
    특정 로컬 포트는 나의 경우 9001 로 세팅하여 다음을 클릭한다.
    (포트의 경우 Tomcat 에 설정한것을 적어주셔야 합니다. - 설정에 따라 달라집니다.)

6. 세번째 작업 부분이다. 첫번째 연결 허용을 선택하고 다음 버튼을 눌러준다.

7. 네번째 프로필이다. 나의 경우 모두 클릭하고 다음 버튼을 눌러줬다.(연결된 네트워크 환경에 따라 달라질수 있습니다.)

8.마지막 이름. 여기서의 이름은 처음에 보았던 인바운드 규칙내에서의 볼수 있던 리스트의 이름이다. 

  아무거나 적어도 상관 없지만 포트 번호를 쉽게 알 수 있기 위해 Tomcat-9001 로 적어 주었다. 그리고 마침.

 9. 이제 인바운드 규칙 리스트에 방금전 작성한 포트가 열려 있는것을 볼수 있다.

 
10. 아웃바운드 규칙도 똑같은 방법으로 포트를 열어주면 방화벽에서의 설정은 끝이 난다. 

● 분류기의 튜닝

> 들어가는 말

1. 엄청나게 고생했다.

2. 윈도우에서 병렬 컴퓨팅을 실행시키기 위해서는 메인루프를  "if __name__ == '__main__'"로 감싸야 한다. sklearn의 joblib 모듈 문서를 살펴보라는데 봐도 별거 없다. 이젠 에러 메세지까지 나한테 뻥을 친다ㅡ,ㅡ 어쨌든 감싸고 나니 그 에러 메세지는 없어졌다.

3. 맥에서는 그냥 된다고 한다. 

> 실행

1. MultinomialNB()와 SGDClassifier()의 최적 파라미터를 찾아봤다.

2. 이것도 엄청 고생했다.

3. pipeline과 parameters들을 set과 dictionary로 만들어 놓는게 핵심이다.

4. 최적 파라미터를 측정할 분류기를 MultinomialNB()나 SGDClassifier() 둘 중에 선택한다.( KFold로 교차검증도 할 수 있더라)

5. 각각의 parameters가 다르므로 최적화를 진행할 인자를 넣는 것도 달라져야 한다.

6. naive_bayes.py의 664줄 np.log(smoothed_fc)의 smoothed_fc 값에 0이 들어가서 계속 에러가 난다.

stackoverflow를 뒤져도 딱히 이거다하는게 없어 땜빵으로 np.log(smoothed_fc +0.000000001) 이렇게 넣었다.

smoothed_fc 이 무엇인지 제대로 이해하지 못하고 땜빵처리하니 굉장히 찝찝하다. 팬티를 입고 똥을 싼 후에 2시간 앉아 있는 기분이다.

7. 어쨌든 분류기 별로 모두 최적화 파라미터를 찾았다. 결과는 대략 아래와 같다. weighted가 뭔지 모르겠지만 이제 안쓰는데 호출하니 뜨는 경고다. 앞서 하도 많은 에러를 만났더니 이제 경고 따위 신경도 안쓰인다.

Fitting 3 folds for each of 288 candidates, totalling 864 fits

[Parallel(n_jobs=-1)]: Done  42 tasks      | elapsed:   11.8s

[Parallel(n_jobs=-1)]: Done 192 tasks      | elapsed:  1.0min

[Parallel(n_jobs=-1)]: Done 442 tasks      | elapsed:  3.0min

[Parallel(n_jobs=-1)]: Done 792 tasks      | elapsed:  6.9min

[Parallel(n_jobs=-1)]: Done 864 out of 864 | elapsed:  8.2min finished

Best score: 0.7813333333333333

Best parameter set:

        clf__alpha: 1.0

        vect__max_features: None

        vect__ngram_range: (1, 2)

        vect__norm: None

        vect__smooth_idf: True

        vect__sublinear_tf: True

        vect__use_idf: True

Accurary: 0.806

C:\Users\Alice\Anaconda3\lib\site-packages\sklearn\metrics\classification.py:1203: DeprecationWarning: The default `weighted` averaging is deprecated, and from version 0.18, use of precision, recall or F-score with multiclass or multilabel data or pos_label=None will result in an exception. Please set an explicit value for `average`, one of (None, 'micro', 'macro', 'weighted', 'samples'). In cross validation use, for instance, scoring="f1_weighted" instead of scoring="f1".

  sample_weight=sample_weight)

Precision: 0.8136573785950023

C:\Users\Alice\Anaconda3\lib\site-packages\sklearn\metrics\classification.py:1304: DeprecationWarning: The default `weighted` averaging is deprecated, and from version 0.18, use of precision, recall or F-score with multiclass or multilabel data or pos_label=None will result in an exception. Please set an explicit value for `average`, one of (None, 'micro', 'macro', 'weighted', 'samples'). In cross validation use, for instance, scoring="f1_weighted" instead of scoring="f1".

  sample_weight=sample_weight)

Recall: 0.806

위에서 구한 최적의 파라미터를 이용해 앞으로 분류기를 사용할때 그와같이 세팅해주면 되는거다. 뭐 극적으로 정확도가 올라가고 그런건 잘 모르겠다. 좀 더 (많은) 공부가 필요해보인다.

> 반성

1. 최근에 느끼는 점인데, 데이터 분석이나 과학 또는 인공지능같은 사전 지식 없이 그냥 이렇게 바닥을 파는게 맞는 건가 싶다. 솔직히 어렵지는 않다. 파고 들어가는 만큼 이해도가 높아지는 것도 정직하다. 일단은 이렇게 강사님이 내려준 '동아줄'을 부여잡고 열심히 따라가는 것이 효율적이고 좋은 것 같다. 다음 여유가 있을 때 관련 책들을 읽어서 기본기를 닦아야겠다. 

2. 시간날때마다 이렇게 해도 같이 수업을 듣는 다른 사람들의 절반도 못따라가는 것 같다. 수업 중 내가 하는 질문은 강사님의 답변을 듣고나면 내가 생각해도 부끄럽기 그지 없는데 다른 사람들이 하는 질문은 일단 무슨 질문인지 이해가 가지 않아 뭐라 말을 할수도 없다ㅡ,ㅡ

3. 그럴 때마다 나는 재미로 배우는 거니까. 그럴 수도 있지 하는 '비겁한' 변명에 빠진다.

4. 하지만 세상에 텍스트 마이닝이 절실해서 배우는 사람이 몇명이나 있겠는가. 아마 저 분들도 재미로 배우는 걸거다.

5. 그래도 다행인 것은 '나는 무언가를 처음 배울 때 언제나 남들보다 몇배는 못했다'는 사실이다. 이번에도 변함이 없는 것 뿐이다.

6. 왜 자꾸 눙물이 나지 ㅠㅠ

● 학습 모델 저장 및 읽어오기

> 들어가는 말

테스트를 할때마다 매번 학습을 시킬 수 없으니 저장하는 건 당연하다.

1. 학습 모델을 저장 방식에는 (현재 내가 알고 있는 것이 딱) 2가지 방법이 있다.

2. pickle모듈로 직렬화하는 방법이 하나고

3. skilearn.externals의 joblib모듈이 다른 하나다.

> 과정

1. pickle이 가장 보편적이라고 해서 사용해 보니 파일 용량이 42.5MB가 나왔다.

2. joblib로 compress=9로 해서 저장해 보니 파일 용량이 9.5MB가 나왔다.

3. 속도는 둘다 비슷.

4. 학습 내용을 바이너리로 저장해 놨다가 다시 로드해서 쓰는 방식이다.

5. 지금까지는 확실하게 joblib의 승리다.

> 실행

1. GridSearchCV()를 돌려 최적의 파라미터들을 찾아봤다.

Fitting 3 folds for each of 288 candidates, totalling 864 fits

[Parallel(n_jobs=-1)]: Done  42 tasks      | elapsed:   24.0s

[Parallel(n_jobs=-1)]: Done 192 tasks      | elapsed:  2.5min

[Parallel(n_jobs=-1)]: Done 442 tasks      | elapsed:  6.5min

[Parallel(n_jobs=-1)]: Done 792 tasks      | elapsed: 11.5min

[Parallel(n_jobs=-1)]: Done 864 out of 864 | elapsed: 13.4min finished

Best score: 0.60695468914647

Best parameter set:

        clf__alpha: 1.0

        vect__max_features: None

        vect__ngram_range: (1, 2)

        vect__norm: None

        vect__smooth_idf: False

        vect__sublinear_tf: True

        vect__use_idf: True

이것을 바탕으로 MultinomialNB() 클래스를 돌려서 나온 테스트 결과는 아래와 같다. 몇번 돌려봐도 그다지 좋아진걸 모르겠다 ㅡ,ㅡ

최적화는 좀 더 공부하고 저장과 로드만 숙달시켜야겠다.

2. SGDClassifier()클래스를 이용해 학습시킨 후 저장 및 로드도 해봤다. 역시 좋다. MultinomialNB() 아무리 최적화 시켜봤자 SGDClassifier() 새발의 피다.