기상청 지진 정보 크롤링

 

● 기상청 지진정보 크롤링

 

> 들어가는 말

1. 최근 시각화 스터디를 시작했다.

2. 그냥 R&D 하는 건 재미없고 무언가 의미있는 걸 만들어 보고 싶었다.

3. 그런데 이번 포항 지진을 보며 궁금한 것이 있었다.

4. '만약 포항에 지진 강도 7이 발생했다면 서울에서 얼마의 강도가 전해질까?' 였다.

5. 이걸 시각화해보기로 결정했다.

 

> 정보 제공 사이트

1. 기상청 

- 아쉬운 건 깊이 정보가 2017년 7월 5일부터 제공된다는 거다.

- 메일로 문의해보니 이전 데이터는 제공해줄 수 없단다. 역시 이유는 없다. 역시 최고의 직업은 공무원이다. 

- http://www.kma.go.kr/weather/earthquake_volcano/domesticlist.jsp

 

2. 지진연구센터 - 최근에 모든 데이터들이 삭제 되었다. 무슨 연유인지는 모르겠다. 그래서 무쓸모.

 

> 사이트 분석

1. 1978년부터 지진 정보가 제공된다. 이건 참 좋다.

 

 

2. 한번에 999개 밖에 검색이 안된다. 그래서 2012년을 기준으로 나눠서 이전, 이후로 따로 쿼리를 날려야 한다.

3. 굉장히 쉬운 크롤링이다. 다만 인코딩이 euc-kr이라는 칠득이로 되어 있어 node에서 그냥 가져오면 깨진다.

4. 다행히 iconv 모듈을 사용해 utf8로 바꿀 수 있었다.

5. for문과 request 모듈은 전혀 어울리지 않는다. 비동기 문제다.

6. 4번과 5번의 문제가 함께 꼬여 약간의 고생을 했다.

7. 오랜만에 코딩을 했더니 버벅거린것도 있다.

 

 

8. 어쨌든 끝냈다. 대충 만들었더니 저렇다. 총 1663개의 지진 데이터를 가져왔다. sleep()을 안하고 그냥 가져왔더니 1분 정도 밖에 안걸렸다. 미안, 기상청.

 

9. 이제 이 위도, 경도 정보를 일단 지도 위에 표시해보려한다. 가장 큰 고민은 구글을 쓸지, 다음이나 네이버 지도를 쓸지다. 지난 API경험으로 미루어 구글 지도가 우리나라 지도에 대해서는 많이 부실했기에 안쓸거 같다. 아마 다음 지도를 쓸거다. 그런데 다음이나 네이버 지도도 SVG지원이 잘되는지 모르겠다. 내일 몇가지 더 확인해 본 후 결정할 거다.

 

10. 단순하게 지도위에 지진을 표시하는 건 이미 많이 있다. 보면 아무 의미가 없다는 걸 금방 알수 있다. 

11. 난 '깊이'와 '규모'를 이용해 단순 점이 아닌 영역과 그라데이션을 만들어보려 한다. 또 타임랩스를 이용해 시간변화에 따른 지진 영역의 변화를 볼 수도 있겠다.

12. 오버일 수 있겠으나 지도 위에 특정 강도의 지진을 일으키게 만들어 해당 지진의 파급 영역을 보여줄 수도 있겠다.

13. 그 위에 5층, 10층짜리 가상의 건물을 만들고 해당 강도의 경우 건물의 붕괴정도를 보여줄 수도 있겠다.

14. 뭐 내가 지진에 대해 자세히 아는 것도 아니고 데이터에 p파, s파가 나와있는 것도 아니고 게다가 깊이도 없으니 '대~충' 러프하게 만들어 보겠다는 것이다.

15. 일단, 재밌을 것 같다. 결과가 무척 궁금하기도 하다. 

16. 이게 시각화의 매력이라고 생각한다.

17. 그나저나 SVG도 잘 모르는데 ㅋㅋㅋ 어떻게 만들지 이론 공부도 좀 해야한다.

18. 자자. 새벽 6시다. ㅜ