Wookang makes AI

2008서버에서 IIS도 잘 설치 하셨다면 해당 포트도 열어줘야 접속이 가능하다. (방화벽을 열어줘야 한다.) 1. 제어판 -> 시스템 및 보안-> Windows 방화벽을 클릭하면 오른쪽에 고급설정 버튼이 있다. 클릭! 2. 고급 보안이 포함된 Widows 방화벽 창이 나온다. 여기서 인바운드 규칙, 아웃바운드 규칙을 모두 열어줘야 한다. 들어오는 포트 , 나가는 포트를 열어준다고 생각하면 된다. 3. 인바운드규칙에서의 포트를 열어주는 예를 들어보겠다. 인바운드규칙을 클릭하면 오른쪽에 작업 부분의 "새 규칙..." 요놈을 클릭한다. 4. 새 인바운드 규칙 마법사 창이 뜬다. 단계별로 진행이 된다. 먼저 우리가 허용할 것은 포트이기 때문에 두번째 포트를 선택해주고 다음 버튼을 눌러준다. 5. 두번째 프로토..

● 분류기의 튜닝 > 들어가는 말1. 엄청나게 고생했다.2. 윈도우에서 병렬 컴퓨팅을 실행시키기 위해서는 메인루프를 "if __name__ == '__main__'"로 감싸야 한다. sklearn의 joblib 모듈 문서를 살펴보라는데 봐도 별거 없다. 이젠 에러 메세지까지 나한테 뻥을 친다ㅡ,ㅡ 어쨌든 감싸고 나니 그 에러 메세지는 없어졌다.3. 맥에서는 그냥 된다고 한다. > 실행1. MultinomialNB()와 SGDClassifier()의 최적 파라미터를 찾아봤다.2. 이것도 엄청 고생했다.3. pipeline과 parameters들을 set과 dictionary로 만들어 놓는게 핵심이다.4. 최적 파라미터를 측정할 분류기를 MultinomialNB()나 SGDClassifier() 둘 중에 선..

● 학습 모델 저장 및 읽어오기 > 들어가는 말테스트를 할때마다 매번 학습을 시킬 수 없으니 저장하는 건 당연하다.1. 학습 모델을 저장 방식에는 (현재 내가 알고 있는 것이 딱) 2가지 방법이 있다.2. pickle모듈로 직렬화하는 방법이 하나고3. skilearn.externals의 joblib모듈이 다른 하나다. > 과정1. pickle이 가장 보편적이라고 해서 사용해 보니 파일 용량이 42.5MB가 나왔다.2. joblib로 compress=9로 해서 저장해 보니 파일 용량이 9.5MB가 나왔다.3. 속도는 둘다 비슷.4. 학습 내용을 바이너리로 저장해 놨다가 다시 로드해서 쓰는 방식이다.5. 지금까지는 확실하게 joblib의 승리다. > 실행1. GridSearchCV()를 돌려 최적의 파라미터..

● KFold클래스를 이용한 벡터기계(SVM) 알고리즘 교차 검증 > 실행1. 제일 성능이 좋다는 벡터기계(SVM) 알고리즘을 이용하여 이전 모델의(MultinoialNB클래스) 예측보다 정확도를 평균 20%정도 상승시켰다. 결과 편차가 있긴해도 대략적으로 정확도 평균이 75%정도다(굉장히 신기하다!). 학습 자료와 테스트 자료는 랜덤하게 뽑았고 단 한개도 중복되지 않게 만들었다. 그런데 좀 이상한 것은 그 뒤에 KFold클래스를 사용했을 때다. 이 클래스에 총 문서수를 넣고 교차검증을 하면 자기가 알아서 섞이는 일이 없도록 정확히 구분한다고 하는데, 그렇다면 내가 전에 만들었던 9:1 훈련 문서 분류 작업과 동일한 작업이라는 건데 결과는 이게 훨씬 나쁘게 나온다. 아래가 그 결과다. Accuracy P..

● 현대경제연구원 보고서 벡터기계(SVM: support vector machine)알고리즘을 이용한 분석 > 실행1. 이전 모델(MultinomialNB클래스)과 달라진 부분은 아래 3줄 뿐이다. sgd = SGDClassifier(loss="hinge", penalty="l2", alpha=1e-3, n_iter=5, random_state=42) sgd.fit(train_doc_term_mat, train_labels) pred_labels = sgd.predict(test_doc_term_mat) 2. 놀랍다. 사용 알고리즘만 바꿨는데 평균 정확도가 20% 이상 올랐다. 심지어 정확도가 83%를 넘긴적도 있다(딱 한번).3. 일반적으로 75% 내외의 정확도를 보이고 있다. 게다가 한번도 맞춘적 없..