ML 퀴즈 정리

머신러닝 7단계

1.문제 정의

-해결할 문제를 정의한다.

 

2.데이터 수집

-해결할 문제에 대한 데이터 수집

 

3.데이터 전처리

-수집한 데이터를 머신러닝 학습에 맞는 형태로 변형

 

4.탐색적 데이터 분석

-시각화, 통계자료 분석

 

5.모델 선택 및 하이퍼 파라미터 튜닝

-데이터에 맞는 모델을 선택하고 학습을 한다.

 

6.학습

-fit()

 

7.예측

 

 

 

일반적합, 과대적합, 과소적합

일반화-train점수

보통, test점수 : 높음

-test가 잘 나와야, 다른 모델에서도 잘 적용할 수 있다는 뜻이다

 

 

과대적합(overfitting)

train점수 : 높음, test점수 : 보통

 

 

과소적합(underfitting)

train점수 : 낮음, test점수 : 낮음

 

 

model.fit(X_train, Y_train)

 

model.score(X_train,Y_train)

model.score(X_test,Y_test)

 

train_test_split 모듈을 활용하여 학습과 테스트 세트 분리

 

사이킷런(scikit-learn)의 model_selection 패키지 안에 train_test_split 모듈을 활용하여 손쉽게 train set(학습 데이터 셋)과 test set(테스트 셋)을 분리할 수 있습니다.

train / test 분리하는 이유?

먼저, train / test 를 분리하는 목적을 정확히 알아야합니다.

정확히 말하면, train / test 가 아닌 train / validation 으로 볼 수 있습니다. (어차피 용어의 차이긴 하지만요)

머신러닝 모델에 train 데이터를 100% 학습시킨 후 test 데이터에 모델을 적용했을 때 성능이 생각보다 않 나오는 경우가 많습니다 (거의 99.999% 는요)

이러한 현상을 보통 Overfitting 되었다라고 합니다.

즉, 모델이 내가 가진 학습 데이터에 너무 과적합되도록 학습한 나머지, 이를 조금이라도 벗어난 케이스에 대해서는 예측율이 현저히 떨어지기 때문이라고 이해하시면 됩니다. 그렇기 때문에 Overfitting을 방지하는 것은 전체적인 모델 성능을 따져보았을 때 매우 중요한 프로세스 중 하나입니다.

Validation Set으로 검증 단계를 추가하여 Overfitting 방지

위의 그림과 같이 기존 train / test로 구분 되어 있었던 데이터 셋을 train에서 train / validation으로 일정 비율 쪼갠 다음에 학습 시에는 train 셋으로 학습 후 중간중간 validation 셋으로 내가 학습한 모델 평가를 해주는 것입니다.

만약, 모델이 과적합되었다면, validation 셋으로 검증시 예측율이나 오차율이 떨어지는 현상을 확인할 수 있으며, 이런 현상이 나타나면 학습을 종료합니다.

아래 그림을 참고하시면, iteration이 750을 넘어가는 순간부터 train 셋의 오차율을 계속 하강하고 있으나 validation 셋의 오차율을 점차 증가하는 것을 확인할 수 있습니다.

출처:   machinelearningmastery.com

그래서 머신러닝 모델의 하이퍼파라미터 튜닝 시 특히 n_estimators의 값은 validation 셋의 오차율을 점검해 나가면서 튜닝을 진행해야 하며, 딥러닝 모델도 마찬가지로 validation_data를 지정해 줌으로써 매 epoch 마다 validation의 오차율을 확인하면서 과적합을 방지해야 좋은 성능의 모델을 만들 수 있습니다.

추가로, 검증 방법은 K-Fold 교차 검증 방식이 많이 이용되고 있으며, 이와 관련 내용은 다른 포스팅에서 다루도록 하겠습니다.

 

간편하게 train / test 분리

사용 방법은 너무나도 간단합니다.

train_test_split 함수를 통해 단 1줄로 깔끔하게 분리할 수 있습니다.

패키지는 sklearn.model_selection에 있습니다.

from sklearn.datasets import load_iris # 샘플 데이터 로딩
from sklearn.model_selection import train_test_split

# load sample
dataset = load_iris()

data = dataset['data']
target = dataset['target']

# train_test_split
X_train, X_test, y_train, y_test = train_test_split(
	data, target, 
    test_size=0.2, 
    shuffle=True, 
    stratify=target,
    random_state=34)

 

 

저렇게 1줄의 코드로 train / validation 셋을 나누어 주었습니다.

 

 

옵션 값 설명

• test_size: 테스트 셋 구성의 비율을 나타냅니다. train_size의 옵션과 반대 관계에 있는 옵션 값이며, 주로 test_size를 지정해 줍니다. 0.2는 전체 데이터 셋의 20%를 test (validation) 셋으로 지정하겠다는 의미입니다. default 값은 0.25 입니다. 보통 7:3으로 나눈다.
• shuffle: default=True 입니다. split을 해주기 이전에 섞을건지 여부입니다. 보통은 default 값으로 놔둡니다.
• stratify: default=None 입니다. classification을 다룰 때 매우 중요한 옵션값입니다. stratify 값을 target으로 지정해주면 각각의 class 비율(ratio)을 train / validation에 유지해 줍니다. (한 쪽에 쏠려서 분배되는 것을 방지합니다) 만약 이 옵션을 지정해 주지 않고 classification 문제를 다룬다면, 성능의 차이가 많이 날 수 있습니다.
• random_state: 세트를 섞을 때 해당 int 값을 보고 섞으며, 하이퍼 파라미터를 튜닝시 이 값을 고정해두고 튜닝해야 매번 데이터셋이 변경되는 것을 방지할 수 있습니다. 값을 변경하면서 머신러닝이 학습하기 좋은 모델을 찾는 것도 이 값을 조정하면서 결정이 된다. 결과값이 좋아질지 나빠질지는 랜덤값이므로 미지수이다.

 

Classifier

iris의 레이블은 연속값이 아닌 "setosa" (0.0), "versicolor" (1.0), "virginica" (2.0)인 이산값이기

때문에 분류(classification) 문제라는 것을 알 수 있음.

분류에 사용되는 classifier는 Logistic (Regression) Classifier, Decision Tree, Support Vector Machine, Naive Bayesian, K Nearest Neighbor, Random Forest, Gradient Boosing, Neural Network 등이 있다.

 

 

참고 : https://jfun.tistory.com/65

Scikit-learn 기초

 

 

과대 : 왼쪽,

일반화 : 가운데(겹쳐 있는 부분),

과소 : 우측

 

 

https://needjarvis.tistory.com/455

맨하탄 거리(Manhattan Distance) 개념과 구현해보기

 

knn

이해하기 쉬운 모델

훈련 데이터 세트가 크면(특성, 샘플의 수) 예측이 느려진다

수백 개 이상의 많은 특성을 가진 데이터 세트와 특성 값 대부분이 0인 희소(sparse)한 데이터 세트에는 잘 동작하지 않는다.

거리를 측정하기 때문에 같은 scale을 같도록 정규화 필요

 

 

개념

https://needjarvis.tistory.com/190?category=619253 

통계학의 기초적인 용어

 

블로그가 전체적으로 통계관련해서 정리가 잘 되어 있다.

 

https://creatorjo.tistory.com/148

파이썬으로 머신러닝 배우기 - iris 분류하기(K-NN모델)

 

 

맨하탄거리

https://needjarvis.tistory.com/455?category=619253 

맨하탄 거리(Manhattan Distance) 개념과 구현해보기