[ML] 독버섯 데이터 분석-Decision Tree(feat. 결정트리)

데이터명

Mushroom Data Set

 

독버섯 분류 데이터 셋레코드수

8124 개

컬럼개수

23개 (분류 class 1개, 속성 attributes 22개)

 

데이터 설명

이 데이터는 8,124종류 버섯의 특징과 독성 여부가 적혀있는 데이터 셋입니다.

나이브베이즈, 의사결정트리 등의 분류 알고리즘에 예제로 많이 사용되는 데이터 입니다.

 

컬럼 설명

데이터의 이해를 돕기 위해 포함된 23개의 변수에 대한 간략한 설명입니다.  

 

---

 

* loc 함수

속성	설명
loc	인덱스 기준으로 행 데이터 읽기
iloc	행 번호를 기준으로 행 데이터 읽기

 

 

 

 

환경 변수 설정 해줘야한다.

 

설치 방법 : https://graphviz.gitlab.io/_pages/Download/Download_windows.html

https://graphviz.org/download/

* 윈도우 환경에 맞는 최신버전을 다운받아주자.

 

시스템 환경 변수 -> 양쪽 path 설정해주기

 

1-user 측 환경변수 설정: 

 

2-시스템측 환경변수 설정:

 

 

 

 

(중간 시각화 코드)

 

 

 

결정트리(Decision Tree)

• 타깃 값이 한 개인 리프 노드를 순수 노드라고 한단
• 모든 노드가 순수 노드가 될 때 까지 학습하면 복잡해지고 과대 적합이 된다
• 새로운 데이터 포인트가 들어오면 해당하는 노드를 찾아 분류라면 더 많은 클래스를 선택하고, 회귀라면 평균을 구한다.

 

 

 

깊이

질문은 1개

그 다음에 질문 2개를 통해 4개 생성된다

각 층을 각각의 깊이라고 한다.

 

깊이가 깊어질수록 모델이 복잡해지고, 노드가 많아지면 과대 적합이 발생할 확률이 높다.

노드를 만들때, 과대적합을 방지하기 위해서 제어하기 위해 '깊이'라는 개념이 도입이된다.

 

Decision Tree(결정트리) 과대적합 제어

-노드 생성을 미리 중단하는 사전 가지치기(pre-puning)와 트리를 만든후에 크기가 작은 노드를 삭제하는 사후 가지치기(pruning)가 있다.

* sklearn은 사전 가지치기만 지원

 

-트리의 최대 깊이나 리프 노드의 최대 개수를 제어

-노드가 분할 하기 위한 데이터 포인트의 최소 개수를 지정

 

 

사후 가지치기 방법

 

 

사전 가지치기 방법

scikit-learn의 경우

DecisionTreeClassifier(max_depth, max_leaf_nodes, min_sample_leaf)

 

• max_depth : 트리의 최대 깊이, 값이 클수록 모델의 복잡도가 올라간다
• max_leaf_nodes : 리프 노드의 최대 개수
• min_sample_leaf : 리프 노드를 구성하는 최소 샘플의 개수

결정 트리 장단점 및 주요 매개변수(Hyperparameter)

각 특성이 개별 처리되기 때문에 데이터 스케일에 영향을 받지 않아 특성의 정규화나 표준화가 필요없음

트리 구성시 각 특성이 중요도를 계산하기 때문에 특성 선택(Feature selection)에 활용될 수 있음

가지치기를 사용함에도 불구하고 과대적합되는 경향이 있어 일반화 성능이 좋지 않음

 

 

시계열 데이터에 결정트리를 쓸 수 있나?

 

 

없다, 훈련 데이터 범위 밖의 포인트는 예측 할 수 없다

 

 

결정트리의 가장 큰 특징

 

선형 모델보다 각 진 직사각형 모델에 더 적합하다.