[20260407] 빅데이터분석기사 필기 9일차_의사결정나무

번호	핵심 키워드	상세 설명
1	의사결정나무 (Decision Tree)	데이터를 분류하거나 예측하기 위해 스무고개 게임처럼 질문을 통해 데이터를 분할해 나가는 나무 형태의 모델.
2	불순도 (Impurity)	데이터가 얼마나 섞여 있는지를 나타내는 지표로, 불순도가 낮을수록 데이터의 순수도가 높음을 의미하며, 지니 지수, 엔트로피 지수, 카이제곱 통계량 등으로 측정한다.
3	가지치기 (Pruning)	과대적합을 방지하고 모델을 단순화하기 위해 생성된 의사결정나무의 불필요한 가지를 잘라내는 과정.
4	정보 획득 (Information Gain)	데이터를 분할했을 때 불순도가 감소하는 정도를 나타내는 지표로, 불순도 감소량이 클수록 좋은 분할이다.
5	의사결정나무 알고리즘	데이터를 분할하는 기준과 방법을 정의하는 알고리즘으로, CART, C4.5, C5.0, CHAID 등이 있으며 각각 분류/예측 가능 여부, 예측 변수 유형, 불순도 측정 방식, 분할 방식, 가지치기 시점 등에서 차이를 보인다.

 

Q1. 한 노드에 노란색 5개와 초록색 5개가 있을 때, 이 노드의 지니 불순도(Gini impurity)는 얼마인가?

 

A: 0.25

B: 1.0

C: 0.5

D: 0.0

 

 

정답이에요!

C. 지니 불순도는 1 - (p1^2 + p2^2)이고, 두 클래스의 확률이 각각 0.5이므로 1 - (0.25 + 0.25) = 0.5가 정답이에요. 지니 불순도는 클래스가 균등하게 섞일수록 값이 커진다는 점을 기억하세요.

 

 

Q2. 초기 분할에서 'Outlook'으로 나눈 결과 순도가 낮아 추가로 'Humidity'를 70을 기준으로 분할했더니 자식노드들이 모두 한 클래스로 나왔습니다. 이 결과를 가장 잘 설명하는 개념은 무엇인가?

 

A: 연속 변수를 원-핫 인코딩으로 변환하여 분할한 결과로 순도가 높아졌다.

B: 분할이 정보획득(information gain)을 최대화하여 불순도(지니·엔트로피)가 크게 감소했기 때문이다.

C: 이 분할은 가지치기(pruning)를 통해 과적합을 제거한 후의 결과이다.

D: 이 분할은 모델의 해석성을 떨어뜨려 변수 중요도 계산이 불가능해졌기 때문이다.

 

 

정답이에요!

B. 분할이 정보획득을 높여 불순도(예: 지니, 엔트로피)가 감소하자 자식노드들이 순수해진 거예요. 의사결정나무는 각 분할에서 불순도 감소를 최대화하는 기준을 선택한다는 점을 기억하세요.

 

 

Q3. 다수의 범주를 갖는 명목형 설명변수가 많고 한 번의 분할에서 여러 범주로 나누는 방식이 바람직한 상황에서 가장 적합한 의사결정나무 알고리즘은?

 

A: 랜덤포레스트: 여러 결정트리를 앙상블하므로 단일 분할 방식 선택과 무관하다.

B: CHAID: 카이제곱 기반으로 범주형 변수에 대해 다중(여러 가지) 분할을 수행한다.

C: CART: 지니 지수를 사용하고 이진 분할을 수행한다.

D: C4.5/C5.0: 엔트로피(정보획득)를 기준으로 연속·범주형을 처리하지만 주로 이진 분할을 선호한다.

 

 

정답이에요!

B. CHAID는 카이제곱 통계량을 이용해 범주형 변수의 집단 간 차이를 검정하고 한 단계에서 여러 범주로 분할할 수 있어서 이런 상황에 적합해요. 즉, 범주형 다중분할이 필요할 때 CHAID를 고려하면 됩니다.

 

 

Q4. 다음 의사결정나무 예시에서 '발이 있나요?' 같은 질문의 역할은 무엇인가?

 

A: 과적합을 방지하기 위한 가지치기 여부를 결정하는 기준

B: 트리 전체의 시작점으로서 전체 데이터를 대표하는 루트 노드

C: 최종 예측 결과를 나타내는 단말(잎) 노드

D: 특정 속성 값을 기준으로 데이터를 분할하는 내부(분기) 노드

 

 

아쉬워요. B

정답이에요!

D. 이 질문은 객체의 속성(발 여부)에 따라 데이터를 서로 다른 가지로 나누는 내부 분기 노드의 역할을 하므로 정답이에요. 의사결정나무는 내부 노드의 질문으로 분기하고 잎 노드에서 최종 예측을 제공합니다.

 

 

Q5. 데이터가 제한적이고 과적합이 우려되는 상황에서 의사결정나무 모델을 개발할 때, 강의에서 권장하는 알고리즘·절차 조합으로 가장 적절한 것은?

 

A: C4.5를 사용하여 학습 데이터만으로 가지치기하여 최종 모형을 결정한다.

B: CART로 완전한 나무를 생성한 뒤 학습 데이터와 검증 데이터를 사용해 가지치기한다.

C: 어떤 알고리즘을 쓰든 테스트 데이터를 이용해 가지치기하여 성능을 최적화한다.

D: CHAID로 다중분할을 적용하고 가지치기는 생략한다.

 

 

정답이에요!

B. CART는 완전 모형 생성 후 학습·검증 데이터를 이용한 가지치기로 과적합을 줄이는 방식이어서 이 상황에 적합해요. 가지치기와 검증 데이터 사용은 모델이 학습 데이터에만 과적합되는 것을 방지하는 기본 방법입니다.

 

 

Q6. 지니 계수를 사용하면서 항상 이진 분할을 수행하는 의사결정나무 알고리즘은 무엇인가?

 

A: CART(지니 지표·이진분할)

B: CHAID(엔트로피·이진분할)

C: C5.0(지니 지표·이진분할)

D: C4.5(카이제곱 검사·다중분할)

 

 

정답이에요!

A. CART는 지니 지수를 사용해 노드를 분할하며 기본적으로 이진분할을 수행하므로 정답이에요. 알고리즘별로 순도지표와 분할 방식이 달라 CART(지니·이진), C4.5·C5.0(엔트로피 계열), CHAID(카이제곱)로 구분된다는 점을 기억하세요.

 

 

Q7. 의사결정나무 그림에서 '고양이보다 큰가요?' 마디에 대한 가장 적절한 설명은?

 

A: 이 노드는 뿌리 마디로서 최상위 노드이다.

B: 이 항목은 노드가 아니라 가지(branch)에 해당한다.

C: 상위 노드의 자식이자 하위 노드의 부모인, 즉 부모 마디이자 자식 마디이다.

D: 이 노드는 더 이상 분할하지 않는 끝 마디(terminal node)이다.

 

 

아쉬워요.D

정답이에요!

C. 해당 마디는 위의 분기에서 내려온 자식 노드이면서 아래로 호랑이 끝 마디로 연결되는 부모 역할을 하므로 부모이자 자식이에요. 뿌리 마디는 최상위, 끝 마디는 더 이상 분기하지 않는 노드라는 점을 기억하세요.

 

 

Q8. 의사결정나무에서 과적합을 효과적으로 제어하기 위해 일반적으로 학습 후에 수행되는 절차는 무엇인가요?

 

A: 학습 후 가지치기(pruning)를 수행하고 검증 데이터로 최종 모델을 평가한다.

B: 연속 변수를 모두 범주형으로 변환하지 않고 그대로 사용한다.

C: 분할 기준을 모두 지니계수로 통일하여 분할을 단순화한다.

D: 학습 단계에서만 트리의 최대 깊이를 강하게 제한한다.

 

 

정답이에요!

A. 학습 후 가지치기와 검증을 통해 불필요한 분할을 제거하고 모델의 일반화 성능을 확인하니까요. 의사결정나무는 깊이 제한과 가지치기·검증 과정을 거쳐 최종 모델을 선택합니다.

 

 

Q9. 학습 데이터에 매우 복잡한 결정나무가 학습집합에는 높은 성능을 보이나 검증집합에서 성능이 크게 떨어질 때 강의에서 권장하는 적절한 조치는 무엇인가요?

 

A: 나무의 최대 깊이를 제한하거나 학습 후 가지치기를 수행하고 교차타당성으로 최적의 나무 크기를 선택한다.

B: 더 많은 독립변수를 추가하여 모델의 복잡도를 증가시킨다.

C: 끝 노드의 예측값을 학습 데이터의 평균 대신 중앙값으로 바꾼다.

D: 분할 기준을 엔트로피에서 지니 계수로 바꿔서 분할을 더 엄격하게 만든다.

 

 

정답이에요!

A. 과적합된 결정나무는 최대 깊이 제한이나 학습 후 가지치기를 통해 복잡도를 낮추고 교차타당성으로 최적 나무 크기를 선택하는 것이 적절해요. 결정나무에서는 일반적으로 가지치기와 검증을 통해 과적합을 제어합니다.

 

 

Q10. 다음 중 나무 모양의 구조로 데이터를 분류하거나 예측하는 모델은 무엇인가?

 

A: 인공신경망

B: 의사결정나무

C: 로지스틱 회귀분석

D: 회귀분석

 

 

정답이에요!

B. 의사결정나무는 나무 모양 구조를 통해 데이터를 분류하거나 예측하는 모델이라 정답이에요. 강의에서 의사결정나무를 분류 및 예측을 위한 나무 모양 모델로 설명한 점을 기억하세요.

 

 

Q4.[오답 퀴즈] 의사결정나무에서 특정 목표(예: ‘호랑이’)를 빠르게 식별하기 위해 루트 분할 변수로 선택하면 전체 트리의 일반화 능력을 가장 저해하고 과적합 위험을 높일 가능성이 큰 분할 변수는 무엇인가?

 

A: 고양이보다 큰가요? (상대적 크기 기반의 특성)

B: 동물인가요? (일반적이고 포괄적인 특성)

C: 발이 있나요? (범주를 넓게 나누는 중간 수준 특성)

D: 줄무늬가 있나요? (특정 클래스에 매우 특이적인 특성)

 

 

정답이에요!

D. 줄무늬처럼 특정 클래스에만 거의 해당되는 특성은 그 클래스를 빠르게 구분하게 해도 학습 데이터에 치우친 분할을 만들어 다른 사례에 일반화되지 못해 과적합을 유발할 수 있어요. 분할 변수는 가능한 한 다양한 사례를 구분할 수 있는 보다 일반적이고 설명력이 있는 특성을 선택하는 것이 중요합니다.

 

 

Q7.[오답 퀴즈] 훈련 데이터에서는 거의 완벽한 예측을 보이지만 검증 데이터 성능은 급격히 떨어지는 결정나무 모델의 과적합을 완화하면서도 중요한 분할 기준은 최대한 보존하려면 어떤 조치를 우선 적용해야 하는가?

 

A: 뿌리 마디에서 더 많은 분할을 수행해 다양한 가지를 생성한다.

B: 가지치기를 적용하여 생성된 가지를 잘라 모형을 단순화한다.

C: 모든 중간 마디를 제거해 부모–자식 구조를 단순화한다.

D: 최대 깊이를 낮춰 뿌리부터 끝마디까지의 중간 마디 수를 줄인다.

 

 

정답이에요!

B. 가지치기는 과적합을 유발하는 불필요한 분기를 제거해 검증 성능을 개선하는 방법이라 정답이에요. 나무의 최대 깊이 제한도 도움이 되지만 가지치기는 학습된 중요한 분할은 유지하면서 과도한 복잡성만 줄일 수 있다는 점이 핵심이에요.

 

 

이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.