1. Дерево решений — это алгоритм машинного обучения, который последовательно разделяет данные на группы на основе условий по значениям признаков. В задачах классификации дерево определяет принадлежность объекта к классу, а в задачах регрессии прогнозирует числовое значение.

 

2. Дерево решений состоит из корневого узла, внутренних узлов, ветвей и листьев. Корневой узел содержит все обучающие объекты. Внутренние узлы проверяют условия по признакам, ветви обозначают результаты проверок, а листья содержат итоговые прогнозы модели.

 

3. Индекс Джини — показатель неоднородности классов в узле дерева. Он вычисляется по формуле G = 1 − Σpᵢ², где pᵢ — доля объектов i-го класса. Чем меньше значение индекса, тем однороднее группа. При построении дерева выбирается разбиение, максимально уменьшающее взвешенную неоднородность дочерних узлов.

 

4. Деревья решений склонны к переобучению, поскольку без ограничений могут создавать большое количество разбиений и запоминать особенности обучающих объектов. Для контроля сложности используются параметры max_depth, min_samples_split и min_samples_leaf, ограничивающие глубину дерева и минимальное количество объектов в узлах.

 

5. Основными преимуществами деревьев решений являются понятная структура, возможность моделирования нелинейных зависимостей и отсутствие необходимости стандартизации числовых признаков. К недостаткам относятся склонность к переобучению, чувствительность к изменениям обучающих данных и возможная нестабильность прогнозов. Линейные модели обычно устойчивее при простых линейных зависимостях, но менее гибки при сложных нелинейных закономерностях.