1. Дерево решений
— это алгоритм машинного обучения, который последовательно разделяет данные на
группы на основе условий по значениям признаков. В задачах классификации дерево
определяет принадлежность объекта к классу, а в задачах регрессии прогнозирует
числовое значение.
2. Дерево решений
состоит из корневого узла, внутренних узлов, ветвей и листьев. Корневой узел
содержит все обучающие объекты. Внутренние узлы проверяют условия по признакам,
ветви обозначают результаты проверок, а листья содержат итоговые прогнозы модели.
3. Индекс Джини —
показатель неоднородности классов в узле дерева. Он вычисляется по формуле G =
1 − Σpᵢ², где pᵢ — доля объектов i-го класса. Чем
меньше значение индекса, тем однороднее группа. При построении дерева выбирается
разбиение, максимально уменьшающее взвешенную неоднородность дочерних узлов.
4. Деревья
решений склонны к переобучению, поскольку без ограничений могут создавать
большое количество разбиений и запоминать особенности обучающих объектов. Для
контроля сложности используются параметры max_depth, min_samples_split и
min_samples_leaf, ограничивающие глубину дерева и минимальное количество
объектов в узлах.
5. Основными
преимуществами деревьев решений являются понятная структура, возможность
моделирования нелинейных зависимостей и отсутствие необходимости стандартизации
числовых признаков. К недостаткам относятся склонность к переобучению,
чувствительность к изменениям обучающих данных и возможная нестабильность
прогнозов. Линейные модели обычно устойчивее при простых линейных зависимостях,
но менее гибки при сложных нелинейных закономерностях.