1. Обучающая выборка используется для определения параметров модели. Валидационная выборка или перекрёстная проверка применяется для выбора гиперпараметров и сравнения вариантов модели. Тестовая выборка предназначена для окончательной независимой оценки качества. Перекрёстная проверка позволяет получить оценки качества на нескольких разбиениях обучающих данных и уменьшить зависимость результата от одного конкретного разбиения.

2. MAE представляет собой среднее абсолютное отклонение прогнозов от фактических значений. RMSE вычисляется как квадратный корень из средней квадратичной ошибки. Поскольку ошибки в RMSE возводятся в квадрат, эта метрика сильнее штрафует крупные отклонения. Выбор между MAE и RMSE зависит от задачи и значимости больших ошибок.

3. TP (True Positive) - количество правильно предсказанных положительных объектов. FP (False Positive) - количество отрицательных объектов, ошибочно предсказанных как положительные. FN (False Negative) - количество положительных объектов, ошибочно предсказанных как отрицательные. TN (True Negative) - количество правильно предсказанных отрицательных объектов. Эти значения образуют матрицу ошибок бинарной классификации.

4. Precision вычисляется по формуле TP / (TP + FP) и показывает долю правильных положительных прогнозов. Recall вычисляется по формуле TP / (TP + FN) и показывает долю обнаруженных положительных объектов. F1-score вычисляется как 2PR / (P + R), где P — Precision, R — Recall. F1-score объединяет обе метрики и позволяет оценивать их совместно.

5. ROC-AUC оценивает способность модели ранжировать объекты по принадлежности к положительному классу. При редких положительных событиях одной ROC-AUC недостаточно, поэтому дополнительно рассматривают Precision–Recall и базовую частоту события. Достоверность оценки также зависит от независимости проверочных данных, отсутствия утечки информации, соответствия разбиения реальным условиям прогнозирования и учёта возможного сдвига распределения.