1. Гиперпараметры - это настройки алгоритма, которые определяются до начала обучения. Примерами являются глубина дерева, параметр C у SVM и коэффициент регуляризации. В отличие от них, параметры модели определяются непосредственно в процессе обучения на основе обучающих данных. Гиперпараметры регулируют процесс обучения и выбираются с помощью валидации.

2. Grid Search выполняет полный перебор заранее заданных комбинаций гиперпараметров. Random Search исследует случайно выбранные конфигурации из заданного пространства поиска. Bayesian Optimization использует результаты предыдущих испытаний для выбора следующих конфигураций. Все эти подходы направлены на поиск подходящих гиперпараметров, а качество конфигураций оценивается на валидационных данных или с помощью перекрёстной проверки.

3. Permutation Importance оценивает важность признака по ухудшению метрики качества после случайного перемешивания значений этого признака. Если качество существенно снижается, признак важен для прогнозов модели. При наличии коррелированных признаков оценка может быть нестабильной, поскольку другие признаки могут сохранять часть информации, содержащейся в перемешанном признаке.

4. SHAP используется для объяснения локальных вкладов признаков в прогноз модели относительно некоторого базового значения. Метод помогает интерпретировать, какие признаки и в какой степени связаны с конкретным предсказанием. Однако объяснение прогноза не доказывает причинность: обнаруженная моделью зависимость не обязательно означает причинно-следственную связь.

5. Независимая тестовая выборка необходима для достоверной итоговой оценки качества модели. Устойчивость (robustness) характеризует поведение модели при изменениях входных данных, включая шум и возможный сдвиг распределения. Справедливость (fairness) связана с проверкой того, не приводит ли применение модели к необоснованно различающимся результатам для отдельных групп. Надёжная оценка должна учитывать качество данных, независимость валидации, объяснимость модели и последствия возможных ошибок.