1. Подготовка данных - этап машинного обучения, включающий проверку качества исходных наблюдений, обработку пропусков, анализ выбросов, преобразование категориальных признаков и масштабирование числовых характеристик. Исходные данные могут содержать ошибки, несогласованные форматы и значения, не соответствующие ожидаемым диапазонам. Если такие проблемы не выявлены, модель может усваивать случайные или ошибочные закономерности, что отрицательно влияет на качество прогнозирования.

2. Пропущенные значения можно удалять вместе с соответствующими наблюдениями, заменять средним арифметическим, медианой или наиболее частым значением, а также восстанавливать с помощью специальных моделей. Выбор метода зависит от природы данных и механизма возникновения пропусков. Медиана часто предпочтительнее среднего арифметического при наличии выбросов, поскольку меньше зависит от экстремальных значений. При этом пропуски могут содержать самостоятельную информацию, поэтому их причины следует анализировать.

3. Кодирование категориальных признаков необходимо для представления нечисловых характеристик в форме, пригодной для математической обработки алгоритмами машинного обучения. One-Hot Encoding создаёт отдельный бинарный признак для каждой категории. Для объекта значение соответствующего признака равно единице, а остальных — нулю. Такой подход не вводит искусственный числовой порядок между номинальными категориями.

4. Стандартизация - преобразование числового признака, при котором из исходного значения вычитается среднее арифметическое, а полученная разность делится на стандартное отклонение. Формула имеет вид z = (x − μ) / σ. После стандартизации обучающий признак обычно имеет среднее значение, близкое к нулю, и стандартное отклонение, равное единице, если оно было ненулевым. Параметры μ и σ необходимо вычислять только по обучающей выборке, чтобы исключить использование информации из тестовых данных при подготовке модели.

5. Утечка данных возникает, когда в процессе обучения используется информация, которая не должна быть доступна модели в момент прогнозирования или независимой оценки. Например, утечка возникает при вычислении параметров стандартизации по всему набору данных до разделения на обучающую и тестовую выборки. Pipeline объединяет преобразования и модель в единую последовательность. При корректном использовании он вычисляет параметры предварительной обработки только на обучающих данных и применяет уже обученные преобразования к новым наблюдениям. Это помогает обеспечить воспроизводимость эксперимента и корректность оценки качества.