1. Линейная регрессия - метод машинного обучения, предназначенный для прогнозирования непрерывной числовой величины на основе линейной комбинации признаков. В общем виде модель записывается как ŷ = β₀ + β₁x₁ + ... + βₙxₙ. Коэффициенты βⱼ характеризуют изменение прогноза при увеличении соответствующего признака на единицу при неизменности остальных признаков. Свободный член β₀ определяет прогноз при нулевых значениях всех признаков. Его практическая интерпретация зависит от предметной области.

2. Метод наименьших квадратов заключается в подборе коэффициентов модели, минимизирующих сумму квадратов отклонений фактических значений от прогнозируемых. Эти отклонения называются остатками. Анализ остатков позволяет оценить характер ошибок модели, выявить систематические закономерности и проверить, насколько выбранная линейная зависимость соответствует наблюдаемым данным. Наличие выраженной структуры в остатках может указывать на недостаточную адекватность модели.

3. Обычная линейная регрессия с методом наименьших квадратов минимизирует сумму квадратов ошибок. Ridge дополнительно использует L2-регуляризацию, которая штрафует сумму квадратов коэффициентов и способствует уменьшению их абсолютных значений. Lasso применяет L1-регуляризацию, основанную на сумме абсолютных значений коэффициентов. В отличие от Ridge, Lasso может обнулять отдельные коэффициенты, обеспечивая автоматический отбор признаков.

4. Смещение характеризует систематическое отклонение прогнозов модели от истинной зависимости, а дисперсия отражает чувствительность модели к изменениям обучающей выборки. Слишком простая модель часто обладает высоким смещением и может недообучаться. Слишком сложная модель может иметь высокую дисперсию и переобучаться, запоминая случайные особенности обучающих данных. При построении модели необходимо искать баланс между смещением и дисперсией для достижения хорошей обобщающей способности.

5. Масштабирование важно для регуляризованных моделей, поскольку величина коэффициентов зависит от масштаба соответствующих признаков. Без стандартизации одинаковый штраф может по-разному влиять на признаки, измеряемые в разных единицах. Поэтому масштабирование обычно включают в Pipeline перед обучением Ridge или Lasso. Коэффициент регуляризации выбирают с использованием валидационной выборки или кросс-валидации. Окончательное качество выбранной модели проверяют на независимых тестовых данных.