Задание 1. Расчёт метрик классификации
Известны следующие значения матрицы ошибок:
- TP =
60;
- FP =
15;
- FN =
25;
- TN =
100.
Необходимо:
- Вычислить
Precision.
- Вычислить
Recall.
- Вычислить
F1-score.
- Реализовать
расчёты на Python.
- Объяснить
различие между Precision и Recall.
Начальный код:
tp = 60
fp = 15
fn = 25
tn = 100
Задание 2. Расчёт MAE и RMSE
Даны фактические и прогнозируемые значения:
import numpy as np
y_true = np.array([100, 150, 200, 250, 300])
y_pred = np.array([110, 145, 210, 230, 280])
Необходимо:
- Вычислить
абсолютные ошибки.
- Рассчитать
MAE.
- Рассчитать
RMSE.
- Реализовать
вычисления с помощью scikit-learn.
- Сравнить
значения MAE и RMSE.
- Объяснить,
почему RMSE сильнее штрафует крупные отклонения.
Задание 3. Валидация модели классификации
Используя make_classification, необходимо:
- Создать
400 наблюдений с 6 признаками.
- Разделить
данные на обучающую и тестовую выборки в соотношении 80/20.
- Создать
Pipeline из StandardScaler и LogisticRegression.
- Выполнить
пятикратную перекрёстную проверку на обучающих данных.
- Рассчитать
среднее значение F1-score.
- Обучить
модель на всей обучающей выборке.
- Рассчитать
Precision, Recall, F1-score и ROC-AUC на тестовой выборке.
- Объяснить,
почему нельзя использовать тестовую выборку для выбора гиперпараметров.