Задание 1. Расчёт метрик классификации

Известны следующие значения матрицы ошибок:

Необходимо:

  1. Вычислить Precision.
  2. Вычислить Recall.
  3. Вычислить F1-score.
  4. Реализовать расчёты на Python.
  5. Объяснить различие между Precision и Recall.

Начальный код:

tp = 60

fp = 15

fn = 25

tn = 100

Задание 2. Расчёт MAE и RMSE

Даны фактические и прогнозируемые значения:

import numpy as np

 

y_true = np.array([100, 150, 200, 250, 300])

y_pred = np.array([110, 145, 210, 230, 280])

Необходимо:

  1. Вычислить абсолютные ошибки.
  2. Рассчитать MAE.
  3. Рассчитать RMSE.
  4. Реализовать вычисления с помощью scikit-learn.
  5. Сравнить значения MAE и RMSE.
  6. Объяснить, почему RMSE сильнее штрафует крупные отклонения.

Задание 3. Валидация модели классификации

Используя make_classification, необходимо:

  1. Создать 400 наблюдений с 6 признаками.
  2. Разделить данные на обучающую и тестовую выборки в соотношении 80/20.
  3. Создать Pipeline из StandardScaler и LogisticRegression.
  4. Выполнить пятикратную перекрёстную проверку на обучающих данных.
  5. Рассчитать среднее значение F1-score.
  6. Обучить модель на всей обучающей выборке.
  7. Рассчитать Precision, Recall, F1-score и ROC-AUC на тестовой выборке.
  8. Объяснить, почему нельзя использовать тестовую выборку для выбора гиперпараметров.