Пример 1. Вычисление вероятности положительного класса

Логистическая регрессия оценивает вероятность принадлежности объекта к классу 1 по формуле:

p(y = 1 | x) = σ(wᵀx + b),

где сигмоидная функция:

σ(z) = 1 / (1 + e^(−z)).

Пусть логит z = 1.386.

Тогда:

p = 1 / (1 + e^(−1.386)) ≈ 0.8.

Таким образом, вероятность принадлежности объекта к положительному классу составляет приблизительно 80%.

Пример 2. Изменение порога классификации

Предположим, что логистическая регрессия определила вероятность положительного класса:

p = 0.8.

Рассмотрим два значения порога.

При пороге t = 0.7:

0.8 ≥ 0.7.

Объект относится к классу 1.

При пороге t = 0.9:

0.8 < 0.9.

Объект относится к классу 0.

Таким образом, при одинаковой прогнозируемой вероятности итоговая классификация зависит от выбранного порога.

Порог следует выбирать с учётом стоимости ложноположительных и ложноотрицательных решений.

Пример 3. Вычисление бинарной кросс-энтропии

При обучении логистической регрессии используется бинарная кросс-энтропия:

BCE = −[y log(p) + (1 − y)log(1 − p)].

Рассмотрим объект с фактической меткой y = 1.

Пусть модель определила вероятность положительного класса p = 0.8.

Подставим значения:

BCE = −[1 × log(0.8) + 0 × log(0.2)].

BCE = −log(0.8) ≈ 0.2231.

Полученное значение характеризует потери модели для данного наблюдения.

При обучении параметры модели подбираются таким образом, чтобы уменьшить функцию потерь.