1. Жизненный цикл модели включает подготовку данных, обучение, проверку качества, сохранение модели и преобразований признаков, развертывание, мониторинг и последующее обновление. При промышленном применении необходимо обеспечить стабильную обработку новых данных, получение прогнозов и передачу результатов пользователю или другой системе.

2. Пакетное прогнозирование выполняется по расписанию для большого количества записей, например при ежедневной оценке вероятности оттока клиентов. Онлайн-прогнозирование выполняется при поступлении отдельного запроса, например при проверке риска финансовой операции. В онлайн-режиме особенно важны скорость ответа и доступность сервиса.

3. Для воспроизводимости необходимо сохранять версии кода, данных и библиотек, конфигурацию обучения, параметры модели, метрики качества, перечень входных признаков и схему их обработки. Версионирование позволяет определить условия создания модели, сравнивать выпуски, повторять эксперименты и при необходимости возвращаться к предыдущей версии.

4. Дрейф данных означает изменение распределения входных признаков по сравнению с обучающими данными. Дрейф концепции означает изменение зависимости между признаками и целевой переменной. Например, изменение возрастного состава клиентов относится к дрейфу данных, а появление новых схем мошенничества может вызвать дрейф концепции. Такие изменения требуют проверки, поскольку могут ухудшать качество прогнозирования.

5. После внедрения контролируют задержку ответа, долю ошибок, доступность сервиса, загрузку ресурсов и пропускную способность. Также отслеживают распределения признаков, доли предсказанных классов, уверенность прогнозов и качество модели при наличии правильных ответов. Повторное обучение рассматривают при ухудшении качества, существенном изменении данных, появлении новых размеченных примеров или изменении требований бизнеса. Новую модель проверяют до замены действующей.