Точная средняя метрика на тесте еще не гарантирует практически полезный прогноз, если модель игнорирует реальный дефицит, акции, горизонт решения и разную цену противоположных ошибок.
Сравните с базой
Начните с простого сезонного прогноза и докажите, что сложная модель улучшает решение на будущих периодах. Утечку исключайте.
Восстановите спрос
Продажи при отсутствии товара отражают ограничение наличия, а не реальное желание покупателей. Акции и выбросы отмечайте.
Оценивайте решение
Используйте метрику, связанную с потерями от дефицита и излишка, показывайте диапазон неопределенности. Одна точка вводит в заблуждение.
Запускайте модель рядом с текущим процессом, фиксируйте решения пользователей и регулярно проверяйте дрейф после изменения ассортимента, цены или поведения клиентов, поскольку исторически успешный алгоритм может незаметно потерять практическую ценность.
Исходные наборы проверяйте через правила качества данных. Результат показывайте с контекстом.
