Результаты соревнования
Согласно моему контракту я не имею права называть компанию, которая проводила соревнование, так что условно назову ее «АльфаЭнергоСбыт».
Соревнование-тестирование в «АльфаЭнергоСбыт» проводилось в течение августа-сентября 2019 года для трех потребителей, назову их Потребитель 1, Потребитель 2 и Потребитель 3. Правила тестирования просты: на основании исторических данных за несколько лет мы, аналитики, готовим модель прогнозирования, а далее в течение оговоренного периода делаем ежедневный прогноз. «АльфаЭнергоСбыт» в свою очередь делает свой прогноз той же величины при тех же условиях. По итогам прогнозирования за период производят сравнение ошибки обоих прогнозов для каждого потребителя.
По итогам двух месяцев сложилась ничья, deuce, как говорят в теннисе. Ошибка прогнозирования составила следующие величины.
| Потребитель | Прогноз «АльфаЭнергоСбыт» |
Наш прогноз |
Консенсус прогноз |
|---|---|---|---|
| Потребитель 1 | 1,9% | 1,9% | 1,7% |
| Потребитель 2 | 4,7% | 4,2% | 4,2% |
| Потребитель 3 | 2,3% | 2,4% | 2,2% |
Консенсус — среднее значение внутреннего и нашего прогнозов. Оценку ошибки консенсуса я выполнила при подведении итогов тестирования-соревнования.
В Потребителе 1, крупнейшем по объемам потребления, у нас случилась ничья: в августе наш прогноз был немного точнее, а сентябре — их прогноз немного точнее, однако по итогам двух месяцев значения средней ошибки совпали и составили 1,9%. Однако мне давно известно, и я писала об этом еще в своей диссертации, что среднее двух независимых прогнозов одинакового качества (консенсус) будет точнее каждого исходного прогноза. Для данного потребителя консенсус дает выигрыш в точности около 0,2%, что много по рыночным меркам. Ошибка консенсуса составила 1,7%.
В Потребителе 2, наименьшем по объему потребления, выиграл наш прогноз — 4,2% против 4,7% у «АльфаЭнергоСбыт». Как и в Потребителе 1, по месяцам шла борьба: в августе мы были точнее больше чем на 1%, в сентябре — внутренний прогноз был точнее нашего на 0,1%. По итогам двух месяцев наш прогноз оказался на 0,5% точнее внутреннего прогноза. И это единственный случай из трех, когда консенсус не дает выигрыша в точности.
В Потребителе 3, среднем по объемам потребления, по итогам августа мы проиграли около 0,6%, в сентябре частично отыгрались. По итогам двух месяцев внутренний прогноз точнее нашего на 0,1%: 2,3% у «АльфаЭнергоСбыт» и 2,4% у нас. Как и в случае Потребителя 1, консенсус для данного потребителя дает выигрыш в точности порядка 0,1%, его ошибка составила 2,2%.
Рекомендации по повышению точности прогнозирования
По итогам проведенного анализа я сформулировала рекомендации «АльфаЭнергоСбыт» по повышению точности прогнозирования энергопотребления для трех потребителей.
- Для Потребителя 1 применять две системы параллельно и вычислять консенсус, величина снижения ошибки за период тестирования составила 0,2%
- Для Потребителя 2 применять нашу систему прогнозирования, величина снижения ошибки за период тестирования составила 0,5%.
- Для Потребителя 3 применять две системы параллельно и вычислять консенсус, величина снижения ошибки за период тестирования составила 0,1%.
Личные впечатления по итогам соревнования
Я неоднократно участвовала в подобных соревнованиях в период 2012–2014 годов, когда вместе с другом Сергеем занимались сервисом прогнозирования. Тогда я проиграла все соревнования и во многом разочаровалась в этой схеме оценки сторонних прогнозов: у меня сложилось впечатление, что невозможно прийти, за две недели подготовить модели, а затем победить внутренние алгоритмы компании, разработкой и отладкой которых специалисты занимаются годами.
Когда началось соревнование в «АльфаЭнергоСбыт», мне было страшно. Я понимала, что мы идем против одной из самых продвинутых и квалифицированных в части аналитики компании на оптовом рынке электроэнергии России. То есть мы вышли с нашей новоиспеченной системой прогнозирования, на разработку которой у меня ушло 3,5 месяца, на ринг против маститого тяжеловеса. Тут главное: устоять на ногах. И мы устояли, получив свою порцию побед и поражений и, как следствие, опыта.
Самый важный вывод для меня по итогам соревнования состоит в том, что для повышения точности прогнозирования одной модели мало, нужны две, а, может, три модели сопоставимого качества. Прогноз, вычисленный как среднее значение прогнозов каждой модели, будет наиболее точным. Как написал Франсуа Шолле в своей книге «Глубокое обучение на Python»: соревнования на Kaggle можно выигрывать только с использованием ансамблей моделей.