Оригинальная тематическая иллюстрация: Оригинальная тематическая схема ChainView BTC866 · ChainView BTC866 Editorial · CC BY 4.0
Что было известно тогда
Решение в прошлом должно использовать только опубликованное к тому моменту. Поздняя ревизия показателя или будущий квартальный отчёт создают look-ahead bias. Храните время события и время доступности данных отдельно. Сигнал по закрытию свечи и мгновенная полная покупка по тому же закрытию тоже требуют проверки последовательности.
Не только выжившие
Нынешний список монет и бирж исключает закрытия и делистинги. Восстановите доступную вселенную по датам, изменения названий и договоров. Отсутствующую цену неудачного актива нельзя удобно заменить нулевой доходностью. Раскройте невозможность продажи и предполагаемое возмещение, показывая, насколько результат зависит от этих неизвестных.
Реальная выполнимость
Учтите комиссию, спред, размер приказа, задержку, глубину и неисполненные заявки. Записанная цена не всегда была доступна конкретному резиденту. Условное увеличение объёма приказа должно менять влияние на рынок, а не сохранять идеальную цену. Ограничения вывода и остановки платформы тоже способны разрушить маршрут, даже если исторический график выглядит непрерывным.
Подбор и оценка
Много испытаний с публикацией только лучшего параметра скрывает случайную удачу. Сохраните число попыток и критерий выбора, затем оценивайте на неиспользованном периоде. Если после просмотра результата настройка изменена, этот период больше не полностью независим. Проверяйте другие режимы рынка и не скрывайте отрицательные случаи за красивым средним.
Воспроизводимый отчёт
Нужны версия данных, код, пропуски, валюта, комиссии и доступность каждого признака. Покажите просадку, оборот и чувствительность к задержке, а не одну доходность. Использование поздней разметки адресов в старом решении тоже является утечкой. Плавная кривая не доказывает будущую достижимость прибыли; опишите условия отказа модели и отдельно установите ограничения реального риска.
