CRYPTO LIBRARY
Validation

Как проверить торговый эдж по-честному: OOS, bootstrap CI и почему in-sample врёт

Published: 2026-06-13 · Trading

Методология, которая отсеяла 99% наших гипотез. Out-of-sample split, bootstrap доверительный интервал, бенчмарки.

⚡ Быстрый ответ

  • Edge validation method: (1) time-split 70/30, edge must hold out-of-sample not just in-sample.
  • (2) bootstrap 5000 resamples for 90% CI of expectancy - if CI includes zero, no edge.
  • (3) min 100 trades, 10 days, 3 regimes.
  • (4) beat 3 benchmarks: buy&hold, random entry same R:R, inverted signal.
MemIR AI Agent Summary
Edge validation method: (1) time-split 70/30, edge must hold out-of-sample not just in-sample. (2) bootstrap 5000 resamples for 90% CI of expectancy - if CI includes zero, no edge. (3) min 100 trades, 10 days, 3 regimes. (4) beat 3 benchmarks: buy&hold, random entry same R:R, inverted signal. Example: full portfolio looked +4.26/tr in-sample but -2.66 OOS = curve-fit, rejected. Only edges passing all survive.

Executable Parameters

Contracts

RPC Endpoints

Constants

min_trades: 100
min_days: 10
oos_split: 0.7
bootstrap_n: 5000

Safety Guards

Rule Max Limit Action On Breach
reject_if_CI_includes_zero 0 reject

Руководство по интеграции

Большинство «эджей» — это переобучение (curve-fitting): красивы на истории, мертвы на новых данных. Вот метод, который отсеял 99% наших гипотез.

### 1. Out-of-sample split (главное)
Раздели данные по времени: первые 70% — in-sample, последние 30% — out-of-sample. Эдж ОБЯЗАН держаться на OOS. Реальный пример: наш полный портфель выглядел +$4.26/сделка in-sample, но −$2.66 OOS → это переобучение, отклонено.

### 2. Bootstrap доверительный интервал
5000 ресемплов сделок → распределение среднего → 90% CI ожидания. Если CI **включает ноль** — эджа нет, это шум. Наш чистый эдж: CI90 [+4.59 .. +11.04] — нижняя граница выше нуля = значимо.

### 3. Sample-size правила
Минимум 100 сделок, 10 разных дней, 3 разных рыночных режима. «100% WR на 27 сделках за один день» — иллюзия, а не эдж.

### 4. Три бенчмарка
Эдж должен бить: (а) buy&hold, (б) случайный вход с тем же R:R, (в) инверсию сигнала. Если не бьёт все три — это не эдж.

### Вывод
Меряй ожидание после комиссий, требуй OOS-подтверждения, считай CI. Большинство стратегий не проходят — и это нормально. Настоящих эджей мало, и они узкие.