AI 策略实验场 · 执行方案（从假设到晋升）

> 📅 2026-10-24 建立 > > 本文是实验场的操作手册：目录怎么放、评测怎么跑、什么样的策略才允许推给你、出问题怎么止损。 > 上位文档：00-AI策略实验场总纲

---

0. 成功标准

一轮实验算"有效"，必须同时满足：

• 产出 3–5 个可复现候选（代码 + 参数 + 结果文件齐全，别人能一键重跑）
• 每个候选都有 IS 结果；通过 IS 的有 OOS 结果；通过 OOS 的有 冻结集结论
• 每轮都有 verdict.md，失败的候选也写清淘汰原因
• 对生产库写入次数 = 0

月度标准：至少 1 个候选进入人工复核。连续两个月为 0，说明方向或评测台有问题，暂停并复盘。

---

1. 总体架构

cron / 手动
    │
    ▼
Trae CLI Agent（独立 worktree，只读评测台）
    │  ① 读上轮结论 + 去重指纹
    │  ② 提 3–5 个假设
    │  ③ 写 candidates/<fp>/strategy.py
    │  ④ 调 harness 跑 IS → OOS → 冻结集
    ▼
固定评测台 experiments/harness/
    ├─ data.py       只读数据 + 复权 + 防未来函数
    ├─ timing.py     择时回测（复用 Strategy 体系）
    ├─ cross.py      截面回测（复用 selection/backtest）
    ├─ costs.py      手续费 / 滑点 / 冲击成本
    ├─ metrics.py    夏普 / 索提诺 / 卡玛 / 回撤 / 换手 / 分年
    ├─ splits.py     IS / OOS / 冻结集
    └─ score.py      试验计数 + 折价夏普 + 晋升闸门
    │
    ▼
experiments/runs/<日期-序号>/  →  result.json + verdict.md
    │
    ▼
lab.db 排行榜 → 超阈值才推送 → 你 review → 合并进生产策略池

---

2. 目录与文件契约

experiments/
├── harness/                  # 固定评测台（人类所有，Agent 只读）
│   ├── config.yaml           # 阈值、成本、样本区间（唯一可调参入口）
│   ├── data.py
│   ├── timing.py
│   ├── cross.py
│   ├── costs.py
│   ├── metrics.py
│   ├── splits.py
│   └── score.py
├── candidates/
│   └── <fingerprint>/
│       ├── strategy.py       # 必须实现 build_strategy()
│       ├── params.json       # 参数与搜索范围
│       └── note.md           # 一句话逻辑 + 经济学解释 + 预期失效条件
├── runs/
│   └── 2026-10-25-001/
│       ├── hypothesis.md
│       ├── result.json
│       ├── equity.csv
│       └── verdict.md
├── lab.db                    # 试验次数 / 结果 / 排行榜
└── README.md

候选唯一入口：strategy.py 必须暴露统一接口，评测台只认这个接口，避免 Agent 自带回测逻辑。

def build_strategy(params: dict):
    """返回 (strategy 实例, 元信息 dict)。不得自行加载数据、不得写库。"""

result.json 固定字段（缺字段视为无效）：

{
  "fingerprint": "sha1...",
  "kind": "timing",              // timing | cross
  "hypothesis": "...",
  "params": {},
  "is":  {"sharpe": 0.0, "annual": 0.0, "mdd": 0.0, "turnover": 0.0},
  "oos": {"sharpe": 0.0, "annual": 0.0, "mdd": 0.0, "turnover": 0.0},
  "frozen": "PASS",              // PASS | FAIL | BAND_A/B/C（只给结论，不给明细）
  "baseline_oos": {"sharpe": 0.0, "annual": 0.0, "mdd": 0.0},
  "robustness": {"neighbor": "PASS", "cross_symbol": "2/3", "yearly_win": 0.7},
  "n_trials": 1234,
  "verdict": "candidate"         // candidate | rejected | abandoned
}

---

3. 评测台规范

3.1 数据层

• 择时：复用 DataCacheManager.load(code, start, end, k_type=1, future_days=1)，与线上 /lab 完全同源。
• 截面：复用 selection/backtest/cross_section_backtester.py 与 factor_ic_analysis.py 的数据口径。
• 只读：不写 quant.db 任何表；需要缓存写 experiments/cache/。
• 防未来函数：信号右移校验、全样本归一化检测（rolling 窗口内不得用全期均值/标准差）、收益泄漏检测。三项任一失败直接 rejected。

3.2 回测层

择时复用现有 Strategy 体系，不重写引擎：

s = build_strategy(params)
df = DataCacheManager.load(code, start, end, k_type=1, future_days=1)
s.init_and_generate_signal(df)
s.calculate_returns_quick()          # 产出 strategy_return
s.calculate_max_drawdown()
s.calculate_number_of_trades()

截面复用 selection/backtest/ 现成的分组回测与 IC 分析，不另起一套。

3.3 成本模型

成本口径只能比线上更严，不能更松。 成本参数写在 harness/config.yaml，Agent 不可改。

3.4 指标

优先复用 timing_overlay/backtest/metrics.py 的纯函数（sharpe / sortino / calmar / compute_drawdown），保证与现有研究口径一致。

必算：夏普、索提诺、卡玛、年化、最大回撤、换手率、交易次数、分年收益、最差连续 12 个月。

3.5 样本切分

冻结集由一条稳定的代码路径读取，路径与参数写死在 harness 内；候选代码不得直接读原始数据。

3.6 试验次数与折价（重点）

你说过"次数不是问题，之前一个策略能跑几万次遗传算法"。次数确实不设上限，但必须记录并按次数折价：

• 每个候选跑完即写入 lab.db.trials，累计 n_trials 是全局的，不是单轮的。
• 排行榜分数用折价夏普（Deflated Sharpe Ratio，Bailey & López de Prado）：同样的夏普，试过 1 万次的和试过 10 次的，可信度完全不同。
• 参数搜索（GA / 网格）产出的"最优参数"必须同时提交参数邻域分布（±20% 内的夏普中位数与最差值），只报最优点视为无效。

这样既保留你"海量搜索"的优势，又不会让排行榜被噪声刷屏。

3.7 稳健性检查（全部通过才算候选）

• 参数邻域：±20% 扰动后，夏普不低于最优点 70%
• 跨品种：择时至少 3 个品种，≥2 个有正超额
• 分年稳定：正收益年份 ≥ 60%
• 滚动窗口：3 年滚动夏普不全为负
• 与现有策略相关性：< 0.8（否则只是换皮）

---

4. 一轮执行步骤（Agent 侧）

Agent 提示词硬约束（写进每轮 prompt）：

• 只能修改 experiments/candidates/ 与 experiments/runs/ 下文件
• experiments/harness/ 只读；不得修改任何阈值
• 不得 import 生产信号模块、不得写 quant.db
• 单候选 10 分钟硬超时，修 2 次仍失败就标记 abandoned
• 必须输出合法 JSON，不允许"我已完成"式的口头结论

---

5. 晋升闸门

5.1 通用硬条件（两类策略都要过）

5.2 择时策略

5.3 截面策略

阈值全部写在 harness/config.yaml，调整阈值 = 修改晋升标准，必须由你决定。

5.4 推送规则

• 只推通过全部闸门的候选，每轮最多 1 条
• 推送内容：一句话逻辑 + OOS 夏普/年化/回撤 + 与基线差值 + 冻结集结论 + run 目录路径
• 每天最多 1 条摘要（无论有没有候选），避免刷屏
• 未通过的候选不推，只在排行榜里可查

---

6. 调度、预算与止损

禁止静默失败：任何异常必须 logging.error 并写入 runs/<id>/verdict.md，不允许 except: pass。

---

7. Trae CLI 前置条件

实验场依赖 Trae CLI 跑 Agent，当前状态：

关于"provider"：不是 priority，指的是 trae_config.yaml 里的 model_providers（模型提供方）。Trae CLI 本身不带模型，必须填一个 provider 的 API key 才能跑。

关键实现细节（勿随意改）：trae-agent 内置的 provider 类型只有 openai / anthropic / azure / ollama / openrouter / doubao / google，没有 deepseek。DeepSeek 走 OpenAI 兼容协议，因此配置里用 provider: doubao（对应 OpenAICompatibleClient，走 chat/completions）+ base_url: https://api.deepseek.com/v1。不能用 provider: openai，因为那条路径调的是 OpenAI 的 /responses 接口，DeepSeek 不支持。

凭证管理：API key 只写在 workspace/trae-agent/.env 的 DOUBAO_API_KEY（变量名由 provider 字段大写推导），trae_config.yaml 里只留占位符。两个文件都已被 .gitignore 忽略，禁止提交。

冒烟命令（注意：task 是位置参数，配置文件用 --config-file）：

cd workspace/trae-agent
env -u PYTHONHOME -u PYTHONPATH .venv/bin/trae-cli run \
  --config-file trae_config.yaml \
  --working-dir /tmp/trae_smoke \
  --max-steps 8 --console-type simple \
  "在当前目录创建 hello.txt，内容写 ok，然后用 task_done 结束。"

能正常返回 Success: Yes，才进入 V0。

---

8. 路线图

---

9. 上线检查清单

• experiments/harness/ 权限为只读（Agent 不可写）
• 每轮独立 git worktree，主分支零写入
• lab.db 独立于 quant.db
• 生产库连接为只读
• 未来函数三项检测已实现
• 试验计数 + 折价夏普已实现
• 冻结集只返回 PASS/FAIL
• 推送只给结论，不给原始明细
• 手动跑通 1 轮并人工复核
• Trae CLI provider 配置完成并通过冒烟测试（2026-10-24，deepseek-flash）