learn/选股策略/03-选股-数据拉取实验记录.md

📄 文档learn/选股策略/03-选股-数据拉取实验记录.md

🌱 创建于2026-07-03 00:39

✏️ 修改于2026-07-03 00:39

👁️ 浏览量—

🔗 短链接/~learn/s/ac302dee

🔐 可见性

选股数据拉取实验记录

> 最后更新：2026-07-02 > > 记录历次全量拉取实验的参数、限流表现、稳定性和后续运维建议。

---

一、实验汇总

#	时间	数据源	延迟	股票池	新获取	缓存命中	失败	耗时	最终缓存	触发限流
---	------	--------	------	--------	--------	----------	------	------	----------	----------
1	07-02 凌晨	东方财富(east)	1.0s	5610	3242	19	2349	95min	3266	✅ 任务完成后 IP 被封锁
2	07-02 晚间	百度(baidu)	0.5s	5613	2147	3258	208	21min	5405	❌ 无封禁

---

二、实验 #1 详细 — 东方财富 by `adata.stock.market`

参数

命令: python -m adata.aohan.quant.selection.stock.run_selection --fetch --save
拉取方式: 串行，1.0s/只
股票池: 5610 只（过滤 ST/新股）
Python 进程内调用 adata.stock.market.get_market() → 东方财富 push2his.eastmoney.com

表现

阶段	进度	成功率	观察
------	------	--------	------
前 250 只	~50%	大量 FAIL，因为之前 10 并发轰炸后 IP 被临时封
250-750	~62%	逐渐恢复
750-1750	~60%	稳定
1750-3250	~63%	新股少，缓存命中高
3250-5600	~55%	尾端退市股/小币种 ETF 失败

失败原因分析

2349 只 FAIL = 42% 失败率
大部分失败的股票是：退市股、北交所微盘（流动性极差）、B 股、港股通、ETF
这些股票在 adata.stock.market.get_market() 返回空 DataFrame，不是超时
少量为 true HTTP error

触发限流

实验 #1 跑完后，东方财富对我们 IP 实现了临时封禁：

任务刚结束，马上重新请求 → 全部空返回
延后 1s, 0.5s, 0.3s → 全部失败
延后 60s → 全部失败
延后 120s → 全部失败
延后 10min → 全部失败
延后 15min → 全部失败

封禁特征：直接 curl HTTPS 连接成功、TLS 握手成功，但 HTTP 返回空 body，无 status code。这说明是应用层（不是网络层/FW）的 IP 黑名单，东方财富服务端检测到单 IP 在短时间内发出了 ~5600 次 K 线请求后手动/自动封禁。

教训

东方财富对高频率历史 K 线请求有严格的 IP 级封禁
单次拉取 5000+ 只要延迟 ≥ 1.0s 就能跑完，但跑完后会被封
被封后至少需要数十分钟甚至几小时后才能恢复（未测试完整恢复时间）
东财不能用于日常增量拉取

---

三、实验 #2 详细 — 百度行情源

参数

命令: 脚本手动执行
拉取方式: 串行，0.5s/只
股票池: 5613 只
数据源: StockMarketBaiDu（百度股票行情接口）

表现

指标	值
------	-----
新获取	2147 只（之前没有的）
缓存命中	3258 只（之前已有）
失败	208 只（3.7%）
总耗时	21 分钟
拉取速率	4.4 只/s
最终缓存	5405 只 / 262MB
触发封禁	❌ 无

百度源 vs 东方财富源对比

维度	东方财富(east)	百度(baidu)
------	:--:	:--:
历史数据完整性	✅ 全（1990 年起）	✅ 全（1990 年起）
列结构	close/open/high/low/volume/amount + trade_date	同左 + change/change_pct/turnover_ratio
创业板/科创板	✅	✅
北交所	✅	⚠️ 部分缺失
封禁风险	⚠️ 高（5000 次请求后大概率被封）	✅ 低（21 分钟未激活封禁）
速度	正常（取决于延迟）	正常
稳定性	⚠️ 跑完后 IP 被封数小时	✅ 全程稳定

---

四、生产环境建议

数据源策略

# StockDataFetcher 已实现 source='auto' 模式:
# 优先用 east，失败后自动 fallback 到 baidu
fetcher = StockDataFetcher(source='auto', request_delay=0.5)

运维频率

场景	频率	数据源	预计耗时
------	------	--------	----------
首次初始化	一次性	baidu 优先	21 min
每日增量更新	每日 18:00	auto (east → baidu fallback)	<5 min（只拉 1-2 天）
大盘暴跌后补拉	手动	baidu 优先	21 min

代码级保护

当前 StockDataFetcher 已内置的保护：

速率限制：_rate_limit() 确保每只股票至少间隔 request_delay 秒
断点续传：fetch_all_to_cache(skip_existing=True) 跳过已有缓存
连续失败暂停：连续 20 只 FAIL 则暂停 30s
双源 fallback：east 第一次返回空后切到 baidu
CSV 缓存：每只成功拉取的股票立即写入 CSV（路径: data_cache/stocks/{CODE}.csv）

监控建议

关注 stock_fetch.log 中的 FAIL 数量
如果 FAIL 率 > 5%，可能触发了封禁，自动切换数据源
建议每周检查一次缓存大小和最新交易日期

---

五、TODO

测试东方财富被封锁后的恢复时间（30min / 1h / 3h / 6h）
探索添加腾讯(sina)行情源作为第三个 fallback
增量更新时自动检测哪些股票停牌/退市并清理缓存
加入请求量监控：记录每日 API 调用次数到 DB

▶ 📜 变更历史（1 次提交）

f3d54702026-07-03 00:39feat: StockDataFetcher 双源fallback + 数据拉取实验记录

🍃quant 知识库

by 伊甸园和枫