期货Level2与股票逐笔行情数据有什么昨晚跑因子策略又内存溢出了查了半天发现是历史Tick数据太大了一个合约一年下来几十个G。今天索性把数据源翻了个底朝天看看那个下载页面上到底有哪些东西免得下次再踩坑。数据分哪几类怎么选主要就两大类期货的和股票的但颗粒度差别很大。别一上来就下最细的硬盘真扛不住。期货数据主要是Level-2五档行情。和普通行情不一样它把盘口的前五档买卖价和挂单量都给你了看得更细。比如你看到买一有巨量托单但价格还在往下走可能就是下面几档的支撑其实很虚。股票数据这个是“逐笔成交”数据比Level2还猛。市场上一笔成交它就记一笔谁和谁成交的、多少手、什么时间精确到毫秒全有。做高频或者盘口分析的特别喜欢这个但数据量也是指数级增长。数据类型核心特点数据量预警我一般用来干嘛期货Level2五档买卖盘口快照数据比较大但比逐笔小分析盘口压力、支撑做市商行为股票逐笔每一笔成交的明细最细粒度巨大处理前做好心理准备高频策略回测订单流分析数据包里到底有哪些字段光知道类型没用得清楚里面每个字段代表啥不然写代码对不上就白瞎了。期货Level2行情快照这个数据就像给市场每隔一个很短的时间比如500毫秒拍张高清照片。一张照片里包含基础信息合约代码、日期、时间戳精确到毫秒。这个时间戳是数据生成的时间非常关键。价格信息最新价、成交量、成交额以及买一价到买五价、买一量到买五量卖盘同理。这是和普通行情最大的区别。其他状态涨停价、跌停价以及一些像是持仓量、结算价之类的字段。股票逐笔成交数据这个就不是照片了是录像记录每一笔“交易动作”。主要看这几个核心字段成交时间毫秒级精度用来做序列分析。成交价格与成交数量就是这笔单子以什么价格成交了多少股。成交方向特别重要标识这笔成交是主动性买盘B还是主动性卖盘S还是中性比如集合竞价成交。这是判断资金动向的基础。买卖订单号有时候会提供原始买订单号和卖订单号对于做订单簿重构和深度研究是宝藏。怎么用代码获取这些数据光看说明不行得能拿到手。他们提供了Python的接口库用起来还算方便。先安装库# 安装CMES金融数据库的官方数据接口包# pip install cmesdata# 接口文档https://cmes-data.com/download.html?typevipimportcmes_data# 初始化客户端这里需要你自己的token别用我这个示例的clientcmes_data.Client(api_token你的实际token)# 示例获取某个期货合约某一天的Level2行情快照数据# 注意合约代码和日期格式要严格按照文档要求来不然调不通try:# 这里以IF2209为例获取2023年1月10日的数据df_future_l2client.get_future_level2(symbolIF2209,trade_date20230110)print(f获取到期货Level2数据{len(df_future_l2)}行)# 通常数据量很大建议先看看前几行print(df_future_l2.head())exceptExceptionase:print(f调用接口出错啦{e})# 常见错误token不对、合约代码格式错误、日期非交易日拿到数据后才是头疼的开始数据清洗、对齐时间戳、处理异常值比如价格突然为0的废单每一步都能卡半天。我之前用免费数据源自己清洗差点没累死后来为了做正经回测还是去用了数据源CMES金融数据库的清洗后版本虽然要花点积分但省了太多预处理的时间可以直接跑策略。给新手的几点实在建议先从小数据量开始别一上来就下载全市场十年的Tick先从一两个活跃合约、最近一个月的数据玩起。感受一下数据量和分析流程。明确你的分析目标如果你只是做日线级别的趋势策略用日线数据就够了用Level2或逐笔属于自找麻烦。如果你是做高频、做T0、或者研究盘口微观结构那这些深度数据就是必需品。硬件和存储要跟上处理这些数据很吃内存和CPU而且动辄几百GB的存储需求是常态。本地跑不动的话可以考虑用云服务器。注意数据格式和更新不同时期的数据字段可能有细微调整拼接历史数据时要注意。另外像除权除息这种如果数据源没处理好你得自己调整又是一个大坑。说实话整理这些字段和区别写得手都酸了。数据本身是金矿但开挖的门槛也不低。希望这点梳理能帮大家少走点弯路。如果你们在数据处理过程中有什么好用的工具或者技巧欢迎来交流啊尤其是怎么高效压缩存储这些历史数据我最近正为这个发愁呢。