简介基于CNN与LSTM的流量分析识别系统完整项目面向人工智能、网络安全方向的学生与开发者解决网络流量分类与异常检测问题。系统采用CNN提取流量空间特征、LSTM提取时序特征可实时识别正常业务流量、恶意软件流量与网络攻击流量并对流量时序变化做可视化展示在思博伦官方测试数据上达到93.5%准确率。压缩包共24个文件、约23.58MB包含6个Python源码文件模型定义、数据处理、训练与测试脚本、CSV数据集、训练好的TensorFlow模型及参数文件、词表文件、PDF设计报告、网络结构示意图和使用说明。已有572人学习下载。资源覆盖pcap流量解析为URL、特征提取、模型训练到在线识别与可视化展示的完整流程并提供CNN、RNN、CLSTM等多种网络结构实现方便对比实验附带环境依赖清单与使用说明可快速复现结果适合作为课程设计、毕业设计或真实网络环境安全分析的基线项目。1. 流量识别为什么不能只靠规则库——CNNLSTM的选型逻辑网络流量分类早年靠 DPI 和端口特征表特征库靠人肉维护每冒一种新协议、改一次 TLS 加密方式规则就要追着改。这个资源把思博伦官方流量 pcap 包切成会话再解析成 URL 序列用 CNNLSTM 时空网络做端到端识别在官方测试包上跑到 93.5% 的准确率。93.5% 不是玩具数字在加密流量占比很高的今天这个基线足以支撑安全告警降噪、恶意域名排查和策略调优。适合这样用算法工程师拿来当流量分类的 baseline做毕设的学生拿它当完整工程样板目录里 train.py、test.py、三个模型文件、训练好的 checkpoint 和 PDF 报告一应俱全。整套代码规模不大核心就三件事数据管道、模型定义、训练验证三块边界清楚改起来不费劲。后面按数据怎么从 pcap 变成训练样本、模型怎么搭、训练超参怎么配、验证怎么复现的顺序逐个拆开。2. 模型架构CNN空间特征提取与LSTM时序建模的拼接2.1 为什么单拿CNN或LSTM都不够单条 URL 是一次独立的 HTTP 请求但一次网络会话是一串按时间排列的 URL 序列。攻击流量的特点往往藏在节奏里先短时间探测再定向利用最后横向扩散。这些行为只靠单请求的字段值是看不全的必须看序列。CNN 擅长抓局部组合模式。放在这个场景里一个卷积核扫过 URL token 序列时学到的是“连续几个 token 组合在一起是否可疑”比如某个路径片段和某个参数名反复同现。LSTM 擅长抓长距离依赖能让模型记住 15 个请求之前那次握手动作再决定当前请求的类别。流量识别里两类特征缺一不可所以最终模型用 clstm_classifier.py 把两者串起来。单独对比的 cnn_classifier.py 和 rnn_classifier.py 是为了验证哪一半贡献更大这也是这类项目里标准的消融实验配置。2.2 网络结构设计与维度推导常见的做法是五段式Embedding、CNN 卷积加池化、LSTM、全连接、Softmax。源码包里 model_framework.png 展示的整体结构跟下面的配置是同一个套路。层配置输出维度InputURL token 索引序列seq_len64(batch, 64)Embeddingvocab10000, embed_dim128(batch, 64, 128)CNNkernel3/4/5 各 128 个ReLUMaxPool(batch, 128, 128)LSTMhidden128, num_layers1, dropout0.3(batch, 128)FC128 - 64 - 3(batch, 3)Softmax三分类概率(batch, 3)这些参数对应源码里 params.pkl 保存的配置训练完可以从 checkpoint 直接恢复。用 3/4/5 三组卷积核并行处理对应短、中、长三种跨度的 token 组合分别覆盖方法名、路径片段、完整请求行这类不同粒度的空间特征。2.3 clstm_classifier.py 的实现要点模型定义这部分核心逻辑用 PyTorch 组织的话大概是下面这个样子和源码里的 clstm_classifier.py 结构一致class CLSTMClassifier(nn.Module): def __init__(self, vocab_size, embed_dim, seq_len, num_filters, hidden_size, num_classes): super().__init__() self.embed nn.Embedding(vocab_size, embed_dim) # 三组一维卷积分别对应短/中/长的 token 组合模式 self.convs nn.ModuleList([ nn.Conv1d(embed_dim, num_filters, kernel_sizek) for k in (3, 4, 5) ]) self.lstm nn.LSTM(num_filters * 3, hidden_size, batch_firstTrue, dropout0.3) self.fc nn.Sequential( nn.Linear(hidden_size, 64), nn.ReLU(), nn.Linear(64, num_classes) ) def forward(self, x): emb self.embed(x) # (batch, seq_len, embed_dim) emb emb.permute(0, 2, 1) # Conv1d 需要 (batch, channel, len) conv_outs [] for conv in self.convs: out torch.relu(conv(emb)) # 卷积后序列宽度变窄 out F.max_pool1d(out, out.size(2)).squeeze(2) conv_outs.append(out) cnn_out torch.cat(conv_outs, dim-1) # (batch, 3 * num_filters) # 将 CNN 输出沿 seq 维度展开让 LSTM 按时间步消费 lstm_in cnn_out.unsqueeze(1).repeat(1, x.size(1), 1) lstm_out, _ self.lstm(lstm_in) feat lstm_out[:, -1, :] return self.fc(feat)逻辑说明Embedding 之后要先permute再进Conv1d因为 PyTorch 的一维卷积要求输入维度是 (batch, channel, length)而 Embedding 输出是 (batch, length, embed_dim)。三组卷积核并行各自做 max pooling再把结果拼接得到的是三种粒度特征的横向堆叠。LSTM 输入的 seq_len 维度用了repeat来保持和原始序列长度一致这是一种让 LSTM 感知时序分步的写法更省显存的做法是只在最后一个隐藏状态上接全连接。参数说明num_filters控制 CNN 提取的特征通道数增大能学到更多模式但显存占用线性上涨hidden_size是 LSTM 记忆容量太小记不住长距离依赖太大容易过拟合训练集里的 URL 节奏模式dropout0.3只对 LSTM 层生效需要确认网络处于 train 模式。注意nn.LSTM的 dropout 参数在num_layers1时会被 PyTorch 忽略想真正生效要叠两层以上或者改用nn.LSTM配合单独的nn.Dropout包在外部。3. 数据管线把思博伦pcap转成URL序列再喂给模型3.1 pcap会话切分与URL提取思博伦官方流量包由测试仪表生成里面同时混着正常业务流量、恶意软件样本流量和各类攻击流量。原始 pcap 里数据包是零散的要先把它们根据五元组源 IP、目的 IP、源端口、目的端口、协议聚合为会话再从每个会话里提取 URL。这里有个细节会话切分粒度影响分类结果。按完整 TCP 连接切能保留攻击的完整生命周期但长连接可能因为 keep-alive 把多组业务混在一起按时间窗口切训练数据量更大、样本更干净缺点是可能把一次攻击拦腰切断。这个项目训练用的是 URL 序列更接近“按时间窗口切”的思路因为 URL 提取天然依赖请求边界。解析 pcap 这一步可以用 tshark 先把 URL 和 SNI 字段批量导出tshark -r spirent_traffic.pcap -Y http.request || tls.handshake.type 1 \ -T fields -e frame.time_epoch -e ip.src -e tcp.srcport \ -e http.request.full_uri -e tls.handshake.extensions_server_name \ -E separator, raw_urls.csv逻辑说明-Y是显示过滤条件只保留 HTTP 请求和 TLS 握手包-T fields按字段输出-E separator,指定 CSV 分隔符。TLS 握手包没有 URI 字段我们用 SNI 扩展名代替域名。参数说明frame.time_epoch用于后续按时间窗口切会话ip.src和tcp.srcport是会话聚合的主键http.request.full_uri取完整请求地址tls.handshake.extensions_server_name只在 TLS 握手包里非空正好补上加密流量的目标域名。3.2 token化与vocab构建拿到 URL 原始文本后不能直接进 Embedding要先切 token 再映射成索引。data_helper.py 里常见的做法是正则粗切分加词频统计def tokenize_url(url): # 按非字母数字切分保留方法名和路径片段 return re.findall(r[a-zA-Z0-9], url.lower()) def build_vocab(url_iter, max_vocab10000): counter Counter() for url in url_iter: counter.update(tokenize_url(url)) vocab {w: i 2 for i, (w, _) in enumerate(counter.most_common(max_vocab))} vocab[pad] 0 vocab[unk] 1 return vocab逻辑说明re.findall把 URL 切成连续字母数字片段http、get、login、php这类高频词会进入保留词表词频前 10000 之外的词统一映射为unk补齐阶段用pad把序列拉到同一长度。参数说明max_vocab控制词表上限调大能减少unk出现率但会显著增加 Embedding 层参数量pad和unk固定在 0 和 1 的位置保证多个实验之间 vocab 序列化的稳定性params.pkl 里保存的 vocab 和模型权重才能对应上。3.3 数据集格式与训练验证划分训练用的 data/data.csv 和测试用的 data/test_data.csv 字段结构如下字段含义示例seq_id会话窗口编号切分后的唯一标识1.1.1.2_443_1.1.1.1_55123_0url该窗口内按时间排序的 URL 列表[/login, /admin, /etc/passwd]label类别标签normal / malware / attack源码里 summaries 目录下 train 和 valid 两个子目录对应 TensorBoard 训练曲线和验证曲线。数据划分是在会话级随机切分避免同一会话的 URL 序列同时进入训练集和验证集造成泄漏。如果实验中发现验证准确率虚高优先检查这一步是不是按 URL 级而不是会话级划分的。4. 训练与推理三个分类器的分工与超参配置4.1 cnn/rnn/clstm三个文件的消融设计源码包里三个模型文件不是冗余代码cnn_classifier.py 只保留 Embedding CNN 全连接验证纯空间特征能达到多少准确率rnn_classifier.py 只保留 Embedding LSTM 或双向 LSTM验证纯时序特征的效果clstm_classifier.py 是最终方案CNN 提取空间特征、LSTM 建模时序依赖两者拼接后分类。这种消融结构在流量识别类论文里很常见作用是回答一个关键问题93.5% 的最终指标里空间特征和时序特征各自贡献了多少。如果你改数据集建议先跑一遍 cnn 和 rnn 拿两个基线再看 clstm 的提升幅度是不是稳定。4.2 train.py训练入口与参数表训练入口统一是 train.py用--model参数切换三种架构。常见超参配置总结如下参数默认值说明--modelclstm可选 cnn / rnn / clstm--epochs30训练轮数配合早停--batch_size128每批训练样本数--lr0.001Adam 学习率--seq_len64每条样本截取 URL token 长度--embed_dim128token 向量维度--num_filters128CNN 每组卷积核数量--hidden_size128LSTM 隐藏层维度启动训练python train.py --model clstm --batch_size 128 --lr 0.001 --epochs 30逻辑说明--model clstm指定走 CLSTMClassifier 分支训练过程中会同步往 summaries/train 和 summaries/valid 写 TensorBoard 日志方便对比训练集和验证集损失曲线的收敛距离。参数说明--seq_len 64表示每条样本保留最近 64 个 URL token超过截断、不足补齐--lr 0.001对应 Adam 的默认步长在这个数据规模下通常 10 个 epoch 内就能看到验证集损失拐点如果 loss 震荡就把学习率降到 5e-4 并加大 batch_size。4.3 checkpoint保存与test.py推理训练完成后模型权重和词表分别落到 model 目录和 params.pkl模型文件名1600693479是 Unix 时间戳表示保存时间。test.py 加载指定 checkpoint 后在测试集上推理结果写入 prediction/prediction.csv。python test.py --model clstm \ --checkpoint_path ./1600693479 \ --test_data ./data/test_data.csv \ --output ./prediction/prediction.csv逻辑说明test.py会先用params.pkl恢复 vocab再把 test_data.csv 里的 URL 序列切成与训练时一致的 token 索引最后逐 batch 前向推理。输出文件里每条样本对应一个预测标签和置信度类别分布和训练标签分布不一致时可以直接在 prediction.csv 上做卡阈值后处理。requirements.txt 里需要注意 PyTorch 版本差异旧版本用torch.save(model.state_dict(), path)新版本 2.x 还兼容这个接口但 TensorBoard 的 SummaryWriter 在不同版本间日志格式不兼容换环境后如果 summaries 目录读不出来删掉重新训练一轮即可不影响模型本身。5. 复现93.5%准确率与调参记录5.1 官方测试集验证流程官方测试流量包的验证流程很直接test.py 加载训练好的 checkpoint对 data/test_data.csv 全量推理统计预测标签与真实标签的匹配比例作为整体准确率。源码报告里 93.5% 这个数字就是在思博伦官方测试包上跑出来的不是自己划分的测试集所以对比其他流量分类方案时口径要一致。如果你的复现结果明显低于 93.5%先检查三件事模型权重和 vocab 是否对应看 params.pkl 里的 vocab_size 和 Embedding 首维是否一致test.py 的 seq_len 是否和训练时一致prediction.csv 里标签映射表是否被重新排序过。5.2 混淆矩阵与类别粒度整体准确率之外建议从 prediction.csv 里按类别统计混淆矩阵重点看 malware 和 attack 的互相混淆情况。参考表结构实际类别预测为 normal预测为 malware预测为 attacknormal高低低malware中中中attack低中高如果 malware 大量落入 attack说明两类流量在 URL 序列节奏上高度相似可以从 URL 中增加请求间隔、包长度分布特征来区分如果 normal 被误判为 attack说明训练集里正常流量的访问模式覆盖不够需要补充更长周期的正常会话样本。5.3 影响93.5%的调参细节在这个数据规模下影响最终的几个参数按重要程度排序seq_len 大于 hidden_sizenum_filters 大于学习率。seq_len 太短时 LSTM 看不到攻击的完整节奏64 到 128 之间有明显提升hidden_size 从 128 加到 256 收益很小只增加过拟合风险。学习率 0.001 搭配 batch_size 128 基本是稳定解。如果训练曲线出现验证 loss 先降后升用早停把 epochs 控制在拐点前通常 20 到 25 轮就能收敛。CNN 侧 kernel 尺寸 3/4/5 不用改换成 2/3/4 会损失长路径片段的组合特征全连接层 64 维的中间宽度用于压缩特征改成 128 维在测试集上没有提升。提示复现时如果只有 pcap 没有现成的 data.csv先跑通数据管线里 tshark 导出那一步确认http.request和tls.handshake.extensions_server_name字段在样本里非空再进入训练环节。本文还有配套的精品资源点击获取