数据从外设到应用搬了几次嵌入式零拷贝设计全链路优化自己在做一个网络相关的项目以太网数据转发吞吐量死活上不去。我用逻辑分析仪一量CPU占用率居然90%以上。一看代码——数据从网卡DMA缓冲区拷贝到协议栈缓冲区协议栈处理完拷贝到应用层缓冲区应用层处理完又拷贝到串口发送缓冲区。同一份数据在内存里搬了四次。后来用零拷贝思路重构把四次拷贝干到一次CPU占用率降到30%吞吐量翻了接近两倍。结合之前的经验把这个思路搬到MCU上总结一下。一、先搞清楚你的数据搬了几次以串口收数据、处理、转发到另一个串口这个简单场景为例第1次: 中断逐字节搬第2次: memcpy第3次: memcpy第4次: memcpy第5次: 逐字节写寄存器UART硬件寄存器中断缓冲区协议解析缓冲区应用层处理缓冲区发送缓冲区UART发送五次拷贝。每次拷贝意味着CPU要一个字节一个字节地搬memcpy本质就是循环赋值并且可能引起Cache失效。每次拷贝的代价开销类型说明CPU时间memcpy在Cortex-M4上大约1字节/周期1KB数据就是1000周期Cache污染新数据进Cache把有用数据挤出去后续访问变慢内存浪费同一份数据在RAM里存了多份在资源充裕的服务器上这不算什么。但在嵌入式系统里RAM可能只有几十KCPU频率可能只有几十MHz每一次不必要的拷贝都是真金白银的浪费。二、零拷贝的核心思想不是消除所有拷贝而是消除不必要的拷贝。让数据尽量待在原地通过传递指针而非传递数据本身来完成层间交互。策略手段DMA直达硬件DMA直接把数据搬到目标缓冲区CPU不参与指针传递层间传递指针而非数据拷贝原地处理解析器直接在接收缓冲区上工作不另开缓冲区散列IO发送时把多个不连续的数据块串起来不合并到一个连续缓冲区三、逐层优化第一层DMA替代中断逐字节搬运传统做法// 每收一个字节进一次中断CPU被频繁打断voidUART_IRQ(void){rx_buf[rx_pos]UART-DR;}零拷贝做法// DMA直接把数据搬进缓冲区CPU零参与DMA_Config(UART_RX_DMA,rx_buf,BUF_SIZE,DMA_CIRCULAR);DMA在后台持续工作CPU只需要定期查一下DMA搬到哪了voidcheck_rx(void){uint32_tdma_posBUF_SIZE-DMA_GetRemaining(UART_RX_DMA);uint32_tnew_bytes(dma_pos-last_pos)(BUF_SIZE-1);if(new_bytes0){process_data(rx_buflast_pos,new_bytes);// 直接在DMA缓冲区上处理last_posdma_pos;}}关键点DMA缓冲区同时就是接收缓冲区不需要二次拷贝。第二层解析器原地工作之前讲的状态机协议解析器每个字节从DMA缓冲区取出来喂给解析器。解析器内部只记录帧的起始位置和长度typedefstruct{uint8_t*frame_start;// 指向DMA缓冲区中帧的起始位置uint16_tframe_len;}frame_ref_t;帧数据还在DMA缓冲区里没有被拷贝。只是记了一个指针和长度。第三层应用层直接引用voidon_frame(frame_ref_t*ref){// 直接在原地读取数据不拷贝uint8_tcmdref-frame_start[0];uint16_tvalue(ref-frame_start[1]8)|ref-frame_start[2];// 处理...}第四层发送时的零拷贝发送也可以用DMA。应用层准备好帧头、数据、校验各个部分用散列DMAScatter-Gather DMA或者分段发送避免把它们合并到一个连续缓冲区// 帧头在ROM里数据在应用层缓冲区CRC临时计算// 不需要拼接到一个连续bufferuart_dma_send_scatter((sg_entry_t[]){{frame_header,2},// 帧头{app_data,data_len},// 数据{crc_byte,1},// 校验},3);四、优化前后的数据流对比优化后: 0-1次拷贝DMA直达指针传递指针传递DMA直发UART共享buf解析器原地工作应用层直接引用UART发送优化前: 4次拷贝中断搬memcpymemcpymemcpyUART中断buf解析buf应用buf发送buf五、关键的但是零拷贝不是银弹有几个必须注意的问题问题一DMA缓冲区的生命周期如果解析器持有的是DMA缓冲区的指针但DMA已经把那块区域覆盖了新数据——你读到的就是脏数据。解法要么确保消费速度跟得上生产速度缓冲区足够大要么在需要长时间持有的地方做一次拷贝。零拷贝不是完全禁止拷贝是只在必要时才拷贝。问题二Cache一致性Cortex-M7有数据Cache。DMA往内存里写了数据但CPU Cache里还是旧值——你读到的是脏数据。解法DMA缓冲区放在非Cache区域或者在读取前手动SCB_InvalidateDCache_by_Addr()。问题三对齐要求有些外设的DMA要求缓冲区地址对齐到4字节或更多。如果你的原地解析产生了非对齐访问在某些平台上会触发HardFault。平台非对齐访问Cortex-M0/M0HardFaultCortex-M3/M4允许但可能有性能损失Cortex-M7允许问题四代码复杂度零拷贝会让代码的数据流更难追踪。一个指针传了三层到底指向的内存还有没有效这对开发者的心智负担是真实存在的。我的经验是热路径上高频调用、大数据量做零拷贝冷路径上初始化、配置下发该拷贝就拷贝。追求的是系统整体最优不是每一行代码都最优。六、实际项目中的收益回到开头那个工业网关的例子优化前后的数据指标优化前优化后数据拷贝次数4次1次CPU占用率满载92%31%最大吞吐量约2Mbps约5.5Mbps接收中断频率每字节一次115200bps下约11520次/秒每半缓冲区一次约45次/秒最后一行数据尤其值得注意DMA替代逐字节中断后中断频率从每秒一万多次降到几十次。这意味着CPU花在保存/恢复中断上下文上的时间也大幅减少。七、总结传统做法像搬家时把所有东西从一个房间搬到另一个房间再搬到下一个房间。每到一个房间都把东西放下再抱起来。零拷贝像给每个人发一张纸条上面写着东西在第一个房间的左边柜子上。大家都去同一个地方拿东西始终没动过。只有当东西确实需要长期保存、或者有人要同时修改它的时候你才真正搬一次。零拷贝不是一个单点优化技巧它是一种设计思维——始终问自己这次拷贝是必须的吗能不能只传指针 养成这个习惯你的嵌入式代码会快得让你自己都吃惊。