1. 从一个实际需求说起为什么要啃稠密光流做视觉项目的人迟早会碰到一类需求画面里每个像素点到底往哪个方向动了多少。不是只想知道“这帧里有几个人”“那个球在哪”而是想要一张完整的运动矢量图——每个像素都带一个速度向量。稀疏光流比如经典的Lucas-Kanade只跟踪少数特征点算得快但输出的是散点稠密光流要给整幅图的每个像素都算运动输出的是和原图同尺寸的双通道矩阵一个通道存水平位移一个通道存垂直位移。Farneback算法就是OpenCV里做稠密光流最常用的那把工具。它在cv::calcOpticalFlowFarneback这个函数里输入前后两帧灰度图输出一张CV_32FC2的光流场。我第一次用它是在一个视频稳像的小项目里需要估计全局运动来补偿抖动稀疏点匹配在纹理弱的区域老是丢点换成稠密光流之后整个运动场平滑多了后续做仿射拟合也稳。这篇笔记面向的是已经会写OpenCV基础代码、想搞明白稠密光流怎么落地的人。我会把Farneback的多项式展开原理讲清楚把函数里那七八个参数逐个拆开解释它们到底在调什么再给一套能直接跑的完整代码和调参经验。踩过的坑、参数之间的耦合关系、什么场景该用什么配置都会写进去。2. Farneback算法的核心思路拆解2.1 它到底在算什么从“多项式展开”讲起Farneback的核心思想用一句话概括把图像局部邻域近似成二次多项式然后通过比较前后两帧同一位置的多项式系数解出位移。具体来说对图像上某个像素的邻域用一个二次多项式去拟合它的灰度分布f(x) ≈ x^T A x b^T x c其中A是对称矩阵二次项系数b是向量一次项系数c是常数项。这个拟合是在每个像素周围的一个窗口内做的用加权最小二乘权重通常是高斯核窗口大小由winsize参数控制。对前一帧的某个邻域拟合出多项式系数(A1, b1, c1)对后一帧同一位置假设位移很小的邻域拟合出(A2, b2, c2)。如果这个邻域只是整体平移了d那么理论上两帧的多项式之间满足一个关系A2 A1 b2 b1 - 2*A1*d c2 c1 - b1^T d d^T A1 d从第二式就能直接解出位移d -0.5 * A1^(-1) * (b2 - b1)这就是Farneback算法的精髓——不需要像Lucas-Kanade那样迭代搜索匹配而是通过代数关系直接求解。当然实际图像不会严格满足“只有平移”的假设所以A1和A2不会完全相等算法会用两者的平均值来近似这也是为什么它对旋转、缩放这类非平移运动只能给出近似结果。2.2 为什么要金字塔从粗到细的位移估计上面那个求解有个前提位移d必须足够小否则“同一邻域”的假设就不成立了。如果物体在两帧之间移动了20个像素你还在原地取邻域拟合出来的多项式根本对不上。Farneback用图像金字塔解决这个问题。流程是这样的把前后两帧都构建成金字塔最底层是原图每往上一层降采样一次尺寸减半。从金字塔最顶层最小尺寸开始估计光流。在顶层原本20像素的位移被缩小到比如2.5像素满足小位移假设。把顶层估计出的光流上采样到下一层作为初始值然后在这一层继续细化。逐层往下直到最底层得到全分辨率的光流场。这个“由粗到细”的策略是稠密光流能处理大位移的关键。金字塔层数由levels参数控制层数越多能处理的位移越大但计算量也越大而且顶层信息太少时估计会不准。2.3 迭代与平滑让结果更稳的两个机制光有金字塔还不够。Farneback在每一层内部还会做多次迭代iterations参数每次迭代用上一次的结果去修正多项式逐步逼近真实位移。迭代次数太少结果粗糙太多则计算浪费通常3到5次就够。另外还有一个poly_n和poly_sigma控制的平滑。poly_n是多项式展开时用的邻域大小注意它和winsize不是一回事poly_sigma是这个邻域高斯权重的标准差。这两个参数决定了多项式拟合的“感受野”和平滑程度。poly_n越大拟合越平滑但细节丢失越多越小则对噪声越敏感。3. 函数参数逐个拆解与选型逻辑3.1 函数签名与参数全貌void cv::calcOpticalFlowFarneback( InputArray prev, // 前一帧单通道8位灰度图 InputArray next, // 后一帧同尺寸同类型 InputOutputArray flow, // 输出光流CV_32FC2和输入同尺寸 double pyr_scale, // 金字塔相邻层缩放比例 int levels, // 金字塔层数 int winsize, // 平均窗口大小 int iterations, // 每层迭代次数 int poly_n, // 多项式展开邻域大小 double poly_sigma, // 多项式展开高斯标准差 int flags // 操作标志 );3.2 每个参数到底在调什么pyr_scale金字塔相邻层的缩放比例通常取0.5也就是每层尺寸减半。这个值一般不用改0.5是经典选择。取0.9这种接近1的值会让层间差异很小金字塔意义不大取太小比如0.3则降采样太猛顶层信息损失严重。levels金字塔层数。取1表示不用金字塔直接在全分辨率上算只能处理很小的位移。层数和能处理的最大位移大致成指数关系如果pyr_scale0.5levels3那么顶层尺寸是原图的1/4能处理的位移大约是底层能处理位移的4倍。经验上处理一般视频位移几十像素用3层位移特别大比如快速运动的体育视频可以加到4到5层但要注意顶层太小反而估计不准。winsize平均窗口大小必须是奇数。它决定了多项式拟合时每个像素考虑多大范围的邻域。窗口越大对噪声越鲁棒但运动边界比如物体边缘会被模糊光流场在边缘处会“糊”成一片。窗口越小细节保留越好但噪声敏感。常用值15、21、31。我一般从15开始试如果结果噪点多就加到21。iterations每层的迭代次数。前面说过3到5次是甜点区。取1结果很粗糙取10以上收益递减还费时间。poly_n多项式展开的邻域大小常用5或7。它和winsize的关系容易搞混winsize是计算多项式系数时用的平均窗口poly_n是多项式本身的阶数相关参数。poly_n5对应二次多项式poly_n7对应更高阶。一般用5需要更平滑时用7。poly_sigma多项式展开时高斯权重的标准差。当poly_n5时推荐1.1poly_n7时推荐1.5。这个值影响邻域内像素的加权方式偏离推荐值太多会导致拟合不稳定。flags有两个可选值。OPTFLOW_USE_INITIAL_FLOW表示把输入的flow当作初始估计用于迭代细化OPTFLOW_FARNEBACK_GAUSSIAN表示用高斯窗口代替默认的box窗口做平均后者精度更高但更慢。3.3 参数之间的耦合关系这些参数不是独立的调一个往往要连带调另一个。几个关键耦合levels和winsize金字塔层数多的时候顶层位移小可以用小一点的winsize层数少则底层要处理大位移winsize得适当加大。poly_n和poly_sigma必须配套。用5配1.1用7配1.5这是OpenCV文档给的推荐组合乱配会导致多项式拟合出问题。winsize和iterations窗口大时迭代次数可以少一点因为每次迭代已经考虑了更大范围窗口小时可能需要多迭代几次才能收敛。下面这张表是我总结的几组常用配置可以直接抄场景pyr_scalelevelswinsizeiterationspoly_npoly_sigma通用视频中等位移0.5315351.1高精度慢速运动0.5321571.5大位移快速运动0.5415351.1实时性优先0.5213251.1噪声较多的监控视频0.5331371.54. 完整实操从读视频到可视化光流4.1 环境准备与依赖这套代码在OpenCV 4.x上跑C和Python都行。我用C写主流程因为实际项目里C更常见Python版本在最后附上关键差异。需要的东西OpenCV 4.x编译时带上videoio和highgui模块、一个视频文件或者摄像头。CMake配置里链接opencv_core、opencv_imgproc、opencv_videoio、opencv_highgui、opencv_video光流函数在video模块里。4.2 主流程代码#include opencv2/opencv.hpp #include iostream using namespace cv; using namespace std; int main() { // 打开视频源这里用文件换成0就是摄像头 VideoCapture cap(test_video.mp4); if (!cap.isOpened()) { cerr 无法打开视频源 endl; return -1; } Mat prevGray, nextGray, flow, flowParts[2]; Mat frame; cap frame; if (frame.empty()) return -1; cvtColor(frame, prevGray, COLOR_BGR2GRAY); // Farneback参数 double pyr_scale 0.5; int levels 3; int winsize 15; int iterations 3; int poly_n 5; double poly_sigma 1.1; int flags 0; while (true) { cap frame; if (frame.empty()) break; cvtColor(frame, nextGray, COLOR_BGR2GRAY); // 核心调用 calcOpticalFlowFarneback(prevGray, nextGray, flow, pyr_scale, levels, winsize, iterations, poly_n, poly_sigma, flags); // 可视化把光流场转成HSV彩色图 // 色相表示方向饱和度表示强度 split(flow, flowParts); Mat mag, ang; cartToPolar(flowParts[0], flowParts[1], mag, ang, true); // 归一化幅度到0-255 Mat magNorm; normalize(mag, magNorm, 0, 255, NORM_MINMAX); Mat hsv[3], hsvImg; // 色相角度映射到0-180OpenCV的H范围 hsv[0] ang * 180.0 / CV_PI / 2.0; hsv[1] Mat::ones(ang.size(), CV_32F) * 255; hsv[2] magNorm; merge(hsv, 3, hsvImg); hsvImg.convertTo(hsvImg, CV_8UC3); Mat rgbFlow; cvtColor(hsvImg, rgbFlow, COLOR_HSV2BGR); imshow(Original, frame); imshow(Optical Flow, rgbFlow); if (waitKey(30) 27) break; swap(prevGray, nextGray); } cap.release(); destroyAllWindows(); return 0; }4.3 可视化那一步的关键细节上面代码里可视化部分有几个坑要单独说。第一cartToPolar的angleInDegrees参数我传了true得到的是角度制。然后hsv[0] ang * 180.0 / CV_PI / 2.0这行因为OpenCV的HSV图里H通道范围是0到180不是0到360所以要把角度除以2。这一步很多人写错导致颜色映射不对。第二hsv[1]我直接设成255也就是饱和度拉满。这样所有有运动的地方颜色都很鲜艳方向信息清晰。如果你想让强度也影响饱和度可以把magNorm归一化到0-255后赋给S通道但那样弱运动区域颜色会很淡。第三normalize用的是NORM_MINMAX把幅度拉伸到0-255。但视频里如果有特别大的运动最大值会把其他运动压得很暗。实际项目里我常用一个固定的上限比如把幅度截断到20像素或者用对数变换压缩动态范围。4.4 从光流场提取有用信息光流场本身是双通道浮点矩阵直接看数值没意义得转成能用的信息。几个常见后处理全局运动估计把所有像素的光流向量做平均得到整幅图的平均运动。视频稳像里用这个来估计相机抖动。但要注意前景物体运动也会被平均进去所以更稳的做法是用RANSAC拟合仿射模型剔除前景点。运动区域分割对光流幅度做阈值幅度大的区域就是运动区域。可以进一步做形态学操作和连通域分析得到运动物体的包围框。运动方向统计把角度分成几个区间比如8个方向统计每个区间的像素数得到画面整体的运动方向分布。交通监控里用这个判断车流方向。// 全局平均运动 Scalar meanFlow mean(flow); cout 平均运动: dx meanFlow[0] , dy meanFlow[1] endl; // 运动区域掩码 Mat magMask; threshold(mag, magMask, 2.0, 255, THRESH_BINARY); magMask.convertTo(magMask, CV_8U);5. 常见问题与排查实录5.1 光流结果全是噪声或者一片黑这是新手最常遇到的。先检查输入图像是不是单通道灰度图。calcOpticalFlowFarneback要求输入是CV_8UC1如果你传了三通道彩色图函数会报错或者给出莫名其妙的结果。用cvtColor转灰度是必须的。如果输入没问题但结果还是不对检查两帧之间的时间间隔。如果视频帧率很高比如120fps相邻帧之间位移极小光流幅度接近0可视化出来就是一片黑。这时候可以隔几帧取一次或者用OPTFLOW_USE_INITIAL_FLOW做累积。反过来如果帧率很低比如5fps相邻帧位移太大超出金字塔能处理的范围结果也会乱。这时候增加levels。5.2 运动边缘处光流“糊”成一片这是winsize太大的典型症状。窗口越大多项式拟合考虑的范围越广物体边缘两侧的运动被平均到一起边界就模糊了。解决办法是减小winsize比如从31降到15。但减小窗口会引入噪声所以如果画面本身噪声大得先做高斯模糊预处理。另一个办法是用OPTFLOW_FARNEBACK_GAUSSIAN标志高斯窗口比box窗口在边缘处权重衰减更快边界保持更好代价是速度慢一些。5.3 计算太慢达不到实时Farneback是稠密算法对每个像素都要做多项式拟合和迭代本身就比稀疏光流慢一个数量级。如果实时性要求高几个优化方向降分辨率。把输入缩到一半甚至四分之一再算光流算完把光流场上采样回原尺寸。精度损失可以接受速度提升4到16倍。减少levels和iterations。层数从3降到2迭代从3降到2速度能快不少代价是大位移处理能力下降。只在感兴趣区域ROI算光流。如果只关心画面下半部分比如地面车辆把ROI裁出来单独算。用GPU版本。OpenCV的cuda模块里有cv::cuda::FarnebackOpticalFlow参数类似速度提升明显但需要NVIDIA显卡和CUDA环境。5.4 常见问题速查表现象可能原因排查方向结果全黑输入非灰度图 / 帧间位移太小检查通道数 / 隔帧取图结果全噪声图像噪声大 / winsize太小高斯模糊预处理 / 加大winsize边缘模糊winsize太大减小winsize / 用高斯窗口大位移估计错误levels太少增加levels到4或5计算慢分辨率高 / 参数过大降分辨率 / 减levels和iterations光流方向整体偏移前后帧顺序反了检查prev和next是否传反5.5 几个我踩过的坑第一个坑是忘了swap(prevGray, nextGray)。光流算的是prev到next的运动下一帧循环时prev应该变成当前的next。如果忘了swap每帧都在和第一帧比结果完全不对。这个bug很隐蔽因为代码不报错只是结果看起来“有点怪”。第二个坑是flow矩阵没有预分配。calcOpticalFlowFarneback的第三个参数是InputOutputArray如果传一个空的Mat进去函数会自动分配。但如果你在循环里反复传同一个Mat它不会重新分配这没问题。但如果你传的Mat尺寸和输入不一致会出问题。我习惯在循环外先flow.create(prevGray.size(), CV_32FC2)。第三个坑是可视化时的归一化。用NORM_MINMAX时如果某一帧恰好有个别像素光流幅度特别大比如噪声导致的异常值整个图的对比度会被压得很低看起来一片暗。解决办法是用百分位数截断比如取95%分位数作为归一化上限或者直接固定上限。6. 性能对比与选型建议6.1 Farneback和其他光流算法的对比OpenCV里能用的稠密光流不止Farneback一个。做选型时我一般从这几个维度比较算法精度速度大位移实现复杂度适用场景Farneback中等中等靠金字塔低通用快速原型DIS中等快一般低实时应用DeepFlow高慢好高离线高精度RAFT深度学习很高很慢很好很高研究有GPUFarneback的优势在于它是OpenCV内置的不需要额外依赖参数直观调起来快。缺点是精度不如深度学习方案在纹理弱、光照变化大的场景下容易出错。DISDense Inverse Search是OpenCV 4.x里新增的速度比Farneback快不少精度接近如果你的场景对实时性要求高可以试试cv::DISOpticalFlow。但DIS的参数和Farneback不一样需要重新调。6.2 什么时候不该用稠密光流稠密光流不是万能的。如果你的需求只是跟踪几个特征点用稀疏光流calcOpticalFlowPyrLK就够了速度快几十倍。如果你需要的是像素级的运动分割稠密光流合适。如果你需要的是物体级别的运动可能目标检测加跟踪更直接。另外稠密光流对光照变化很敏感。如果场景里光照在变比如云影飘过、灯光闪烁光流会把光照变化误判成运动。这时候要么先做光照归一化要么用对光照更鲁棒的算法。7. 一个完整的应用案例视频稳像中的全局运动估计7.1 需求与思路视频稳像的核心是估计相机抖动然后补偿。相机抖动表现为全局运动可以用光流场拟合一个仿射变换来估计。思路是对相邻两帧算稠密光流。用光流场拟合仿射模型6个参数旋转、缩放、平移。从仿射模型里分离出抖动分量高频和有意运动低频。对抖动分量做反向补偿。7.2 关键代码// 用光流场拟合仿射变换 Mat affine estimateAffinePartial2D( pointsPrev, // 前一帧的采样点 pointsNext, // 对应的后一帧点由光流得到 Mat(), // 输出内点掩码 RANSAC, // 用RANSAC剔除异常点 3.0 // 重投影误差阈值 );这里的关键是从光流场里采样点。不能把所有像素都用上那样计算量大且异常点多。我一般均匀采样几百个点然后用RANSAC拟合。estimateAffinePartial2D估计的是4自由度的相似变换旋转缩放平移比完整的6自由度仿射更稳因为视频稳像通常不需要考虑剪切。7.3 效果与调参这套方案在我测试的几个手持拍摄视频上效果不错抖动明显减少。调参上光流的winsize用21levels用3采样点间隔20像素左右。RANSAC的阈值设3.0像素太小会把正常运动当异常太大则剔不掉真正的异常点。有个细节如果画面里有大面积的前景运动比如有人走过RANSAC会把前景点当异常剔除只保留背景的全局运动这正是我们想要的。但如果前景占了画面大部分RANSAC可能找不到足够的背景点这时候需要先做运动分割。8. Python版本的关键差异Python版调用几乎一样但有几个地方要注意import cv2 import numpy as np cap cv2.VideoCapture(test_video.mp4) ret, frame cap.read() prev_gray cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY) while True: ret, frame cap.read() if not ret: break next_gray cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY) flow cv2.calcOpticalFlowFarneback( prev_gray, next_gray, None, pyr_scale0.5, levels3, winsize15, iterations3, poly_n5, poly_sigma1.1, flags0 ) # 可视化 mag, ang cv2.cartToPolar(flow[..., 0], flow[..., 1]) hsv np.zeros_like(frame) hsv[..., 0] ang * 180 / np.pi / 2 hsv[..., 1] 255 hsv[..., 2] cv2.normalize(mag, None, 0, 255, cv2.NORM_MINMAX) rgb cv2.cvtColor(hsv, cv2.COLOR_HSV2BGR) cv2.imshow(Flow, rgb) if cv2.waitKey(30) 27: break prev_gray next_grayPython版第三个参数传None函数会自动分配输出。flow[..., 0]是x方向flow[..., 1]是y方向。注意hsv[..., 2]那行cv2.normalize返回的是float赋给uint8的hsv会截断最好先转成uint8。Python版的速度比C慢不少因为循环里有大量numpy操作。如果做实时应用建议用C或者把关键部分用Cython加速。9. 参数调优的实战心得调Farneback参数我的经验是分三步走。第一步先固定poly_n5、poly_sigma1.1、pyr_scale0.5、iterations3这几个是甜点值一般不用动。然后调levels和winsize。levels从3开始如果发现大位移估计不准就加到4winsize从15开始如果噪声大就加到21或31如果边缘模糊就减到11或13。第二步看可视化结果。方向对不对颜色对不对幅度合不合理亮度分布边缘清不清晰。方向错了多半是前后帧顺序问题幅度整体偏小可能是levels不够边缘糊是winsize太大。第三步如果精度还不够换poly_n7、poly_sigma1.5加OPTFLOW_FARNEBACK_GAUSSIAN标志iterations加到5。这一套下来精度会明显提升但速度大概慢一倍。有个反直觉的点winsize不是越大越好。我试过在一个纹理丰富的场景里用winsize51结果光流场过度平滑小物体的运动完全被背景淹没。后来降到15小物体的运动就出来了。所以窗口大小要匹配你关心的运动尺度——关心大物体用大窗口关心小物体用小窗口。还有个技巧如果场景里既有大位移又有小细节可以用两套参数分别算然后融合。大窗口的结果做全局运动估计小窗口的结果做细节分析。这个在运动分割里挺有用。10. 后续可以扩展的方向Farneback光流算出来只是第一步后面能做的事很多。比如把光流场喂给一个分割网络做运动分割或者用光流做视频插帧估计中间帧的像素位置然后插值再或者做运动放大把微小运动放大到肉眼可见。这些方向我在其他项目里都试过光流质量直接决定后续效果所以把Farneback的参数调明白是值得的。如果要做深度学习方案Farneback的结果可以作为一个强baseline也可以作为网络的输入之一比如把光流场和原图拼接起来送进网络。很多视频理解的任务里光流提供的运动信息是RGB图像给不了的。最后分享一个小技巧调试光流参数时不要只看最终的可视化图把光流的x分量和y分量分别用灰度图显示出来能更清楚地看到问题。x分量图里水平运动表现为亮暗变化y分量图里垂直运动表现为亮暗变化。如果某个分量图整体偏亮或偏暗说明那个方向有系统性偏移可能是前后帧没对齐或者时间戳有问题。这个排查方法帮我定位过好几次隐蔽的bug。