简介这是一套面向工业数据采集与DCS控制系统从业者的完整教程围绕传感器、软件、硬件三条主线展开适合需要从零搭建或优化工业采集方案的工程师。传感部分涵盖热电偶测温、压阻式测压、光电传感等常见类型的选择、安装、校准与维护软件部分讲解SCADA系统中的实时监控、报警设置与历史数据记录硬件部分则聚焦数据采集模块、PLC/PC控制器、以太网与串口通信等组件的集成设计并补充DCS分布式控制在生产流程中的实际应用。内容按传感器篇、软件篇、硬件篇组织知识点密度较高。资源为RAR压缩包大小122.35MB页面未列出具体文件总数与类型明细不影响按章节学习。已有154人学习该教程覆盖从基础原理到工程落地的关键环节可作为工业自动化与智能制造的参考材料。1. 一套完整数据采集系统为什么难在传感器、软件与硬件的咬合做数据采集系统最难的不是买传感器也不是建数据库而是把传感器、软件与硬件三层的咬合理顺。传感器输出的是电压、电流、脉冲或特定协议字节硬件要把信号调成单片机能读的范围软件要把原始码值换算成有物理意义的量并落到存储。任一层假设错位都会得到“能跑但不可信”的数据量程选错、参考电压不匹配或波特率不一致都要花数倍时间排查。下面以 ESP32 为硬件示例从选型、信号调理、固件采集到上位机解析、滤波、存储与校准把完整数据采集系统的落地路径走一遍。无论做传感器课程设计、设备监测还是嵌入式硬件原型先把最小链路打通再逐步加告警和数据库最省时间。2. 数据采集系统的传感器与硬件层信号选型、分压接线与 ESP32 硬件调通2.1 先把传感器输出类型分清楚再谈“读数据”采购传感器时商详页上最引人注意的是测量范围、精度和供电电压但真正决定采集改造难度的是它的输出类型。同一款“光电传感器”有的输出 NPN 开关量有的输出 0-10V 模拟量接入方式完全不同。输出类型大体分三类模拟输出0-3.3V、0-5V、0-10V、4-20mA。读取简单但线损敏感、易受干扰。脉冲/频率输出旋转编码器、涡轮流量计、部分光电传感器。需要计数器或中断输入来测频率或周期。数字总线输出UART、Modbus RTU、I2C、CAN。有的传感器带自定义通讯协议例如胎压监测传感器这类设备数据按帧发送必须先搞清楚帧结构。常见传感器的输出与采集方式如下表传感器类型输出类型采集方式典型用途光电传感器NPN/PNP 开关量GPIO/中断到位检测、计数反射式传感器电压/比较器输出ADC/GPIO循迹、测距感知霍尔传感器开关量/模拟量GPIO/ADC转速测量、磁性编码浊度传感器模拟电压ADC水质监测热电偶/PT100电压/电阻专用 AD 芯片温度采集压力变送器4-20mA电流转电压ADC工业过程监测说一句“反射式传感器工作原理”发射管发出红外光接收管根据被测物反射回来的光强改变输出电流或电平光强到阈值后输出翻转。霍尔传感器则是根据磁场强度或极性翻转输出很多转速检测和电机换向都用它。五路循迹传感器的优点在于单个探头对灰度判断容易误判五个并排安装后对边界和交叉口有冗余判断这也说明做数据采集系统时“多路冗余”往往比一只高精度探头更稳。2.2 信号调理的常见做法分压、电流转电压与参考电压匹配ADC 输入范围一般不能超过参考电压。ESP32 的 ADC 参考电压典型为 3.3V极限输入范围是 0-3.3V0-10V 模拟传感器必须先分压4-20mA 需要一个采样电阻把电流转成电压。分压电阻常见做法是固定下臂阻值反算上臂。用一段 Python 计算vin_max 10.0 vout_max 3.3 r_bottom 10_000 # 下臂 10k r_top r_bottom * (vin_max - vout_max) / vout_max print(round(r_top))逻辑说明分压公式是 Vout Vin * R_bottom / (R_top R_bottom)。代码固定下臂 10kΩ算出上臂约 20.3kΩ可以用 20kΩ 串 300Ω 实现实际 Vout 最大约 3.29V。更稳的做法是先加一级运放跟随再接分压网络避免 ADC 输入阻抗把电压拉低。4-20mA 的常规接法是外接 250Ω 精密电阻电流在电阻上产生 1-5V 电压再按比例缩到 0-3.3V。电阻精度会直接进入测量结果选 0.1% 精度、低温漂的电阻才靠谱。提示ADC 参考电压如果不是稳定 3.3V测量结果会跟着供电抖动。硬件调试的第一步永远是先用万用表确认 VCC 和参考电压而不是直接怀疑代码。2.3 用 ESP32 做最小硬件调通测试拿到传感器后先别急着解析数据在 ESP32 上把原始值读出来。以模拟输出传感器接 GPIO34 为例Arduino 框架下最小程序如下#define SENSOR_PIN 34 void setup() { Serial.begin(115200); analogReadResolution(12); // ADC 分辨率 12 位范围 0-4095 analogSetPinAttenuation(SENSOR_PIN, ADC_11db); // 输入范围约 0-3.3V } void loop() { int raw analogRead(SENSOR_PIN); float volt raw * 3.3f / 4095.0f; Serial.printf(raw%d volt%.3fV\n, raw, volt); delay(500); }三点参数说明analogReadResolution(12) 让返回值落在 0-4095方便换算电压。ADC_11db 衰减对应约 0-3.3V 输入范围不要用默认衰减否则很多开发板读到的电压会提前触顶。GPIO34 是纯输入引脚不带板载干扰适合做模拟采集。换到 GPIO2 这类带 LED 的引脚读数可能受调试串口影响。跑这个程序时用手遮挡或靠近传感端串口里的 raw 和 volt 应稳定变化。如果一直读 0先查供电如果一直停在 4095 附近查是否把 5V 直连进 GPIO或者分压电阻虚焊。这个“esp32 硬件调通测试”步骤能让你在十分钟内分清是传感器问题、接线问题还是代码问题。提示想观察波形细节把串口日志接到绘图工具或逻辑分析仪比盯着 printf 直观很多。2.4 硬件调试读数异常时按什么顺序查硬件工程师排查读数问题的顺序通常是电源、共地、信号波形、工具链。先用万用表量传感器供电是否达标再看信号地是否和 ESP32 GND 相连很多“浮空读数”都是地线没接。之后用示波器看传感器输出端判断是干净跳变还是毛刺。毛刺多时可在信号线对地加 100nF 电容或改成差分传输。遇到 Windows 报“配置信息(注册表中的)不完整或已损坏”或者“无法验证此设备所需的驱动程序的数字签名”先别急着拆电路。这类错误多数是 USB 驱动或开发工具与系统版本不匹配在设备管理器里删掉旧设备重新插 USB 让系统枚举一次往往就恢复。安装 Keil 的 pack 时报硬件错误也一样优先检查 pack 版本是否匹配当前 IDE而不是怀疑开发板损坏。2.5 高速传感器频率测量与计数资源转速、流量计这类脉冲输出传感器在高速场景下不能用 delay 加轮询。ESP32 的 PCNT 外设可以在硬件层面累加脉冲MCU 只定时读计数值适合连续脉冲计数也能避免中断风暴。若传感器输出的是连续高频模拟量就得考虑带 DMA 的 ADC 或外接 ADC 芯片这一步已经进入硬件设计的深水区。平时用 ESP32 做原型验证时先把低速链路跑稳定再往上加资源。3. 数据采集系统的软件层固件采集、协议解析与上位机对接3.1 固件侧先定采集策略轮询、中断还是 DMA软件层的第一步不是写协议解析而是决定怎么取数。低速模拟量可以轮询例如每 100ms 读一次 ADC开关量事件必须用中断否则主循环处理其他任务时会漏事件频谱较宽的模拟量要用连续 ADC 加 DMA把数据搬到内存后再统一处理。三种策略的取舍如下采集场景策略理由温度/湿度1Hz轮询采样率低主循环几行代码即可光电传感器到位检测GPIO 中断事件只持续几毫秒轮询会漏旋转编码器 A/B 相PCNT/正交解码硬件计数避免中断风暴高速模拟信号ADCDMA轮询无法满足采样率定好策略后固件在固定时间周期内完成“取数、简单滤波、组帧、发串口”不要把所有逻辑全部塞进主循环。常见做法是用定时器置一个采集标志位主循环只处理标志位并发送数据。3.2 传感器通讯协议从 UART 原始字节到 Modbus 帧解析传感器通讯协议五花八门。工业现场最常见的是 Modbus RTU设备返回一帧二进制数据消费类传感器常带私有协议例如部分胎压监测传感器的数据帧是 ID 加数据加校验。不管协议怎么变处理思路都是同一套确认帧头、长度、数据区、校验位缓冲串口字节流按帧头同步解析并丢掉坏帧。以 Modbus RTU 读保持寄存器为例帧结构如下表字段主机发送从机响应地址0x010x01功能码0x030x03寄存器起始地址0x00 0x000x02字节数寄存器数量0x00 0x020x00 0x01 0x02 0x03CRC16低字节在前低字节在前帧同步的核心是状态机。下面这段 C 代码示意了最小实现按固定帧长 6 字节处理#define FRAME_HEAD 0xAA #define FRAME_LEN 6 // head type data(2) checksum(2) uint8_t rx_buf[16]; uint8_t rx_cnt 0; void on_uart_byte(uint8_t c) { if (rx_cnt 0 c ! FRAME_HEAD) return; // 帧头同步 rx_buf[rx_cnt] c; if (rx_cnt FRAME_LEN) { process_frame(rx_buf, FRAME_LEN); rx_cnt 0; } }代码说明rx_cnt 为 0 时只有收到帧头才进入累积过程。实际项目必须加超时保护防止中间丢一字节后永远凑不满长度。变长帧要先用长度字段决定后续收多少字节不能死等固定长度。3.3 上位机数据链路串口轮询、超时与坏帧处理固件把数据发出后上位机负责收、解析和存储。最容易犯的错误是“读一次就完事”。串口是字节流一次 read 可能返回半帧也可能包含两帧所以必须先做缓冲。常见 Python 采集代码如下import serial import struct ser serial.Serial(COM3, 115200, timeout0.5) buffer bytearray() def parse_frame(buf): if len(buf) 6 or buf[0] ! 0xAA: return None checksum (buf[-1] 8) | buf[-2] calc sum(buf[1:-2]) 0xFFFF if checksum ! calc: return None return buf def read_sensor(): global buffer buffer ser.read(ser.in_waiting or 1) while True: idx buffer.find(b\xAA) if idx -1: buffer.clear() break if len(buffer) - idx 6: frame parse_frame(buffer[idx:idx6]) if frame: print(sensor value:, struct.unpack(H, frame[2:4])[0]) del buffer[:idx6] else: buffer buffer[idx:] break while True: read_sensor()参数说明timeout0.5 让 read 在无数据时最多阻塞 0.5 秒避免上位机卡死。in_waiting or 1 优先读取缓冲区已有字节没有则阻塞读一个字节防止空转。buffer.find(b\xAA) 做帧头同步找不到就清空缓冲区让串口流恢复这是坏帧恢复最简单的办法。上位机要持续消费数据不要让数据库写入阻塞这个循环。采集线程和存储线程分开中间用队列传递解析结果是更稳妥的结构。3.4 软件分层与配置外部化别把所有东西写进主脚本当采集通道从 1 路加到 8 路时把采集、解析、存储、告警写在同一个文件里会非常痛苦。常见做法是分四层采集层读串口或网络协议层把字节流解析成统一结构体存储层写入数据库展示层提供图表。软件架构图可以直接画成“展示层、协议解析层、采集驱动层”三层结构层与层之间只通过数据对象交互。配置项如串口号、波特率、量程、报警阈值都应该外置到 JSON{ serial: {port: COM3, baudrate: 115200}, sensor: {name: turbidity, range: [0, 1000], unit: NTU}, alarm: {max: 800} }改动一个量程或从站地址时不用重新编译上位机。长期运行的系统还要考虑采集进程崩溃后自动重启简单用 systemd 或计划任务即可再往后才涉及高可用话题。4. 数据采集系统的完整数据链路从传感器原始值到滤波、存储与展示4.1 工程量换算ADC 原始值到物理单位传感器输出和物理量之间最常见的关系是线性y k * x b。这里的 x 可以是 ADC 原始值也可以是换算后的电压。以浊度传感器为例浊度值会随水温轻微漂移实用性较强的浊度传感器温度补偿公式写作NTU_comp NTU_raw * (1 tc * (T - 25))其中 tc 是温度系数不同型号差异很大。正确做法是拿标准液在 15℃、25℃、35℃ 下分别测量再用最小二乘拟合出 tc不要直接套用其他型号的系数因为光源波长和光电二极管特性不同温度特性差很多。4-20mA 变送器的换算同样固定P (I - 4) / (20 - 4) * (P_max - P_min) P_min在固件或上位机里先把采样电压转成电流值再代入公式得到工程量。量程边界 P_max、P_min 要写在配置里不要写死在多处。4.2 滤波策略滑动平均、中值滤波与去极值平均ADC 原始数据通常带噪声接工业传感器时更明显。三种常见策略滑动平均对连续 N 个点平均平滑但会滞后。中值滤波取窗口内中间值能剔脉冲尖刺。去极值平均去掉最大最小后求平均兼顾平滑和抗尖刺。Python 可执行示例from collections import deque def moving_average(window, samples, n5): window.append(samples) if len(window) n: window.popleft() return sum(window) / len(window) def median_filter(samples, n5): return sorted(samples)[len(samples) // 2]参数说明窗口 n 越大越平滑响应越慢。温度这类慢变量取 n10 没问题电机转速测量取 n5 已经能滤掉明显毛刺滞后再明显就缩小窗口。要抗脉冲尖刺优先做去极值平均排序后掐头去尾再平均。4.3 存储选型SQLite 还是时序数据库单机采集量不大时SQLite 是最省事的方案单文件、零维护、Python 自带驱动。当每秒写入几百条以上建议换时序数据库。两者差异如下表维度SQLite时序数据库写入吞吐中等批量插入可提升高原生支持高并发写入存储成本可压缩但需要自己管理自带压缩与过期策略查询语法SQL类 SQL 或专用查询语言适用场景课程设计、单机原型产线级长期监测SQLite 批量插入示例import sqlite3 conn sqlite3.connect(daq.db) rows [(ts, sensor_id, value) for ts, sensor_id, value in buffer] conn.executemany( INSERT INTO samples(ts, sensor_id, value) VALUES(?, ?, ?), rows, ) conn.commit()逻辑说明executemany 一次写入多行比逐条 execute 快一到两个数量级。采集程序应攒一定行数或每隔几秒批量提交一次避免频繁开启事务。4.4 展示与告警数据要被人看到才有价值。轻量做法是用 Flask 起一个只读接口把最新数据和最近一小时曲线交给前端数据量大再考虑 Grafana。告警放采集侧阈值超过置位恢复正常才清除避免每读一次就发一次通知。def check_alarm(value, max_threshold): if value max_threshold and not alarm_active: notify(sensor over max) alarm_active True elif value max_threshold * 0.9: alarm_active False恢复阈值比报警阈值低一点可以防止值在阈值附近抖动反复触发。这个小细节能省掉半夜三点的无用告警。5. 把数据采集系统调“准”的四个实用技巧硬件调试、滤波、温度补偿与回归验证5.1 调准前先做静态检查先看供电和共地再看信号波形最后才调软件。用已知电压源代替传感器输入观测换算后读数是否正确。可以把两个 ADC 通道接同一电压如果读数差异明显多半是参考电压被供电网络拉偏而不是传感器坏了。5.2 滤波参数要跟着时间常数走不要照抄别人的窗口大小。测量对象的时间常数决定可容忍的响应时间室温采集用 n10 没问题转速测量 n5要看瞬态冲击事件就不要滤波直接判断阈值。改完滤波参数后必须重新做一次标定验证。5.3 温度补偿必须自己做系数拟合浊度传感器温度补偿公式的正确用法是配置三组不同温度下的标准液记录读数和差值再用最小二乘拟合出 tc。没有条件做恒温实验时至少把补偿功能关掉并在数据表里保留温度原始值后续还能离线补算。5.4 用最小二乘做回归验证校准的最终检验是拿独立数据回归看预测值与标准值的残差。用 numpy 直接拟合import numpy as np x np.array([1.02, 2.01, 3.05]) y np.array([10.1, 20.3, 30.2]) k, b np.polyfit(x, y, 1) pred k * x b residual pred - y rmse np.sqrt(np.mean(residual ** 2)) print(k, b, rmse)k、b 就是最终写进固件或上位机的标定系数rmse 反映全量程拟合误差。如果 rmse 超过传感器标称精度两倍回头查供电、接线和滤波时间常数而不是继续调显示位数。把 (k, b) 写回固件后再拿同一组标准输入复核一遍读数偏差在误差带内才收工。本文还有配套的精品资源点击获取