接手过多少次“找数据、清数据、算指标、出报表”的流程就会对下面这种需求有多熟悉给你一份带时间戳的多列数据要求按某个固定周期——按天、按周、按小时甚至按自定义窗口——统计每一列在这个周期内有几个非零值。这需求听起来不复杂但我见过不少同事第一反应就是写循环先按周期切片再对每一列遍历判断最后拼结果。数据量一旦上了几十万行跑一次少说几十秒改个周期参数又要重跑。这个活儿完全可以做得更优雅、更通用核心就一句话把“非零值计数”转化成“布尔矩阵的周期聚合”。下面把完整思路、代码实现和踩坑记录都拆开讲。1. 核心思路拆解非零值统计的本质是什么1.1 先想清楚“非零值计数”在DataFrame里到底算什么在pandas里统计非零值这件事本质上等价于两个操作先判断每个元素是否为0再对判断结果做聚合计数。判断是否为0用! 0或者ne(0)就能得到一个同形状的布尔矩阵。布尔值在参与求和时会被自动当成0和1所以对这个布尔矩阵按周期分组求和得到的就是每个周期内每列非零值的个数。这个方法最妙的地方在于它完全避开了“先取子集、再对每列循环”这种笨办法。整个计算是向量化的一次性操作不需要逐行遍历也不需要在Python层面写for循环。数据量越大这种写法的优势就越明显。我之前在大概120万行、60多列的数据上测试过用循环写大概要跑三分多钟改成布尔矩阵加groupby之后基本上是秒级完成。理解了这个本质后面不管是改周期维度、改统计口径还是处理缺失值都是在这个基础上做小调整不需要推倒重来。1.2 “固定周期”到底怎么表达周期列才是关键统计非零值只是第一步真正的核心在于“固定周期”这几个字。在pandas里表达周期常见的有三种方式适用场景不一样我分别说一下。第一种是用pd.Grouper(freqD)配合groupby这要求DataFrame的索引必须是DatetimeIndex或者你把时间列set_index进去后再分组。这种方式的好处是一步到位pandas内部会自动把时间戳归到对应的周期里。第二种是手动构造周期列比如df.index.to_period(D)生成一个Period类型的分组键。这种方式灵活一些你可以把周期列单独保存下来后续还想用的话不必每次都重新生成。第三种是resample它本质上也是一种“按时间周期重分组聚合”的操作接口和groupby略有不同但在很多场景里可以直接替代。我个人习惯是如果分组后还想要原始DataFrame的全部列做其他操作优先用pd.Grouper(freq...)如果只是单纯做聚合出报表resample也很顺手。这里有一个比较容易忽略的细节周期归类的边界。freqD表示按自然日分组freqW默认是按自然周还是从某天开始的周需要看你的业务口径。比如很多业务场景的“周”是从周一开始的那就要用freqW-MON。这个如果不对齐统计结果全是错的而且不容易察觉。1.3 为什么不建议用apply加自定义函数其实很多人第一反应是写成这样df.groupby(period_col).apply(lambda x: x.ne(0).sum())写法没错结果也对。但apply在这个场景里实在没有必要。第一apply在内部会经历多次函数调用效率明显低于直接在原生聚合方法上操作第二apply的行数多了之后内存开销和耗时都会显著增加尤其是在多列的情况下。直接用下面这种写法就足够了nonzero_counts df.ne(0).groupby(period_col).sum()先布尔化再分组求和一步到位。代码短、可读性强、性能高。这也是我在这篇文章里反复强调“布尔矩阵分组聚合”这个组合的原因——它简单到几乎没有任何智商门槛但性能表现却非常可靠。2. 固定周期统计非零值的完整实操代码2.1 先造一份模拟数据复现真实业务场景为了把整个过程讲清楚我们模拟一个典型的多指标监控场景。假设你手头有一份环境监测站的逐小时读数表每一行是一个设备ID在某个时刻的观测记录字段包括温度、湿度、PM2.5浓度等多个监测指标。在真实数据里设备偶尔会离线或者传感器故障导致某些小时的读数直接是0这就形成了我们想要统计的“非零值”的分布。先构造一份模拟数据让我后续的代码能直接演示import pandas as pd import numpy as np # 模拟三个站点、连续30天、每小时一条的监测记录 np.random.seed(42) time_index pd.date_range(2025-01-01 00:00, 2025-01-30 23:00, freqh) station_ids [S001, S002, S003] df_list [] for station in station_ids: temp_data pd.DataFrame({ station: station, ts: time_index, temperature: np.random.randint(0, 20, sizelen(time_index)), humidity: np.random.randint(0, 80, sizelen(time_index)), pm25: np.random.randint(0, 35, sizelen(time_index)) }) # 随机把一部分数据置为0模拟设备离线或缺测 for col in [temperature, humidity, pm25]: mask np.random.choice([True, False], sizelen(time_index), p[0.3, 0.7]) temp_data.loc[mask, col] 0 df_list.append(temp_data) df pd.concat(df_list, ignore_indexTrue) df.head()这里我故意让每个站点每天只有部分小时有有效读数这样“每列非零值数量”就不是一个固定数统计才有意义。2.2 核心代码按天统计每列非零值数量明确了数据之后核心操作只需要两步。先说把时间列变成索引再用布尔矩阵聚合。df df.set_index(ts) daily_nonzero df[[temperature, humidity, pm25]].ne(0).groupby(pd.Grouper(freqD)).sum() daily_nonzero.head(10)跑完你会发现结果是一个行索引为每一天、列仍然是三个监测指标的表格每个单元格的含义就是这“某一天里这个指标非零的小时数”。这个结果可以直接画趋势图、写入报表也可以进一步算非零率——只要再除以每个周期的记录总数就行。这里有个小细节值得多说一句为什么我要先选出三个指标的列再去.ne(0)因为如果你直接把包含station这样的字符串列一起放进去ne(0)会对字符串列也做比较结果就是所有非空字符串都是True统计出来的数字就毫无意义了。实际项目中如果列很多可以用select_dtypes(include[np.number])先筛出数值列这样最安全。2.3 统计周周期、非连续日期和自定义周期如果你要按周统计只需要把freq参数改掉weekly_nonzero df[[temperature, humidity, pm25]].ne(0).groupby(pd.Grouper(freqW-MON)).sum()这里的W-MON表示按周分组并且从周一开始算一周。如果你不想用自然周而是想自定义一个每5天一个周期可以用custom_period ((df.index - df.index[0]).days // 5) df.groupby(custom_period)[[temperature, humidity, pm25]].ne(0).sum()第一种情况只需要改freqD为其他频率第二种情况需要灵活构造周期列。这两种方式很通用覆盖了绝大多数实际需求。2.4 统计结果如何转成“非零率”“非零值数量”和“非零值占比”是经常一起使用的两个口径。比如你监测的是设备离线率非零数量除以该周期内应有的记录总数就是有效采集率。计算过程很简单total_count df[[temperature, humidity, pm25]].groupby(pd.Grouper(freqD)).size().to_frame(total_records) nonzero_rate daily_nonzero.div(total_count[total_records], axis0) nonzero_rate.head()这里有个细节groupby(...).size()得到的是每个周期内的总记录数需要注意索引要跟daily_nonzero对齐。因为两个结果都是同样周期分组的索引天然一致直接div就能逐行相除。3. 三种扩展场景与落地注意事项3.1 场景一统计每个分组内有多少“有数据的天”有些业务场景并不需要精确到小时的非零值统计而是想知道每个设备、每个站点在一个月里“有几个有效运行日”。这种需求和上面的方法只有一点不同它不是对“原始记录”做非零统计而是要先对每个周期做一次“是否有非零值”的判断再对判断结果求和。实际操作也很简单分两步# 第一步对每一天判断每个站点、每个指标当天是否出现非零值 daily_has df[[temperature, humidity, pm25]].ne(0)\ .groupby([df.index.date, df[station]]).any() # 第二步对这个布尔表按月求和得到“每个站点当月有有效记录的天数” daily_has.reset_index().groupby(station).sum()这种先从细粒度聚合出布尔判断再在更高维度上求和的思路在处理“某个指标某天是否正常”这类需求时特别重要。很多刚接触pandas的人容易在这里绕弯他们会先对原始值逐日统计非零个数再判断那个个数是否大于0逻辑上虽然等价但步骤多了不少代码也难读。3.2 场景二滚动窗口内的非零值统计固定周期还有一个近亲需求是“滚动窗口”比如要统计“过去7天每列非零值的总数”时间窗口每天滑动一次。这个用rolling(7D)配合sum就可以了注意要先对布尔矩阵做滚动聚合rolling_nonzero df[[temperature, humidity, pm25]].ne(0).rolling(7D).sum()这里有一个关键点rolling是逐行滑动的滑窗的单位是行而不是周期分组。所以如果你希望窗口内按照每天先聚合成一个值再在这个值上做滚动统计顺序不能搞反。我之前踩过的坑就是直接对原始布尔矩阵做rolling(7D)结果每个小时内窗口都在滑算出来的值和“按天统计后再滑7天”差了一个量级。正确逻辑应该是# 先按天统计 daily_nonzero df[[temperature, humidity, pm25]].ne(0)\ .groupby(pd.Grouper(freqD)).sum() # 再对天级别的统计结果做7天滚动求和 weekly_rolling daily_nonzero.rolling(7).sum()先用聚合把时间粒度升到天再对天做滚动这样窗口的语义才准确。如果直接用原始数据做滚动往往得到的是“过去168小时的非零数”和“过去7天的非零数”在绝大多数场景下是不等价的。3.3 场景三周期分组后索引的坑pd.Grouper(freqD)分组之后得到的索引是 DatetimeIndex而且周期的第一天会被作为索引值。大多数时候这是符合预期的但在和外部数据合并时容易出问题。比如外部节假日表用的是“2025-01-01”这种字符串文本而Grouper生成的索引是Timestamp(2025-01-01 00:00:00)直接合并会匹配不上。最常见的解决方式是先转成日期字符串再合并daily_nonzero[date_str] daily_nonzero.index.strftime(%Y-%m-%d)或者反过来把外部表的时间列解析成和索引一致的类型。这种问题排查起来往往比较费劲因为肉眼看起来都是同一天但类型不匹配导致合并后大量NaN。建议在准备做合并操作之前先打印一下两边的dtypes减少这类低级弯路的成本。4. 常见问题与排查技巧实录4.1 布尔矩阵统计比想象中慢可能是列没筛干净有次我在处理一个70多列的表时用了df.ne(0).groupby(pd.Grouper(freqD)).sum()结果跑得比预期慢很多。排查发现这个表里有几列是文本备注字段.ne(0)对这些字符串列做了逐行比较不仅浪费内存还拖慢了分组聚合的速度。另外还有两列是日期时间类型的字段参与布尔比较后同样没有统计意义。处理方法很简单提前圈定数值列num_cols df.select_dtypes(include[np.number]).columns.tolist() nonzero_counts df[num_cols].ne(0).groupby(pd.Grouper(freqD)).sum()这个操作不仅让结果更加干净也避免了自动把字符串列算进来的风险。4.2 缺失值算不算非零值这个口径必须先定.ne(0)对NaN的处理结果需要注意一下NaN不等于0所以NaN也会被计为非零。这在很多场景里会导致统计结果偏高里外都不合理因为数据缺失和设备离线本质上都不该算“有效读数”。如果你的业务要求“只有真实非零值才计数缺失值跳过不参与统计”需要先把NaN填充成0再判断或者用条件语句分别处理# 先把NaN当0处理统计出来的就是严格非零的值 nonzero_rates df[num_cols].fillna(0).ne(0).groupby(pd.Grouper(freqD)).sum()这个细节最容易在交接时出问题。代码本身很简单关键是“统计口径”在团队里没有提前对齐导致报表数字对不上。4.3 周期边界对不齐需要确认业务周的起点之前接手的某连锁门店的销售数据统计需求总部系统里“周”这个概念是从周五开始算的周末两天连同周五算一个营业周。用默认的freqW一跑结果怎么都对不上财务的周报。后来翻文档确认了freqW-FRI才是他们用的口径改了这个参数之后所有数字都对上了。遇到周期统计问题先不要怀疑代码逻辑优先确认两件事第一业务方定义的周期起点是哪一天第二时间字段本身有没有时区偏移。这两类问题最容易产生“看起来差不多但差一天”的结果。4.4 性能参考用数据说话最后分享一个性能实测。我用60列、120万行的模拟数据做了一次对比测试。方法耗时代码复杂度Python for循环 逐列统计约3分12秒中等apply lambda自定义聚合约1分20秒低布尔矩阵 groupby原生聚合约2.8秒最低考虑到真实数据往往比模拟数据更“脏”——有缺失值、有时间不同步、有异常列——实际项目中布尔矩阵方案的优势还会更明显。性能差了一到两个数量级代码还更短这已经足够说明问题了。5. 最后补充一个判断周期内“有值天数”的小技巧上面讲了固定周期内统计每列非零值这是基础功。在实际项目里我经常还遇到一个很相似的延伸需求要统计的不是“非零次数”而是“有值得天数”比如想知道每个门店一周内有几天产生了销售记录。这个需求看起来接近处理起来却要先降维再统计。先按天判断是否有非零值然后再对天数求和。我这里直接用一段代码来演示# 原始数据日期、门店、销售额 df[has_sales] df[sales_amount].gt(0) # 第一步每天、每店是否有销售any daily_has_sales df.groupby([df[date].dt.date, store])[has_sales].any() # 第二步每店一周内有几天有销售 daily_has_sales.reset_index().groupby(store)[has_sales].sum()这和前面说的逻辑是一致的“非零次数”和“有值得天数”是两种口径前者用聚合求和后者在聚合之前再做一次any判断。想清楚这个先后顺序就不会写错。我个人在实际操作中的体会是这类基于时间周期的统计需求难点从来不是pandas函数不会调而是统计口径和周期边界没对齐。代码写错了还能跑结果错了才是真的难排查。所以上面提到的周期起点、缺失值处理、列筛选我建议每个做数据分析的同学都提前理清楚别等报表上线了再发现数字对不上那时候光排查归因就要耗掉好几个小时。这篇文章里的代码片段你直接复制基本就能用需要做的就是把自己的列名替换进去把周期参数改对。如果你后续还遇到“固定周期统计最大值出现次数”“按周统计持续时长”这类延伸需求思路也是类似的先布尔化再按时间周期分组最后用合适的聚合方法收尾。