简介面向数据科学学习者的森林火灾分析压缩包围绕forestfires历史数据集完整演示从数据读取、清洗、可视化到机器学习建模的流程。包内共15个文件9个Python脚本分别对应数据分析、日期处理、特征工程以及KNN、AdaBoost、SVM、XGBoost、随机森林和LGBM等算法实现4张PNG图片为不同模型的训练或预测结果可视化1个CSV文件存放火灾历史记录1个TXT说明数据来源。压缩包仅190KB轻量易取。已有200人学习下载。压缩包的核心价值在于同一火灾预测任务下提供了多种模型对比方案并附有XGBRegressor等效果图便于直观理解各算法优缺点。脚本结构清晰、可直接运行适合入门者边看边练也可作为课程设计、论文实验或环境数据分析项目的参考基线能帮助读者快速掌握用Python实现多模型集成与评估的完整思路。1. 森林火灾分析包拆开之前先想清楚它到底能帮你什么如果你手里刚拿到一份名为“森林火灾分析.rar”的资料包先别急着解压后挨个点开看。我经手过多个森林火灾分析类的工程包也帮人复现过类似方案一个最常见的误区是大家默认压缩包里应该有个“一键出图”的成品工具结果打开一看里面是散落的遥感影像、点位数据、若干脚本和一份写了一半的说明瞬间不知道从哪下手。这个包真正能解决的是把“森林火灾分析”这件事拆成一条可复用的技术链路从数据接入、过火区识别、火险因子提取到风险建模与结果验证。它适合有 GIS 或遥感基础、想把手头数据变成一条完整分析流水线的人不太适合只想要一张成品火点图、完全不想碰代码的纯业务读者。我建议你把这篇文章当作一份“拆包指南”我按最常见的工程结构往里走每一步给你可复现的命令、参数和边界让你拿到类似资料时能直接开跑而不是对着文件名发呆。2. 包内数据与工程目录动手之前必须理清的三个文件组2.1 先按用途把文件归类而不是按格式归类解压之后我习惯先把所有文件按用途分成三类。第一类是原始数据常见的有 MODIS 火点产品.csv 或 .shp、Landsat 影像.tif、DEM 高程数据、气象站点观测表。第二类是中间产物比如 NDVI 植被指数、可燃物含水率反演结果、火点密度栅格这些通常由脚本生成也可以从包里的 result 目录找出已计算好的版本。第三类是工程脚本与文档包括 .py、.R、.ipynb 和 .md 说明文件。这样分类的好处是你能快速判断这个包的核心逻辑是“从原始数据计算特征”还是“从已有特征做建模评估”。我在某模拟项目X里见过一个典型的翻车案例A同学拿到包后直接去读 .tif 并试图做分类忙了一下午才发现手里的几个 .tif 是中间产物而非原始影像前处理步骤完全被跳过了。因此第一步永远是把文件名和说明对应上画一张映射关系在纸上或者 README 里写清楚。文件特征常见格式典型用途火点历史记录csv / shp点火点坐标、日期、置信度光学遥感影像tif过火区识别、植被指数计算高程/坡度数据tif / dem地形因子与火势蔓延相关分析气象数据表csv / xlsx温度、湿度、风速、降雨分析脚本py / R / ipynb特征计算、模型训练、出图结果输出tif / png / pdf火险区划图、过火面积统计表2.2 环境准备与路径约定先用最小命令跑通拿到包以后我通常先花十五分钟把环境捋顺不要一上来就装一堆重型库。常见做法是新建一个虚拟环境装地理数据处理栈再装建模库python -m venv fire_env source fire_env/bin/activate # Windows 下用 fire_env\Scripts\activate pip install numpy pandas geopandas rasterio matplotlib scikit-learn pip install rioxarray shapely pyproj这里geopandas负责矢量数据的读写和分析rasterio用来处理栅格rioxarray让 xarray 也能直接读写并带地理坐标pyproj负责坐标系转换与投影。初次跑通时我不建议装torch这类重库除非包里明确给了深度模型脚本。大部分森林火灾分析场景用传统机器学习和统计方法已经能出稳定结果先把链路跑通再考虑上重模型。路径约定是整个流程里最容易忽略的坑。我在项目里常按下面结构组织目录把原始数据、中间产物和输出分开并且全部使用相对路径避免换机器后因为绝对路径断裂而翻车forest_fire_analysis/ ├── data/raw/ # 原始数据只读不改 ├── data/interim/ # 中间产物可重新生成 ├── data/processed/ # 建模所需最终特征 ├── scripts/ # 分析与建模脚本 ├── output/figures/ # 图表输出 └── output/tables/ # 统计表格输出我见过太多人把中间结果和最终结果混在一个目录跑了几轮以后自己都不知道哪个文件是新的。如果你手里的包结构不是这样第一步可以照这个模式重新组织一下代价很低但后续省下的时间很可观。2.3 空间参考是包内最容易出的隐性坑不管包里装的是什么统一空间参考是铁律。我的做法是写一个脚本先扫描所有矢量与栅格文件的坐标系统import geopandas as gpd import rasterio # 扫描矢量坐标系统 vector_files [data/raw/fire_points.shp, data/raw/admin_boundary.shp] for vf in vector_files: gdf gpd.read_file(vf) print(vf, gdf.crs) # 扫描栅格坐标系统 raster_files [data/raw/landsat_2023.tif, data/raw/dem_30m.tif] for rf in raster_files: with rasterio.open(rf) as src: print(rf, src.crs, src.transform, src.bounds)坐标系如果不一致后续所有叠加分析都是错的。比较常见的组合是火点数据是 WGS84 经纬度EPSG:4326而影像和 DEM 是 UTM 投影EPSG:326XX如果不先统一直接做缓冲区或面积统计时会得到完全失真的结果。处理方式很简单矢量往栅格的投影转换或者反过来取决于你最终分析需要的单位如果算面积用投影坐标系如果点选和叠加用经纬度也无妨。3. 过火面积与火点热点提取第一份能出数字的成果3.1 用光谱指数识别过火区NBR 剪影法森林火灾分析里最核心的一类需求是确定某个时间段内到底烧了多大面积。常见做法是“燃烧前后影像对比法”也就是计算过火前后归一化燃烧比率的差值这个指数对过火区非常敏感。它比单纯用 NDVI 差值更准确因为 NBR 对死亡植被和火烧迹地有更强响应。先来看核心计算逻辑import rasterio import numpy as np def calc_nbr(nir_path, swir_path): with rasterio.open(nir_path) as nir_src, rasterio.open(swir_path) as swir_src: nir nir_src.read(1).astype(float32) swir swir_src.read(1).astype(float32) profile nir_src.profile nbr (nir - swir) / (nir swir 1e-10) return nbr, profile # 过火前与过火后各生成一景相减即得 dNBR nbr_before, profile calc_nbr(data/raw/landsat_nir_before.tif, data/raw/landsat_swir_before.tif) nbr_after, _ calc_nbr(data/raw/landsat_nir_after.tif, data/raw/landsat_swir_after.tif) dnbr nbr_before - nbr_after with rasterio.open(output/figures/dnbr.tif, w, **profile) as dst: dst.write(dnbr, 1)calc_nbr函数读取近红外和短波红外两个波段NBR 公式在分母加上极小值是为了防止除零。这里有一个容易翻车的细节两个时期的影像必须做过大气校正最好都从表面反射率产品直接取否则云和太阳高度角差异会被当成火烧迹道dNBR 的值完全失真。拿到 dNBR 栅格后按常用阈值切分过火严重程度dNBR 范围严重程度实际处理建议 0.1未过火直接掩膜掉0.1 ~ 0.27低度过火可计入过火面积做边界平滑0.27 ~ 0.44中度过火核心统计区域需人工抽检 0.44高度过火优先验证区对应树冠火烧dNBR 阈值不是铁律干燥植被区和湿润区会有偏移所以我一般会在包里的说明文档里查这个数据集的历史范围如果没有说明就取两个典型火场的多边形边界做交叉验证调整切割阈值再批量跑。3.2 火点热点的提取与时空聚类另一种常见需求是提取卫星火点。MODIS 和 VIIRS 的火点产品一般给的是中心像元点和温度异常置信度。拿到这样的 CSV 之后不能直接拿来画图做结论因为火点数据里包含大量“非火烧火点”比如秸秆焚烧的热异常也会被识别为火点。这一步要做两件事置信度过滤和时空筛选。以下代码展示了我的常规处理流程import pandas as pd import numpy as np fire pd.read_csv(data/raw/modis_fire_2023.csv) # 保留高置信度火点避开作物秸秆焚烧 fire fire[fire[confidence] 80].copy() fire[acq_date] pd.to_datetime(fire[acq_date]) # 筛选特定时段只留某个干旱季的火点 fire_period fire[(fire[acq_date] 2023-03-01) (fire[acq_date] 2023-04-30)] # 去掉夜间火点多数森林火灾日间信号更有代表性 fire_period fire_period[fire_period[daynight] D] print(该时段高置信度白昼火点数量:, len(fire_period))置信度阈值是一个很关键的旋钮。MODIS 的真值置信度用百分数表达但夜间像元往往能更早探测到小火点如果只留白昼高温点会丢失夜间起火的苗头。一个稳妥的策略是做趋势分析时用日间高置信度数据做实时监测预警时则把夜间低阈值点也纳入但要单独标记。至于时空聚类常见做法是把火点转成 GeoDataFrame 后做 DBSCAN同一堆火点的时空邻近度结合可得“火头”的蔓延方向和速度。这里要注意聚类时距离阈值选择UTM 投影下森林火灾的点簇间距通常取 500 到 1000 米比较合理取值太小会把一个连续火场切成碎片太大会把相邻多起独立火灾合并成一起。3.3 过火面积统计的边界陷阱统计过火面积时直接数 dNBR 阈值内的像元数再乘像元面积是最常见的做法但不精确。原因有两个像元边缘处于混合状态一个 30 米像元里可能只有一半过火投影方式不同像元真实地面积不同。我会用先提取矢量再算精确面积的方式来替代import rasterio from rasterio.features import shapes from shapely.geometry import shape import geopandas as gpd from pyproj import CRS with rasterio.open(output/figures/dnbr.tif) as src: # 读入掩膜后的过火区二值图 band src.read(1) mask band 0.27 # 栅格转矢量并过滤掉小碎块 results ( {properties: {value: v}, geometry: s} for s, v in shapes(band, maskmask, transformsrc.transform) ) geoms [shape(r[geometry]) for r in results if r[value] 1] gdf gpd.GeoDataFrame(geometrygeoms, crsCRS.from_epsg(src.crs.to_epsg())) gdf gdf[gdf.geometry.area 0.01] # 过滤小于0.01平方度的碎块 # 转成投影坐标系用真实地面积计算 gdf_proj gdf.to_crs(EPSG:32650) # 根据区域选择UTM带 gdf_proj[area_m2] gdf_proj.geometry.area total_area_ha gdf_proj[area_m2].sum() / 10000 print(f过火总面积约: {total_area_ha:.2f} 公顷)这里的shapes函数把每个连续像元区转成多边形EPSG:32650 是 WGS84 / UTM 50N 的示例投影实际使用时需要根据你所在区域选对应带号。过滤0.01平方度这个阈值本质是在拓扑单位下剔除碎块如果你已经转到投影坐标系可以直接改成“面积小于 500 平方米就删除”。碎块过滤非常必要因为一个热噪声像元或者云影边缘在二值化后经常形成一两个孤立小斑不剔除会把统计带上噪声。4. 可燃物与火险因子建模把静态数据换算成预警信号4.1 从植被指数到可燃物含水率反演过火区分析属于事后评估而火险因子建模更偏向事前预警。森林火灾分析包里的数据如果足够丰富通常会包含植被覆盖度和气象数据。可燃物含水率是火险评估的关键因子一般通过植被指数和气象要素联合估算。具体做法是把采样点的实测含水率与 NDVI、气温、降水、相对湿度做回归建模之后把模型应用到整个研究区。下面是一个随机森林反演的示例import pandas as pd from sklearn.ensemble import RandomForestRegressor from sklearn.model_selection import train_test_split from sklearn.metrics import r2_score # 假设表里有实测点数据 df pd.read_csv(data/raw/fuel_moisture_samples.csv) feature_cols [ndvi, temp_c, precip_mm, rh_percent, wind_kmh] X df[feature_cols].values y df[fuel_moisture_pct].values X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.3, random_state42 ) model RandomForestRegressor( n_estimators200, max_depth8, min_samples_leaf5, random_state42 ) model.fit(X_train, y_train) y_pred model.predict(X_test) print(R2:, r2_score(y_test, y_pred))max_depth8和min_samples_leaf5是两项比较关键的正则化参数。火险数据通常噪声大、样本量小树一旦太深就会把采样点的噪声学进去泛化很差。如果出现训练集 R2 接近 1、测试集 R2 只有 0.2 左右就是典型的深度过高。预处理时注意可燃物含水率是季节敏感性很强的变量训练样本必须覆盖不同季节否则模型只会学到“冬季普遍湿润”这种粗粒度规律。我一般把“月份”作为特征之一传入模型而不是让模型完全从温度降水中推断季节。4.2 火险等级综合评分与区划图生成有了可燃物含水率空间分布接下来就可以结合地形坡度、坡向、气象温度、风速、降雨距平做火险等级区划。常见做法是多因子加权评分这个方案的可解释性远高于直接丢给黑匣子模型也更适合在应急场景中让业务人员理解。下面是一套我常用的标准化评分设计因子权重分级规则评分1~5可燃物含水率0.3510%评510~15%评415~20%评320~25%评225%评1温度0.1535°C评530~35评425~30评320~25评220评1风速0.2030km/h评520~30评410~20评35~10评25评1连续干旱日数0.2030天评520~30评410~20评35~10评25评1坡度0.1035°评525~35评415~25评35~15评25评1权重是当前方案里最需要局部调整的部分不能在所有地区通用。比如在南方山区坡度权重可以提到 0.15 而把温度降为 0.10因为地形起伏对火烧蔓延路径的影响更明显。我在某跨平台系统的实际实施中就是把温度权重降低、风速升高因为那个区域的风速日变率非常大。最终的风险总分在 1 到 5 之间通过栅格计算器输出五个等级。栅格叠加时注意所有因子图层的空间分辨率和范围必须匹配我常用rasterio的reproject_match把低分辨率气象数据重采样到与 DEM 相同的网格。重采样方法上连续变量用双线性分类变量用最邻近混用会导致边界晕轮效应。4.3 风险区划与历史火点的命中率验证评分模型做出来以后比较常见的错误是“看着图挺合理实际效果没有验证”。我的习惯是把历史火点作为验证数据统计火险等级区划对历史火点的命中率即落在高火险区里的历史火点比例。这个过程可以帮你判断分级阈值是否需要重新切割import geopandas as gpd risk_gdf gpd.read_file(output/figures/fire_risk_zones.shp) fire_gdf gpd.read_file(data/raw/historical_fire_points.shp) # 空间连接取每个火点所属的火险等级 joined gpd.sjoin(fire_gdf, risk_gdf, howleft, predicatewithin) hit_rate (joined[risk_level] 4).mean() print(历史火点落在高火险区4级及以上比例:, round(hit_rate, 3))如果这个命中率低于 60%说明分级阈值过于严苛或者个别重要因子没有进入评分。实际项目中我遇到过命中率只有 41% 的情况最后的调整方式是增加“距道路距离”的负向因子因为很多火灾是由于人为活动引发的离道路越近的点概率越高。这个发现来自对未命中点的空间分布模式观察而不是对参数乱调。5. 森林火险模型训练与评估不要把评估指标当成报名成绩5.1 类别不平衡是火险建模的第一怪森林火灾分析包如果带了建模脚本大概率会涉及“预测某区域是否发生火灾”这类分类任务。这类任务最大的坑是样本极度不平衡非火点像素可能比火点像素多 100 倍甚至更多。直接用准确率评估会让你产生“模型很准”的错觉——毕竟全部预测为“非火点”也有 99% 的准确率。我在某图像处理Demo项目里看过一个典型的错误评估案例训练集里火点占 1%模型最后把几乎所有像素都预测为非火点测试准确率 98.7%但召回率几乎为 0。这是需要优先避开的评价陷阱。这里列出模型评估中最关键的三组指标指标公式在火险场景中的含义召回率TP/(TPFN)真实火点中被模型找到的比例漏报代价极高精确率TP/(TPFP)模型给出的火点预警中确实发生火灾的比例F12PR/(PR)两者平衡用于比较不同阈值只看准确率在火灾分析里是没有意义的因为漏报是火灾预测模型最致命的缺陷。一个预警系统宁可多报几个假警也不能漏掉一个真实火头所以一般把召回率放在第一位精确率放在第二位两者联合看。5.2 用随机森林做火点概率预测时的阈值调整如果你手里的包用的是随机森林很多脚本会直接以默认predict输出类别标签。问题在于默认阈值是 0.5但火点样本占比极低时模型输出的概率往往普遍偏低0.5 的阈值会漏掉大量潜在火点。我建议改成用predict_proba并自行选择阈值常见做法是通过验证集上的 PR 曲线确定一个兼顾召回率和精确率的阈值点也就是“拐点”位置附近from sklearn.ensemble import RandomForestClassifier from sklearn.metrics import precision_recall_curve import numpy as np model RandomForestClassifier( n_estimators300, max_depth10, min_samples_leaf3, class_weightbalanced, random_state42 ) model.fit(X_train, y_train) proba model.predict_proba(X_test)[:, 1] precision, recall, thresholds precision_recall_curve(y_test, proba) # 寻找召回率0.6时的最高精确率阈值 valid_idx np.where(recall 0.6)[0] best_t thresholds[valid_idx][np.argmax(precision[valid_idx])] print(推荐阈值:, round(best_t, 3))class_weightbalanced是第一个直接有效的处理不平衡参数的旋钮它给少数类样本更高的惩罚权重。其次是min_samples_leaf3防止模型在训练阶段记住个别极端像元的火点信号。用precision_recall_curve选择阈值这种方式比网格搜索更直观你能直接看到阈值变化时漏报和虚惊之间的权衡曲线然后在业务层面决定取舍。如果负责人明确说“漏报比虚惊严重得多”那就在阈值上主动下沉 0.05 到 0.10。5.3 特征重要性要结合场景解读不要只看数值排序随机森林训练后打印feature_importances_是很多人的标准动作但这个数值排序不是故事全部。我在实际项目里见过一个非常误导的结果某次训练产出的重要性排序第二是“高程”直觉很奇怪。仔细一查是因为火点样本大多在低海拔地区采集而整个研究区的高海拔区域极少有火点记录模型其实是在学“哪里有人类活动”而不是“哪里容易着火”。这个例子说明特征重要性和因果关系是两码事。对特征重要性要结合业务常识判断合理性而不是机械接受排序。如果某特征重要性高到反常先回到数据分布层面检查而不是急着写报告。6. 森林火灾分析的高频翻车现场五个必踩的坑与对应解法6.1 坑一影像日期不统一云遮蔽导致 dNBR 大面积假阳性现象dNBR 图上出现大片“过火区”但实地确认后发现根本没有火烧的痕迹尤其在有山地阴影或薄云的沟谷区域特别常见。原因前后两期影像的云层位置不同薄云在短波红外波段非常敏感云层边缘阴影被误判成火烧迹地。解决第一时间对比两期影像的云掩膜文件把云覆盖区域直接剔除同时检查两期影像的成像日期差如果相隔超过 40 天植被可能已经自然恢复火烧信号的指数特征会被掩盖。比较稳妥的做法是用云掩膜文件把所有非 clear 像元标成 nodata再做 dNBR 计算而不是先算差值再去掩膜。6.2 坑二投影坐标系混用统计面积差了十几倍现象模块 A 算出的过火面积是 3000 公顷模块 B 用另一个矢量层算出来却只有 200 公顷。原因一个数据用的是经纬度坐标另一个是投影坐标直接在原始坐标因为经纬度一度对应的地面长度在不同纬度差别很大面积统计失败。解决我在前面提到了用一个扫描脚本统一检查入库数据这里再补充一点所有面积计算强制在投影坐标系完成如果计算流程需要经纬度做叠加就复制一份投影坐标系副本专门用于量算两个版本彻底隔离。6.3 坑三可燃物含水率模型把季节学成了常量现象某个随机森林模型在 1 月预测含水率一直在 20% 以上而到了 7 月也预测出类似数值完全不能反映旱季干燥程度。原因训练样本只有某一次实地采样的数据样本点恰好集中在一个小范围内的时间窗口模型没有见过不同季节和不同风速下的组合。解决合并多个月份的采样数据并且在特征中加入月份编号和连续干旱日数如果包里只有一个季节的采样数据那就老实承认模型只能用于那个季节不要外推到全年。6.4 坑四过火区矢量碎块没有过滤统计图“花”到没法看现象过火区输出图上密密麻麻全是针尖状小斑块图例不清楚统计表里的面积分布出现大量几平方米的微小多边形。原因二值化时没有做最小连通像元面积过滤噪点孤斑被全部转成了矢量并参与统计。解决在栅格转矢量前先用形态学开运算去掉孤立像元如果已经转成了矢量就按几何面积过滤掉小于 500 平方米的多边形再重新拓扑修复边界。不要嫌这一步麻烦它直接影响最终出图的可读性。6.5 坑五风险等级阈值是“看起来美观”的数字缺乏验证现象火险区划图五色分层很好看但和历史火点一对照很多火点落在中低风险区。原因分级阈值是根据数据分位数等距切割的而不是根据实际火点分布调优的。解决把每个等级的边界当参数而非常数用历史火点命中率作为目标函数做一次简单的一维搜索比如等级 4 的下限从 3.2 逐步改到 3.6每次统计命中率选择一个业务上可接受的平衡点。常见做法是把命中率目标定在 70% 以上这样区划图在汇报和决策场景中才有说服力。7. 把时间维度纳入验证留一季节交叉检验与更可信的最终成果火险模型最容易被人诟病的问题是“你拿过去拟合过去当然好”。为了避免这种质疑我建议你用一组更严格的时间维度验证方法。这个方法的核心思路是把数据集按“年份或季节”切分而不是随机切分逐年留出验证集。比如训练集用 2020 至 2022 年的数据验证集留 2023 年的数据模拟“用过去预判未来”。这样得到的性能指标会比随机切分低不少但更接近真实部署时的表现。实现上非常简单train_years df[year].isin([2020, 2021, 2022]) test_years df[year] 2023 X_train, y_train df.loc[train_years, feature_cols], df.loc[train_years, fire_label] X_test, y_test df.loc[test_years, feature_cols], df.loc[test_years, fire_label] model RandomForestClassifier(class_weightbalanced, random_state42) model.fit(X_train, y_train) proba model.predict_proba(X_test)[:, 1]这个验证逻辑在评估火险模型时能暴露一个常见问题模型可能在训练年份的植被状态上过拟合在来年春季如果出现异常高温或长期干旱预测概率会整体失真。如果验证结果下降太明显我会回去检查特征里是不是包含了年份相关的间接变量。比如某个区域逐年绿化覆盖度趋势很强模型可能在拿“年份”当隐含信号而火灾事件本身真正依赖的是当年天气情景。另一种验证方式是分区域验证把研究区按流域或行政区切块一部分用于训练另一部分用于验证检验模型空间外推能力。这两种方法可以结合使用“时间外推”验证预警有效性“空间外推”验证区划迁移性两个方向都通过才说明模型站得住。做完时间维度验证后一个容易被忽略的细节是输出成果的空间质量。火险评分栅格如果直接以模型输出的格式交付强烈建议做一次后处理用 3×3 窗口中值滤波消除椒盐噪声再按研究区边界裁剪避免区划图边缘渗到相邻辖区。我在早期做某森林防火分析项目时因为少做了中值滤波这一步汇报图上出现大量单像元级别的极高火险碎点被业务方追问是不是真实信号场面相当尴尬。从那时起我就把所有概率输出先滤波再做分级。关于森林火灾分析方案值不值得继续投入我的判断是这个方向在遥感数据不断丰富、灾害预警需求持续上升的背景下具备非常可靠的长期价值。但它的价值不在于“你能跑通一个脚本”而在于你能否在解释指标、调整阈值、验证模型上形成自己的一套判断体系。工具和包会过时数据源会换但这套“先想清楚要什么—再做链路验证—最后用业务指标检验”的工作方式不会过时。我个人的习惯是每次拿到新数据包先花 30% 的时间梳理结构与坐标参考再花 50% 的时间做特征与验证最后只留 20% 时间给调参和出图——这和我早期“拿到数据就训练模型”的做法相比产出快了很多翻车也少了。希望这些思路和参数对你手里的“森林火灾分析.rar”能带来一点实际的帮助。本文还有配套的精品资源点击获取