简介面向具备 Python 基础读者的《Pandas 数据分析实战》是一份 PDF 版实操教程共 1 个 PDF 文件压缩后 53.38MB已有 269 人学习。书中以近百个真实数据集案例为主线系统讲解 pandas 在科学计算、时间序列分析和数据可视化中的高级应用重点涉及数据清洗、分组聚合、时间序列重采样以及与 Matplotlib、Seaborn 的集成绘图。每个案例都配有分步解决方案并在 iPython Notebook 中给出可复现路径便于读者从数据选取与子集隔离开始逐步掌握布尔索引、多重索引、数据拆分重组与分组聚合等核心操作以及为机器学习任务整理杂乱真实数据的完整流程。内容还涵盖通过 SQL-like 操作合并多来源数据、在金融和科学场景中运用时间序列与统计计算并以目录化的方式呈现高质量配方适合按需检索或系统通读。读者学习后可明显提升数据处理效率形成高效、地道的 pandas 编程习惯并增强可视化洞察力在建模与报表制作等场景中更快获得可靠结论。1. 分析项目怎么落地——动手写码前的思路整理不管你是刚接触Pandas的新手还是已经用Python写过几段数据处理脚本的进阶选手拿到一份真实业务数据的时候最容易犯的错就是直接打开IDE开始写代码。我见过太多人做了半年数据分析打开CSV先来一句pd.read_csv()然后立刻开始drop、fillna忙活半天发现分析目标根本没想清楚产出的表格自己都觉得没价值。1.1 接到分析需求后的第一个动作先说一个真实场景。我接过一个电商店铺的订单明细数据十几万行字段有订单号、下单时间、商品类目、销售数量、单价、成本、客户城市、支付渠道等。老板只丢给我一句话“看看这个月生意怎么样。”“看看生意怎么样”不是分析目标。如果我直接开始折腾Pandas大概率会在数据清洗上耗掉大半天最后交出一堆流水汇总。正确的第一步是先拆需求通常我会习惯性问自己三个问题分析要给谁看老板看结论运营看细节不同受众要的不一样核心问题是什么是要看整体营收变化还是要找增长或下滑的原因数据能支撑到什么程度字段够不够周期覆盖是否完整有没有脏数据风险把这三个问题想清楚分析框架就出来了。比如这次我最终把“看看生意怎么样”拆成了四个具体方向整体销售趋势、类目结构变化、地区分布情况、支付渠道偏好。每一个方向都能对应到Excel透视表里的一类操作而用Pandas来做本质上就是把这些操作脚本化、可复用化。1.2 Pandas在完整分析流程中的定位数据分析的标准流程是数据获取→数据清洗→数据加工→数据可视化→结论输出。Pandas在这条链路里扮演的角色是“加工车间”它负责把原始数据变成干净、规整、可以喂给下一步分析的结构化数据。打个比方数据分析就像做菜。原始数据是刚从菜市场买回来的菜带泥带虫甚至有些叶子已经烂了Pandas是你手里的洗菜盆和砧板负责择菜、清洗、切配至于最终端上桌的菜品——也就是图表和结论——那是后续用Matplotlib、Seaborn或者直接输出Excel报表完成的。没有洗菜切配这一步再好的厨艺也白搭。搞清楚Pandas的定位很重要因为很多人学Pandas容易陷入“学API”的误区——今天学merge明天学pivot_table结果遇到真实数据还是无从下手。实际上Pandas的常用操作就那么几十个关键是要建立起“拿到数据先摸情况再逐步加工”的分析习惯。2. 环境准备与数据读取——从零开始搭好分析环境环境准备是Pandas实战的第一道坎。很多新手不是学不会Pandas而是卡在安装这一步就放弃了。我见过有人在网上照着教程装了三次都没成功最后发现是Python版本和Pandas版本不匹配。2.1 Pandas安装的两种主流方式安装Pandas本身并不复杂核心是选对方式。第一种直接pip安装如果你电脑里已经装好了Python最简单的办法是在终端或命令行里执行pip install pandas如果你用的是国内网络建议加一个国内镜像源速度快很多常规操作是这样pip install pandas -i https://pypi.tuna.tsinghua.edu.cn/simple第二种通过PyCharm安装用PyCharm做开发的同学可以直接在“File → Settings → Project → Python Interpreter”里点击“”号搜索pandas之后点Install Package。这个方法的好处是它会自动帮你匹配当前Python版本对应的Pandas版本不太容易出现兼容性问题。装完以后验证一下是否成功在终端里执行python -c import pandas as pd; print(pd.__version__)能打印出版本号就说明环境已经OK了。这里说一个我自己踩过的坑。Pandas版本升级到2.x之后有些旧代码会报AttributeError或者FutureWarning比如append方法在2.0版本中被移除了如果你在网上下载的旧教程代码里看到df.append()跑起来就会报错。建议安装时直接用最新版遇到旧代码报错就上网搜一下对应API是否已经过期这个问题在新版本里几乎人人都要碰上一次。2.2 读取Excel和CSV文件的实用参数数据分析的场景里Excel和CSV是最常见的数据源格式Pandas读取这两个格式的接口分别是import pandas as pd # 读取CSV文件 df pd.read_csv(sales_data.csv) # 读取Excel文件 df pd.read_excel(sales_data.xlsx, sheet_name订单明细)但实际业务中远没有这么简单。我拿到过的销售数据有的表头不在第一行有的文件编码是GBK而不是UTF-8有的Excel里有多个Sheet。如果不处理这些细节读进来的DataFrame简直是灾难现场。用read_csv读取中文文件时如果遇到UnicodeDecodeError通常是因为文件编码是GBK加上encodinggbk或encodinggb18030参数就能解决df pd.read_csv(sales_data.csv, encodinggb18030)读取Excel时如果发现数据不是从第一行开始的比如前面有两行标题说明可以用skiprows跳过df pd.read_excel(sales_data.xlsx, sheet_name订单明细, skiprows2)读进来之后第一步永远是摸数据底细我常用的“侦查四件套”是# 1. 看前5行数据 df.head() # 2. 看行列规模和列名 df.shape df.columns # 3. 看每列的数据类型 df.dtypes # 4. 看描述性统计 df.describe()这四句话能帮你快速判断数据长什么样、有没有明显异常、哪些列需要清洗。做完这一步再去写处理逻辑心里才真正有底。2.3 数据类型转换——最容易被忽视的坑Pandas分析中最常见的一个坑就是数据类型错乱。Excel里看起来是一个数字读进Pandas却变成了字符串时间明明是日期格式读进来却是object。后者导致排序错乱、计算报错而前者会让所有聚合结果出错。我处理过一个典型场景订单明细里的“订单时间”列读进来之后是object类型直接排序会出现“2024-1月排到2024-10月后面”的怪事。解决办法是用pd.to_datetime()转换df[订单时间] pd.to_datetime(df[订单时间])数值列如果发现有逗号或空格混在数字里比如“1,200”或“1200 ”用pd.to_numeric配合errorscoerce批量转换df[销售额] pd.to_numeric(df[销售额].str.replace(,, ), errorscoerce)str.replace用来去掉千分位逗号errorscoerce的作用是转换失败时填入NaN而不是报错中断方便后续统一清洗。这几个操作看起来简单但在真实场景里几乎每次都能用上。3. 数据清洗实战——哪些坑我替你先踩过了数据清洗在Pandas实战里的比重比你想象的要大得多。有句老话说“数据分析80%的时间花在数据清洗上”真的一点都不夸张。我第一次独立做数据分析项目时花了一整天清洗真正用来分析的时间反而只有两三个小时。3.1 缺失值处理的取舍逻辑拿到带空值的数据第一反应不要是“把空值删掉”或者“全部填0”。正确的思路是先搞清楚空值为什么存在。看一个实际的例子。订单数据里有一列“客户ID”如果某个订单的客户ID为空那通常说明这个订单可能是线下手工单或者测试单直接删掉影响不大。但“商品类目”为空就不一样了如果删掉就会导致该订单无法被归类。这时候要分情况处理。Pandas里最常用的几个缺失值处理方法是# 查看每列的空值数量 df.isnull().sum() # 删除含有空值的行 df.dropna() # 使用指定值填充 df.fillna({商品类目: 未知, 销售额: 0}) # 使用前后值填充适用于时间序列 df[销售额].fillna(methodffill)我自己的经验法则是当你对缺失值的业务含义不够确定时宁可先不处理也不要盲目fillna或dropna。一个稳妥的做法是把空值单独标记出来比如加一列“是否缺失”等分析到具体模块时再决定怎么处理。比如说分析“各支付渠道销售额”的时候支付渠道为空的那几单我可以直接跳过但分析“总销售额”的时候这几单又是实打实的收入不能删。这种场景在真实业务里太常见了。3.2 重复值识别与异常记录处理重复值比缺失值更容易被忽略。因为表格一多肉眼根本看不出重复在哪儿。用Pandas检查重复值# 检查所有列都相同的重复行 df.duplicated().sum() # 按指定列判断重复 df.duplicated(subset[订单号]).sum() # 查看重复的具体行 df[df.duplicated(subset[订单号], keepFalse)] # 删除重复值保留第一次出现的记录 df.drop_duplicates(subset[订单号], keepfirst)这里有个细节需要注意keepFalse的意思是把所有重复的行包括第一次出现的都标记为True方便你查看而keepfirst则是在去重时保留第一次出现的记录。如果你要检查某列是否有重复用后者如果你要查看所有重复的数据做人工判断用前者。至于异常值我见过最离谱的数据是销售数量一列里有个值是“-500”明显是系统bug或者测试数据。这种数据如果混进聚合计算会把平均销售量直接拉偏。处理异常值的思路是先找出来再看业务上是否合理# 找出销售数量为负数的记录 df[df[销售数量] 0] # 用四分位距IQR检测离群值 Q1 df[销售数量].quantile(0.25) Q3 df[销售数量].quantile(0.75) IQR Q3 - Q1 outlier df[(df[销售数量] Q1 - 1.5 * IQR) | (df[销售数量] Q3 1.5 * IQR)]对于确认是脏数据的记录直接删除或者修正都行对于疑似合理的离群值比如大订单可以保留也可以单独标注但一定不要静默处理。3.3 列名标准化与字段拆分的实用技巧真实拿到的数据列名往往是中文、英文、大小写混着来还有带空格和特殊字符的。比如同一份报告里既有“Sales”又有“销售额”还有“sales ”分析到一半才发现这些其实是同一个字段的不同写法。我的习惯是拿到数据后先做一次列名统一# 去除列名两端的空格统一转为小写 df.columns df.columns.str.strip().str.lower() # 批量替换中文列名为英文 df.rename(columns{订单号: order_id, 下单时间: order_time}, inplaceTrue)统一列名的好处是后续写代码不用反复纠结到底该用哪个名字而且做数据合并时对列名要求特别严格多一个空格都可能合并失败。字段拆分也是高频操作最典型的是从完整地址里拆出城市从身份证号里拆出生日期从支付时间字符串里拆出日期和时刻。用str方法就可以实现# 从“北京市朝阳区…”拆出前3位城市信息 df[城市] df[地址].str[:3] # 把“2024-06-01 14:30:00”拆成日期和时刻两列 df[日期] pd.to_datetime(df[下单时间]).dt.date df[时刻] pd.to_datetime(df[下单时间]).dt.hour4. 数据聚合与业务洞察——把明细数据变成分析结论数据洗得差不多了终于轮到Pandas真正发挥威力的环节——聚合计算。这一部分对应的正是Excel透视表的功能但灵活度和效率碾压Excel尤其是数据量大到Excel卡死的时候优势更加明显。4.1 groupby多维度聚合的核心玩法groupby是Pandas里最重要的聚合方法没有之一。它的使用场景覆盖了“按月汇总销售额”“按类目计算平均单价”“按城市和渠道交叉统计订单量”等一切分组统计需求。以电商订单数据为例最基础的按月汇总# 先提取月份列 df[月份] df[下单时间].dt.to_period(M) # 按月统计销售额、订单数、销量 monthly_summary df.groupby(月份).agg( 销售额(销售额, sum), 订单数(订单号, count), 总销量(销售数量, sum) ).reset_index()这里agg可以同时聚合多个字段括号里的写法是(列名, 聚合方式)非常直观。除了sum和count常用的还有mean、max、min、nunique等。多维度交叉统计同样简单。比如要分析不同城市、不同支付渠道的销售额city_channel df.groupby([城市, 支付渠道]).agg( 销售额(销售额, sum), 订单数(订单号, count) ).reset_index()跑完直接得到一个透视后的明细表。这个结果可以保存成Excel也可以直接用Pandas自带的plot方法可视化。4.2 派生字段与核心指标计算分析不只是汇总已有字段更多时候需要创造新字段。所谓派生字段就是基于现有的列计算出来的新列它往往代表了更有业务意义的指标。比如订单数据里单独看“销售额”和“成本”意义有限但看“毛利率”就能说明很多问题df[毛利率] (df[销售额] - df[成本]) / df[销售额]再比如分析复购率需要先按客户分组找每个人下单次数customer_stats df.groupby(客户ID).agg( 订单数(订单号, count), 消费总额(销售额, sum) ).reset_index() # 标记是否回头客下单次数大于1 customer_stats[是否回头客] customer_stats[订单数] 1这些派生字段才是真正能回答业务问题的核心。数据分析的价值不在于把流水账算清楚而在于从数据中发现模式——哪些类目利润高、哪些客户有复购潜力、哪些时段适合做促销。同样的底层数据会不会构造派生字段直接决定分析深度。4.3 聚合结果的保存与可视化出口分析结果最终要么落在图表上要么落到Excel里给业务同事查看。Pandas和可视化库、Excel的衔接都做得很顺手。导出Excel的时候我习惯同时输出多个Sheet把不同维度的分析结果放一起with pd.ExcelWriter(销售分析结果.xlsx) as writer: monthly_summary.to_excel(writer, sheet_name月度汇总, indexFalse) city_channel.to_excel(writer, sheet_name城市渠道, indexFalse) customer_stats.to_excel(writer, sheet_name客户统计, indexFalse)可视化直接用matplotlib或seabornPandas的plot方法也够用。比如画月度销售额趋势import matplotlib.pyplot as plt plt.rcParams[font.sans-serif] [SimHei] # 解决中文显示问题 plt.rcParams[axes.unicode_minus] False monthly_summary.plot(x月份, y销售额, kindline) plt.title(月度销售额趋势) plt.show()有一点需要注意Matplotlib默认在图表中不支持中文显示。如果图里出现方框就是缺少中文字体配置。上面代码里设置font.sans-serif为SimHei就是解决这个问题的。这是中文数据分析必踩的坑提前配置好能省很多事。5. 常见报错与排查经验速查Pandas用久了就能发现报错翻来覆去就是那几种。把高频问题整理出来遇到直接对照排查能省下不少搜索时间。5.1 高频报错速查表报错信息出现原因解决办法UnicodeDecodeError文件编码不是UTF-8读取时加encodinggbk或encodinggb18030KeyError: xxx访问不存在的列名先用df.columns查看实际列名注意中英文、空格ValueError: cannot reindex两个DataFrame的索引或列不一致用pd.merge()前先确认关联键的数据类型一致SettingWithCopyWarning在DataFrame切片后试图赋值用.loc或显式.copy()避免链式赋值AttributeError: DataFrame object has no attribute appendPandas 2.0版本移除了append方法改用pd.concat([df1, df2], ignore_indexTrue)ParserErrorCSV文件里有多余分隔符或引号加on_bad_linesskip或sep参数指定分隔符SettingWithCopyWarning是新手最常忽略的警告它不会立刻报错但会导致赋值不生效最后分析结果莫名其妙地出错。我之前就吃过这个亏——对df[df[城市]北京]切片后的对象赋值结果原表没变化排查了半天。记住一个原则对切片副本要赋值时要么直接用df.loc[df[城市]北京, 新列] value要么先.copy()再操作。5.2 数据量变大时的提速思路当数据量从几十万行涨到几百万行甚至上千万行时同样的Pandas代码执行速度会明显变慢。这时候有几个提速技巧非常实用。减少不必要的循环。Pandas新手最容易犯的错是用for循环逐行遍历DataFrame。同样的逻辑用向量化操作写出来通常快几十倍以上。比如要新增一列“订单级别”假设订单金额大于500为“高”否则为“低”。新手写法是for i in range(len(df)): if df.loc[i, 销售额] 500: df.loc[i, 订单级别] 高 else: df.loc[i, 订单级别] 低用np.where向量化一行搞定import numpy as np df[订单级别] np.where(df[销售额] 500, 高, 低)只在需要的列上做计算。如果只需要两三列做聚合先选出这些列再算会明显减少内存开销。df[[销售额, 城市]].groupby(城市).sum()比df.groupby(城市)[销售额].sum()多传了一列进去计算速度也有差异。善用category数据类型。如果你的某一列只有少数几个固定取值比如“支付渠道”只有“微信”“支付宝”“银行卡”把它转成category类型能大幅节省内存df[支付渠道] df[支付渠道].astype(category)这几个技巧加起来处理千万级数据也基本不会卡到跑不动足够覆盖绝大多数日常分析场景。5.3 从单一脚本走向可复用的小工具当你用一个Pandas脚本成功完成一次分析之后不要就此结束。我个人的经验是数据分析这项技能最大的提升来自于把一次性的脚本总结成可复用的工具。比如你这次写了“读取销售表→清洗→按月汇总→导出Excel”的过程完全可以把这个流程封装成一个函数下次拿到新的数据文件直接调用一个函数就出结果def analyze_sales(file_path, sheet_name): 从Excel读取销售数据输出月度汇总和城市渠道汇总。 df pd.read_excel(file_path, sheet_namesheet_name) df.columns df.columns.str.strip() df[下单时间] pd.to_datetime(df[下单时间]) df[月份] df[下单时间].dt.to_period(M) monthly df.groupby(月份).agg( 销售额(销售额, sum), 订单数(订单号, count) ).reset_index() city_channel df.groupby([城市, 支付渠道]).agg( 销售额(销售额, sum) ).reset_index() with pd.ExcelWriter(销售分析结果.xlsx) as writer: monthly.to_excel(writer, sheet_name月度汇总, indexFalse) city_channel.to_excel(writer, sheet_name城市渠道, indexFalse) return df, monthly, city_channel这样下次不管来什么格式差不多的数据一行代码就能完成整套分析流程。实际上我在做不同的分析项目时发现平时花点时间把这些通用逻辑沉淀成自己的函数库到真正赶项目的时候效率至少翻一倍。最后分享一个我在实际操作中的体会Pandas本身的函数学起来并不困难真正拉开差距的是你拿到一份毫无头绪的数据时能不能快速判断出该用什么处理步骤、该按什么顺序推进。多拿真实数据去练手是唯一的捷径。每次分析结束把走过的弯路、跳过的坑记录下来——这些经验积累起来比背一百个API都管用。本文还有配套的精品资源点击获取