简介《Pandas入门与实践》是一份面向Python初学者的数据分析入门课件内容聚焦Pandas在数据清洗、转换与聚合中的实用操作。课件以完整章节系统讲解Series、Index、DataFrame三大核心结构包括Series的多种创建方式、Index的不可变特性与集合操作、Series数据访问中loc与iloc的区别并在数据处理部分演示了dropna、fillna处理缺失值groupby实现分组聚合concat、merge完成数据合并等常用方法每一部分都配有可运行的代码示例便于边学边练。资料仅包含1个PPTX演示文稿压缩包大小3.59MB文件精简、内容精炼结构按知识模块递进适合高校教学、自学入门或快速回顾使用也可延伸到用Pandas操作Excel表格数据的场景。目前已有1200余人学习浏览这份课件既能帮助读者建立Pandas整体框架也能作为日常数据处理时的速查参考。1. 为什么数据分析第一站要选Pandas这两年Python数据分析方向的热度一直没降过搜索Pandas的人越来越多热搜榜上出现了大量pycharm怎么安装pandas包pandas droppandas读取excel文件这类问题说明大家不是不想学而是卡在了最基础的进门环节。很多人在安装、导入、读取数据这些第一步上就消耗了大量热情还没碰到数据分析的真正核心就被劝退了。Pandas在Python数据分析生态里的位置打个比方就是家常菜里的炒锅。NumPy提供了数组和数学运算的底层能力Matplotlib负责把结果画出来而Pandas负责中间所有和表格数据打交道的活儿——读取、清洗、筛选、分组、聚合、合并、透视、导出。做数据分析的人每天至少70%的时间是在跟DataFrame打交道而这恰恰是Pandas的主场。我见过不少初学者绕开Pandas直接去学机器学习算法结果处理数据时被搞到崩溃又要回头补Pandas的课。所以我的建议很直接不管你是做数据清洗、报表自动化还是机器学习特征工程Pandas都是必须趟过去的第一条河。这篇课件性质的实战笔记就是按照一条完整的数据处理链路来组织的——从环境搭建、核心数据结构到高频操作、分组聚合再到时间序列和性能优化覆盖了入门到进阶的核心知识点同时把实际使用中踩过的坑一并写出来。适合谁来读刚接触Python数据分析、看到Excel上百万行数据无从下手的同学以及已经会用Pandas做简单操作但想系统化梳理知识体系的新手。老手可以直接跳到第5章看性能优化和第6章的实战避坑应该也会有收获。2. 安装配置Pandas依赖栈与PyCharm集成细节2.1 安装Pandas的正确姿势pip与conda两条路线安装Pandas看起来是小事但很多人第一次就栽在这里。热搜词里pycharm怎么安装pandas包pandas安装pip install pandas openpyxl高频出现说明大家确实需要一条清楚可靠的安装路径。最常用的命令是pip install pandas以pandas 2.0以上版本为例安装时会在后台自动拉取NumPy、python-dateutil、pytz、tzdata这几个核心依赖。不过在实际安装时我强烈建议直接一步到位把常用的配套库一起装上pip install pandas openpyxl xlrd matplotlib这里解释一下原因openpyxl是Pandas读写.xlsx格式Excel文件的底层引擎xlrd负责旧版.xls格式的读取matplotlib则是后续做数据可视化时必用的库。分开装不是不行只是经常会出现Pandas装好了read_excel一跑就报错提示缺少openpyxl这种尴尬情况。如果你用的是Anaconda发行版直接用conda就完了conda install pandasAnaconda的默认源已经包含了pandas及其全部依赖conda会自动解决依赖版本冲突问题。这里多说一句如果你不是对包管理特别熟悉用Anaconda确实能省去很多依赖地狱的麻烦尤其Windows环境下用pip装某些科学计算包遇到编译错误的机会更大。2.2 PyCharm里安装Pandas的两种方式在PyCharm里装Pandas新手最容易困惑的是我明明在命令行pip install成功了为什么PyCharm里import pandas还是报错。核心原因只有一个PyCharm默认给每个项目创建了独立的虚拟环境venv你在命令行装的包进入的是系统全局Python解释器而PyCharm项目用的是虚拟环境里的Python两套环境互不相通自然找不到包。解决办法就两条在PyCharm底部Terminal终端里先执行python -m pip install pandas openpyxl这会安装到当前项目使用的解释器环境中。或者通过File - Settings - Project - Python Interpreter点右侧号搜索pandas然后Install Package。个人推荐第一种因为第二种方式在搜索包时网络超时的情况比较频繁而在终端里用python -m pip能确保安装目标解释器和当前项目一致。Windows用户如果遇到安装过程非常慢优先考虑切换国内镜像源阿里云源和清华源都比较稳定pip install pandas -i https://pypi.tuna.tsinghua.edu.cn/simple2.3 安装验证用一行代码测试环境安装完成后不要急着写业务代码先在解释器里跑一行import pandas as pd print(pd.__version__)如果能正常输出版本号比如2.1.4说明安装成功。如果这里就报错了基本可以确定是环境配置问题按上面说的检查虚拟环境路径即可。我见过太多人拿着ModuleNotFoundError: No module named pandas这个报错去搜索引擎翻半天其实只是装错了环境而已。3. 深入理解Pandas两大核心数据结构3.1 Series带标签的一维数组Series是Pandas中最基础的数据结构可以理解为一个带索引的NumPy数组。它有两个核心组成部分values数据值和index标签索引。import pandas as pd s pd.Series([85, 92, 78, 96], index[语文, 数学, 英语, 物理]) print(s)输出结果语文 85 数学 92 英语 78 物理 96 dtype: int64这里的index就是标签索引它给每个数据值起了一个名字。理解Series的关键在于它的索引机制比Python自带的列表灵活得多。列表只能通过位置下标0、1、2...访问而Series既可以通过位置访问也可以通过标签访问# 通过标签访问 print(s[数学]) # 92 # 通过位置访问 print(s.iloc[1]) # 92初学者经常搞混s[数学]和s.iloc[1]这两种访问方式的区别本质上要记住一个原则loc按标签取iloc按位置取。前者的标签是数学后者的位置是第1个。等到后面DataFrame的数据筛选这里的基础一定要打牢。3.2 DataFrame二维表格数据的操作中心DataFrame是Pandas的核心中的核心几乎所有真实场景的数据分析都建立在DataFrame之上。它是一个二维的、带行索引和列索引的表格结构可以想象成一个增强版的Excel表格。从字典创建DataFrame是最常见的入门方式import pandas as pd data { 姓名: [张伟, 李娜, 王强, 刘洋], 部门: [技术部, 市场部, 技术部, 财务部], 薪资: [15000, 12000, 18000, 10000], 入职年份: [2019, 2021, 2018, 2022] } df pd.DataFrame(data) print(df)输出姓名 部门 薪资 入职年份 0 张伟 技术部 15000 2019 1 李娜 市场部 12000 2021 2 王强 技术部 18000 2018 3 刘洋 财务部 10000 2022注意观察两个细节。一是行索引默认从0开始的整数序列这是Pandas自动生成的。二是每一列的数据类型是统一的而列与列之间可以是不同类型——这正是DataFrame比NumPy二维数组更适合处理真实业务数据的原因NumPy数组要求所有元素同类型但现实中的数据表天然就是混合类型的。3.3 关键属性与基础信息查看拿到一个陌生DataFrame第一步永远是摸清底细。我习惯性地会先跑下面几个方法# 查看前5行数据 df.head() # 查看数据形状行数, 列数 print(df.shape) # 查看列名 print(df.columns) # 查看每列数据类型 print(df.dtypes) # 查看统计摘要数值列 print(df.describe())df.head()能快速显示数据长什么样df.shape告诉你数据规模df.dtypes则非常重要——很多后续操作报错源头就是数据类型不对。比如某列看起来是数字实际上是字符串类型做求和时就会得到一连串的1500012000而不是27000。所以我拿到数据的第一步永远是先看dtypes心里有个数。3.4 为什么说索引是Pandas的银弹Pandas的索引机制是它区别于Excel和原生Python的一个重要设计。默认情况下DataFrame的行索引是0到n-1的整数但你可以把任何有业务意义的列设为索引# 将“姓名”列设为行索引 df.set_index(姓名, inplaceTrue) print(df)输出部门 薪资 入职年份 姓名 张伟 技术部 15000 2019 李娜 市场部 12000 2021 王强 技术部 18000 2018 刘洋 财务部 10000 2022设置了有意义的行索引之后按标签取数就变得非常直观# 获取张伟的所有信息 print(df.loc[张伟])Pandas的索引还有一个厉害之处是自动对齐。两个DataFrame做运算时Pandas会按照索引对齐数据而不是像NumPy那样机械地按位置对齐。这个特性在实际合并多个数据源时特别有用后面会展开讲。4. 高频操作实战数据读取、选择与清洗4.1 读写Excel文件的完整流程Pandas最吸引人的功能之一就是读写Excel这也是热搜词里pandas读取excel文件pandas读写excel文件常年霸榜的原因。一个真实的场景每天从业务系统导出一份Excel报表上百列、几十万行手工处理效率极低用Pandas几秒钟完成全部清洗和统计。读取Excelimport pandas as pd # 读取第一个sheet df pd.read_excel(销售数据.xlsx) # 读取指定sheet df pd.read_excel(销售数据.xlsx, sheet_name华东区) # 读取多个sheet dfs pd.read_excel(销售数据.xlsx, sheet_name[华东区, 华北区]) df_east dfs[华东区]这里有几个参数值得留意。sheet_name不写默认读第一个sheet建议明确指定避免sheet顺序变动导致程序出错。header参数控制表头所在行如果Excel里前几行是标题文字而不是列名需要设置header1或者header2来跳过。dtype参数可以强制指定某列的数据类型比如订单号这种看起来像数字但实际上是字符串的列如果不强制指定读取后前导零会丢失。写入Excel同样方便# 将多个DataFrame写入同一个Excel文件的不同sheet with pd.ExcelWriter(输出结果.xlsx) as writer: df_east.to_excel(writer, sheet_name华东区, indexFalse) df_north.to_excel(writer, sheet_name华北区, indexFalse)注意indexFalse这个参数。如果不设置Pandas会把行索引也写进Excel生成一列没有意义的0、1、2、3...这在导出给业务方时是比较低级的小失误。4.2 数据类型转换的常见坑热搜词里出现了pandas 数据类型转换和pandas drop这两类问题本质上是同一个根源数据类型不对导致筛选和删除操作结果不符合预期。最典型的一个例子是字符串型数字参与计算。假设某列销售额看起来是数字实际上读进来是字符串object类型此时对整列做求和会报错或者得到拼接结果。解决办法是用pd.to_numeric()做转换# 强制将某列转换为数值类型errorscoerce把无法转换的值变为NaN df[销售额] pd.to_numeric(df[销售额], errorscoerce)errorscoerce这个参数值得展开讲。它表示如果某个值无法转成数字就置为NaN缺失值。这在处理脏数据时非常有用——不干净的脏值不会让程序崩溃而是变成缺失值留给后续清洗步骤。同样的逻辑也适用于pd.to_datetime()把字符串日期转成标准时间格式时遇到格式不规范的日期值用errorscoerce处理掉避免整个程序中断。4.3 数据筛选loc/iloc/布尔索引数据筛选是Pandas使用频率最高的操作之一。很多初学者习惯用链式赋值df[df[列名] 数值][另一列]这种写法在读取时没问题但一旦涉及修改数据就极易触发SettingWithCopyWarning警告。正确做法是用.loc和.iloc# 布尔索引筛选选出薪资大于12000的记录 df_filtered df.loc[df[薪资] 12000] # 同时筛选行和列 df_result df.loc[df[薪资] 12000, [姓名, 部门]] # 按位置切片取前3行第1到第2列 df_slice df.iloc[:3, 1:3]强调一下布尔索引的原理df[薪资] 12000这个表达式会生成一个由True和False组成的布尔Series.loc拿到这个布尔Series后会保留对应位置为True的行。这个机制是整个Pandas筛选逻辑的基石也是后面链式操作的基础。4.4 缺失值处理与去重删除数据清洗量大头是处理缺失值和重复值。过关的操作是下面这三板斧# 检查缺失值 print(df.isnull().sum()) # 删除含有缺失值的行 df_cleaned df.dropna() # 填充缺失值 df_filled df.fillna({薪资: df[薪资].median(), 部门: 未知})一个大原则是不要一上来就dropna()把所有含缺失值的行删掉。真实数据里缺失值可能只集中在某一列如果这列缺失比例达到20%直接删行会损失大量有用信息。正确的思路是先isnull().sum()看每列的缺失情况再决定是删行、删列还是填充。薪资这类数值列用中位数或均值填充比较稳妥部门这种类别列用未知或众数填充更合理。删除列的操作用drop# 删除指定列axis1表示按列删除 df df.drop([备注, 临时字段], axis1)另外drop默认返回新对象不会修改原DataFrame需要加inplaceTrue才会原地修改或者像上面一样重新赋值给原变量。这个细节经常被忽略导致代码运行了但数据没变。4.5 链式操作提升清洗效率真实项目的数据清洗往往是多个步骤串联可以用链式调用来写代码更紧凑df_clean (df .drop_duplicates() # 删除重复行 .dropna(subset[订单号]) # 只查看订单号列缺失值对应行删除 .assign(销售额lambda x: pd.to_numeric(x[销售额], errorscoerce)) # 类型转换 .query(销售额 0)) # 过滤异常值这一套操作完成后原始数据基本就已进入可控状态可以进行下一步的分组和聚合分析了。这里注意我用subset[订单号]的方式让dropna只检查指定列比无差别的全行删除精细很多在处理宽表时尤其实用。5. 分组聚合与数据透视从明细到结论的关键一跳5.1 groupby的核心逻辑拆分-应用-合并分组聚合是Pandas中门槛最高的操作之一但一旦掌握了威力极大。groupby的核心思想可以拆成三步拆分把数据按照键分成若干组、应用对每组做聚合/变换/过滤、合并把结果拼接成最终输出。一个实际的业务场景销售明细表里有全国各区域的订单数据需要统计每个区域的销售额总额和订单量。result df.groupby(区域).agg( 销售额合计(销售额, sum), 订单量(订单号, count) ).reset_index()这段代码的输出就是一张新的汇总表每一行是一个区域列是统计指标。注意.agg()里用(销售额, sum)这种元组形式第一个元素是待聚合的列名第二个元素是聚合函数。这个写法比传统的groupby[列名].sum()更灵活因为它可以在一次操作中对不同列用不同的聚合方式。5.2 agg聚合函数的进阶用法agg在一次分组操作里做多个维度的统计实用性非常强。举个具体例子result df.groupby(部门).agg( 平均薪资(薪资, mean), 最高薪资(薪资, max), 平均入职年份(入职年份, mean), 人数(姓名, count) )这是偏平化的分组聚合写法。如果你需要的结果是每列保留原始列名、每种聚合函数各占一列的分层结构可以写成列表形式result df.groupby(部门)[薪资].agg([mean, max, min, count])两种写法没有绝对的好坏看后续输出的需要。偏平写法适合直接导出报表分层写法适合中间步骤的进一步计算。5.3 数据透视表Excel用户的无痛迁移如果你熟悉Excel的透视表那pivot_table上手应该非常快因为两者的逻辑是一一对应的。import pandas as pd pivot pd.pivot_table( df, values销售额, # 需要聚合的数值列 index区域, # 行维度 columns产品类别, # 列维度 aggfuncsum, # 聚合函数 fill_value0 # 空值填充为0 )这个操作在Excel里要拖拽好一阵子用Pandas一行代码就完成了。fill_value0把没有对应数据的格子填为0避免结果里出现一堆NaN让阅读体验变差。5.4 分组后筛选filter的巧用除了aggregategroupby还可以配合filter做分组筛选。比如筛选出平均薪资超过12000的部门filtered df.groupby(部门).filter(lambda x: x[薪资].mean() 12000)这里的lambda函数接收的是每个分组对应的子DataFrame返回True或False来决定是否保留这组。这种方式在处理分组级条件时非常好用比如筛选销售总额大于100万的客户群、保留样本量足够的分组等。6. 真实数据处理中的避坑清单与经验技巧6.1 读取大文件时常见的MemoryError热搜词里pandas库pandas下载背后隐藏的一类问题是数据量一大Pandas直接内存溢出程序崩了。一个常见的场景读取一个2GB的CSV文件Pandas默认会一次性把所有数据加载到内存这时候很容易MemoryError。解决办法不是换机器而是用chunksize分块读取chunk_list [] for chunk in pd.read_csv(big_file.csv, chunksize100000): # 对每个分块做初步处理 chunk_filtered chunk[chunk[销售额] 1000] chunk_list.append(chunk_filtered) # 最后合并所有处理过的分块 df_result pd.concat(chunk_list, ignore_indexTrue)chunksize100000表示每次只读10万行进入内存处理完释放再读下一批。整个过程内存占用能得到有效控制。另一个思路是在读取时只选取需要的列用usecols参数df pd.read_csv(big_file.csv, usecols[订单号, 销售额, 区域])这个优化对宽表的提升极其明显有些场景下能把内存占用降到原来的十分之一。6.2 SettingWithCopyWarning不是bug但你必须重视这是Pandas新手最容易遇到的问题之一。用一个布尔筛选拿到一个子DataFrame后直接对子DataFrame赋值Pandas会抛出SettingWithCopyWarningdf_sub df[df[部门] 技术部] df_sub[备注] 技术线 # 这里会触发警告这个警告的意思是你操作的可能只是一个临时视图view而不是原数据的副本copy。修改这个视图有可能改不到原数据也可能改到了行为不确定。正确做法是在筛选后就明确复制一份df_sub df[df[部门] 技术部].copy() df_sub[备注] 技术线加个.copy()既消除了警告也明确了语义我要的就是一份独立的副本后面的修改不影响原df。这算是我给所有入门者的一条军规级别的建议。6.3 inplaceTrue该不该用inplaceTrue这个参数社区里争议不小。我个人的态度很明确尽量少用除非你非常清楚自己在干什么。原因有几个。一是很多初学者用df.dropna(inplaceTrue)之后发现代码没报错但就是没生效其实是上下文不对二是显式写df df.dropna()其实语义更清楚任何人都能看出你在修改df三是inplace参数并不是所有方法都有有些方法根本没有这个参数混用容易记混。所以我的建议是统一风格一律写成显式赋值的格式df df.dropna() df df.drop(备注, axis1)这样代码的可读性、可维护性都更高。6.4 时间序列处理的基本操作电商、金融、运营分析都离不开时间序列数据。Pandas对时间序列的支持非常完善热搜词里没直接出现时间序列但任何做月度销售分析的人都会用到。读取数据时让Pandas把日期列解析成时间类型df[订单日期] pd.to_datetime(df[订单日期])接下来可以很方便地按月/季度/年聚合# 按月统计销售额 df[月份] df[订单日期].dt.to_period(M) monthly_sales df.groupby(月份)[销售额].sum()dt.to_period(M)这个操作把每一条日期归到对应的月份然后直接groupby就完成了按月汇总。这个模式在业务中非常常用值得熟练。如果数据恰好是按日记录的且需要填充缺失日期df_daily df.set_index(订单日期).resample(D).sum().fillna(0)resample(D)是按天重采样会把缺失的日期补充进来配合fillna(0)把没有交易的日期填0。6.5 导出Excel时的小细节数据处理完成最后一步就是导出。导出有几个容易忽略的细节值得注意# 宽度调整、隐藏索引、sheet命名 with pd.ExcelWriter(最终报表.xlsx, engineopenpyxl) as writer: df_final.to_excel(writer, sheet_name汇总, indexFalse)一是indexFalse前面说过了避免导出无意义的索引列。二是如果导出的DataFrame特别宽Excel列宽不会自动适应打开后内容被截断需要在Excel里手动调列宽这个暂时没有特别优雅的Pandas原生解法可以考虑用xlsxwriter引擎设置列宽with pd.ExcelWriter(最终报表.xlsx, enginexlsxwriter) as writer: df_final.to_excel(writer, sheet_name汇总, indexFalse) worksheet writer.sheets[汇总] worksheet.set_column(A:E, 15) # 设置A到E列宽度engine从openpyxl换成xlsxwriter就能拿到worksheet对象来设置列宽格式参数。这种处理看起来不起眼但在交付给业务方的正式报表里是很能体现专业度的一个细节。7. 性能优化处理千万级数据的基础手段7.1 vectorized操作与apply的选择很多从Excel转过来的人习惯用apply逐行处理数据df[新列] df.apply(lambda row: row[单价] * row[数量], axis1)这段逻辑本身没错但在数据量大的时候速度很慢因为每一行都调用了Python函数性能开销很大。向量化写法则是直接用列之间的运算df[新列] df[单价] * df[数量]这个写法看起来平淡但执行时底层调用了NumPy的向量化计算速度差一个数量级是很正常的。在大数据量场景下向量化操作应该是首选。apply并不是完全不能用只是用它处理无法用列间运算表达的逻辑更合适比如逐行解析一个复杂字符串。7.2 减少不必要的复制操作Pandas的很多操作默认会返回新对象连续操作会不断产生中间副本内存开销非常可观。性能调优的两个方向要么减少中间变量的产生用链式操作把多个步骤串在一起要么充分利用chunksize分批处理避免一次性把所有数据加载进内存。对大多数入门到中级的使用者来说能做到能用向量化就不用apply、能用use_cols就不读全表、能分块就不一次性加载性能问题基本不会成为瓶颈。真正的极端优化是大数据框架比如Dask、PySpark该管的事Pandas阶段先把这些基础优化做好更务实。我在应对千万级数据文件时最常用的一套组合拳是usecols选列减少内存 chunksize分块处理 链式操作减少中间副本。三步走下来绝大多数单机场景都能顺利跑完。从安装到核心数据结构从筛选清洗到分组聚合从日常避坑到性能优化这一套流程走下来Pandas的整个知识体系就算是立起来了。剩下的就是遇到真实数据时多练踩过的每个坑都会变成你后续处理数据时的直觉判断。本文还有配套的精品资源点击获取