做乡村振兴相关实证研究的同学大概率绕不开CSMAR这个数据库。我自己带过的研究生里面十个有八个在开题报告里写了“使用CSMAR乡村振兴数据库”作为数据来源但真到了要把数据拖进Stata跑起来的那一步不少人都卡在导入、清洗、匹配这些环节上。今天这篇就把我从下载数据到完成面板数据构建的完整流程捋一遍重点讲清楚RDV格式的数据要怎么处理以及我在实际使用中踩过的一些坑。内容更适合正在用CSMAR做乡村发展、农村金融、县域经济等题材的硕士、博士或者刚接触微观数据库的年轻老师看完基本可以对着操作。1. 先搞懂CSMAR乡村振兴数据库的“家底”1.1 数据库覆盖了乡村振兴的哪些研究维度很多人第一次进CSMAR官网面对一堆子库名称是懵的。乡村振兴数据库不是一个单表而是一组围绕“产业、生态、乡风、治理、生活”五个方向组织起来的子库集合。换句话说你论文里想要的农民收入、农林牧渔产值、农村金融、公共服务这类变量分散在不同表里需要按研究需要自己去拼。从我实际用下来的情况看最常见的几个数据模块可以整理成下面这样研究维度典型数据表可以支撑的选题方向产业兴旺农林牧渔业总产值、乡村企业数据、合作社信息农业产业升级、乡村产业集聚、特色农业生态宜居农村基础设施、环境卫生治理指标人居环境评价、生态政策效果乡风文明教育、医疗、文化设施、公共服务资源公共服务均等化、人力资本积累治理有效基层组织、村集体财务、财政收支乡村治理绩效、财政支农效应生活富裕农村居民可支配收入、消费支出、信贷数据减贫、收入分配、农村金融普惠这里要说一个经验很多同学下载数据时只挑自己回归要用的那几个变量结果写到稳健性检验才发现缺了关键的机制变量又得重新回官网下一遍。我的建议是第一次下载就把五个维度的核心表都拉下来哪怕暂时用不到也先在本地存一份。CSMAR的下载流程虽然不复杂但频繁重复下载很浪费时间而且不同批次下载的口径万一有调整后面还得返工。1.2 RDV格式到底是个什么东西标题里写了[RDV]这也是我今天重点想说的。RDV是Research Data Version的缩写可以理解成CSMAR专门为研究用途整理的数据版本。它和普通Excel导出版最大的区别在于RDV格式在变量命名、数据类型、变量标签的定义上更规范很多变量直接给了明确的标签一些代码表也会随着数据包一起提供。对Stata用户来说这意味着你不需要在变量含义上反复猜。普通导出版经常出现一堆类似x1、x2的列名你得对着说明文档一个个认RDV格式则会直接告诉你这列是“农村居民人均可支配收入”省掉大量翻译工作。而且RDV格式在数值精度、缺失值标记上也有统一的处理方式——缺失值不会莫名其妙变成空格或者文本这在做面板数据时非常重要。我个人的使用体感是如果只是临时看几个数Excel导出版够用如果要做正经的实证分析直接选RDV格式后面清洗成本能低不少。2. 数据下载到Stata导入一步步实操2.1 下载数据之前先想清楚这三件事下载页面打开以后别急着全选。先想清楚三件事第一你的观测单位是什么。乡村振兴数据库里不同表的观测单位差别很大有的是省级有的是县级甚至还有村一级的抽样数据。先确定自己的研究落在哪个行政层级再决定下载哪张表不然下载完发现单位对不上整张表就废了。第二时间区间怎么定。CSMAR在筛选年份时通常只让你选起止年份但要注意有些指标在早期年份覆盖很有限比如农村金融类指标2010年以前很多省份是缺的。我一般会先多下一两年的数据后面清洗时再根据有效覆盖情况裁剪。第三单位制和量纲是不是统一。这是最容易被忽视的地方。同一个数据集里有的指标单位是“万元”有的可能是“亿元”还有的是“元/人”如果不加处理直接放进回归系数解释起来会非常奇怪。所以下载完第一件事就是看字段说明里的单位一栏有条件的同学建议顺手把单位统一换算好。2.2 在Stata中完成数据导入数据下载下来通常是CSV文件。如果你在CSMAR页面上选择了RDV格式文件里会自带表头和变量标签导入Stata基本不需要额外处理。先把工作目录和日志文件建好clear all set more off cap log close log using xc_data_clean.log, replace cd D:/research/xiangcun然后导入数据import delimited using 乡村振兴-农村居民收入.csv, clear varnames(1) encoding(UTF-8) describe第一行命令里的varnames(1)表示把第一行作为变量名encoding(UTF-8)是处理中文变量名的关键。这里有个版本问题Stata 14以下的版本对UTF-8支持不好导入之后变量名会变成乱码需要先转码。如果你用的是老版本建议要么升级要么先用记事本把CSV另存为ANSI编码再导入。导入完成之后先跑一下describe看看数据长什么样。我见过不少人跳过这一步直接开始跑回归结果变量类型全是string回归报错半天找不出原因其实问题在导入环节就埋下了。2.3 顺手把工作目录和日志建好这里必须多说一句工作习惯的问题。CSMAR下载下来的数据往往是好几张表每张表的清洗步骤又不太一样如果不做记录过两周你再回来看这些代码大概率已经想不起来每个变量是怎么处理的了。我自己的做法是每个子库单独建一个do文件命名规则是序号_子库名_处理内容.do比如01_收入数据_导入与标准化.do。每跑完一步在代码旁边加一行注释说明这一步做了什么、为什么这么做。日志文件也统一存到一个log文件夹里方便回溯。另外导入后的数据我习惯先存成dta格式。CSV文件每次导入都要重新处理编码、变量类型而dta格式能保留变量标签和类型信息后续打开快很多。save 乡村振兴-农村居民收入.dta, replace3. 清洗与面板数据构建手工级别干货3.1 第一步把变量类型和标签规整到位导入之后第一件事是检查变量类型。CSMAR导出的CSV经常出现这类问题明明是数值型变量导入后却显示为string比如年份、区划代码、金额字段。处理方式很简单用destring强制转换destring 年份 省份代码 农村居民人均可支配收入, replace force这里force的作用是遇到无法转换的值时置为缺失而不是报错停掉。但我建议不要无脑加force。先不加force跑一遍看看有没有转换不了的值往往能发现数据里的异常项比如某个年份被录入成了“2009年”这种带文本的格式。先发现问题再决定怎么清理比直接忽略掉更稳妥。年份和区划代码这类变量有时候还需要进一步处理。比如CSMAR的行政区划代码在不同版本里可能有细微差异有的代码是6位数字代表县前4位是城市前2位是省份。如果你想做省级面板需要保留前2位并生成新变量gen 省份代码2 substr(string(省份代码,%06.0f),1,2) destring 省份代码2, replace注意这里先用了string(省份代码,%06.0f)目的是把数字补成6位字符串再截取前两位这样避免代码前导零被Stata自动丢掉导致匹配错误。3.2 第二步多表合并与面板数据构建乡村振兴研究很少只用一张表。比如你要做“农村金融发展对农民收入的影响”至少需要把农村金融数据和农村居民收入数据合并到同一个观测单位上。这个过程涉及CSMAR数据库最核心的一个操作多表关联。CSMAR一般会给你提供主键比如省份代码、年份。先用xtset把单张表定义成面板看看有没有重复值xtset 省份代码2 年份 xtdescribextdescribe能直接告诉你面板是平衡还是非平衡每个个体有多少期。这里经常出现的问题是同一对“省份-年份”出现了多条记录。原因五花八门有的是数据更新后出现了不同口径有的是字段筛选时有重复。这时候需要先查重复再处理duplicates report 省份代码2 年份 duplicates drop 省份代码2 年份, force千万慎用force一定要先report看清楚重复数量再决定。如果重复数量很大很可能是你筛选条件有问题得回下载步骤排查。处理完重复值再合并其他表merge 1:1 省份代码2 年份 using 乡村振兴-农村金融.dta合并之后要查看_merge变量重点关注那些没有匹配上的观测值。匹配不上的原因通常是两张表的时间区间不一致或者某张表缺某些省份的观测。这里有一个取舍是直接drop掉还是用其他数据源补齐我个人的习惯是如果缺的是自变量先保留样本再用插值法补如果缺的是因变量看缺的比例缺得太多就直接放弃该样本因为因变量缺太多会严重影响估计结果的可信度。3.3 第三步乡村振兴综合指数的构造思路如果你论文的目标变量不是单指标而是一个综合性的“乡村振兴发展水平”那就需要自己构造指数。这里介绍一个最常见的做法极差标准化加熵值法赋权。先说极差标准化。因为不同指标的量纲不同直接加权没有意义。正向指标和负向指标需要分开处理* 正向指标 egen min_x min(指标) egen max_x max(指标) gen 标准化 (指标 - min_x) / (max_x - min_x) * 负向指标比如农村贫困发生率 gen 标准化 (max_x - 指标) / (max_x - min_x)标准化之后用熵值法确定权重。熵值法的核心思想是某个指标在不同省份间的差异越大信息量越大权重就越高。具体步骤是先计算每个省份在第j个指标上的比重再计算信息熵最后得到权重。Stata里没有直接内置熵值法命令可以手动编程也可以用egen配合循环实现代码量不大。我这里给一个简化版的思路具体命令的写法网上很多不重复粘贴了核心是掌握逻辑第一计算每个观测在第j个指标所有样本中的比重第二用比重乘以其对数再求和得到信息熵第三用1减去信息熵得到差异系数第四将各指标的差异系数做归一化得到权重。最后用标准化后的指标乘以权重并求和就得到综合指数。这个指数构造出来之后建议先画一个时间趋势图看看各省的走势是否符合直觉。如果某一年出现明显异常跳动先别急着进回归大概率是原始数据出了问题。4. 实操中最容易踩的坑问题排查实录4.1 Stata导入CSMAR数据出现乱码乱码问题在中文数据分析里基本绕不开。特别是从CSMAR下载的CSV文件默认编码可能是UTF-8而Stata老版本默认按GBK读取两者不对齐就会出现类似“æå”的乱码。解决办法分情况Stata 15及以上版本导入时直接指定encoding(UTF-8)Stata 14或更早版本可以先在命令窗口执行unicode encoding set或者用另一个更土但有效的办法用记事本打开CSV另存为ANSI编码再导入Stata。乱码问题最好在处理早期解决因为一旦变量名乱掉后面所有代码都要跟着改非常痛苦。我通常会在导入之后立刻describe检查一遍变量名确认没问题再往下走。4.2 年份、区划代码被识别为字符串这个问题出现频率极高。原因是CSMAR导出时有些代码字段带前导零比如省份代码“01”Excel或CSV处理时会保留字符串格式Stata导入时自然也就成了string。处理方式上面提到过用destring转换。但这里有一个容易踩的深坑如果你直接destring 年份, replace年份可能没问题但区划代码如果是“110000”这种含前导零的数字转换后会变成数值110000看起来没问题但如果后续要和其他表合并而另一张表保留的是字符串格式就会出现“合并不上”的问题。我的习惯是在合并之前统一用substr把区划代码补成等长字符串然后再转换或者直接按字符串合并。宁可多一步操作也不要让格式不一致成为隐藏bug。4.3 面板数据出现重复观测值xtset或者xtdescribe报“repeated time values within panel”这个错误如果你没遇到过说明你的数据还算干净。一旦遇到先别慌跑一下duplicates report 省份代码 年份然后根据重复的具体情况决定怎么处理。如果是完全重复的记录duplicates drop直接删掉如果是同一年份不同口径的记录需要回到原始数据看取值说明确认哪一条是最终版本。这里还有一个容易被忽略的问题CSMAR有些表在更新之后会同时保留旧版数据和新版数据但报告期字段相同导致同一对主键出现两条记录。这种情况不能盲目删除最好从官网重新下载并在筛选中选择“最新版”或者“已修订”版本。4.4 数据量太大导致Stata运行卡顿乡村振兴数据库如果下到县级面板几十万行是常态。虽然Stata处理几十万行并不算吃力但如果你把每一张表都合并在一起再加入各种滞后项、交互项运行速度会明显下降。我的建议是数据处理和分析分步骤进行。清洗阶段只保留核心变量把不需要的变量全部drop掉需要计算滞后项时用普通变量生成而不是反复merge实在跑不动的考虑用gdata压缩或者把样本限制在主要研究的省份范围内。另外养成定期compress的习惯。Stata的compress命令能根据实际存储需求压缩变量存储格式比如把float压成int有时候能明显缩小dta文件的体积compress save 乡村振兴_核心样本.dta, replace4.5 常见问题速查表问题可能原因优先处理方法中文变量名乱码文件编码与Stata不匹配导入时指定encoding(UTF-8)或转换文件编码年份/代码为字符串CSV保留前导零导致文本格式destring转换注意先补前导零xtset报重复值数据重复记录或版本混杂duplicates report / duplicates drop严重时重新下载合并后样本大量丢失两张表的主键格式或范围不一致检查主键变量类型查看_merge结果回归出现缺失值报错指数构造时标准化产生的缺失检查原始指标缺失比例考虑插值或删除Stata运行缓慢数据量过大或变量冗余drop无关变量、compress压缩存储5. 关于数据习惯的几句真心话数据清洗这件事做得多了就会发现真正拉开效率差距的不是你懂多少高级命令而是你有没有一套稳定的处理流程。CSMAR乡村振兴数据库本身的数据质量在同类数据库里算是比较规整的但正因为数据维度多、表多处理流程如果不固定每次都会在同样的地方浪费时间。我自己做过三四年这类数据之后最大的感受是商用数据库已经把数据规范做得很好了剩下的功夫其实都在清洗和匹配上。如果你打算长期做乡村方向的实证建议从一开始就养成用do文件记录每一步的习惯每张表一个do文件每个变量都有注释这样无论以后数据更新还是选题转向你都能很快把数据重新捡起来。最后再分享一个小技巧下载数据时多看一眼“单位”这一列有些指标是万元、有些是亿元换算不统一的话分析结论很容易翻车。希望这篇能帮各位少走点弯路。