简介这是江西金达莱环保股份有限公司2017年年度报告的PDF版本面向新三板投资者、环保行业分析师及关注水处理技术的从业者。报告完整呈现公司当年财务数据、管理层讨论、股本变动及股东信息并重点披露定向发行700万股、募资1.806亿元等资本运作详情有助于读者评估企业成长性与治理水平。同时报告详述FMBR兼氧膜生物反应器技术入选多地水污染防治目录、新增实用专利以及美国科罗拉多州、江西、江苏三地子公司设立等要点可帮助了解公司在技术研发与全球化布局上的进展。资源还记录了公司启动IPO并于2017年10月进入辅导期这一关键节点并包含财务报表、行业信息、公司治理与内部控制等完整章节。资源为单份PDF文件大小2.27MB内容目录结构清晰已有75人学习适合用于行业研究、公司尽调或财报分析参考。1. 把“金达莱2017年年度报告.PDF”当成结构化数据来读先读版式再读数拿到一份新三板挂牌企业金达莱的 2017 年年度报告.PDF绝大多数人的第一反应是“PDF 解析直接抽文本”。但真跑过一遍就会知道年报这类文件恰恰是 PDF 里最难啃的一类封面、目录、页眉页脚、表格跨页、金额单位不一致每一处都在干扰抽取结果。反直觉的结论是做年报数据化正确顺序不是先解析文本而是先解析版式——章节锚点定位、表格结构判定、跨页续表拼接这三步走完数字抽取反而简单。本文把这套链路完整拆开目标读者是把公开披露文件变成数据库记录的工程师、做投研数据清洗的人以及所有被“看似规整、实则处处是坑”的年报 PDF 折磨过的同行。2. 用 pdfplumber 把 2017 年度报告的章节锚点先抠出来2.1 为什么年报抽取的第一件事是定位章节而不是直接抽表格年报正文有固定的章节顺序但 PDF 页面没有“章节”这个概念。如果直接按页遍历所有文本拿到的是一堆带坐标的字符碎片既不知道这段文字属于“经营情况讨论与分析”也不知道后面的数字对应的是利润表还是资产负债表。因此第一步是把章节标题作为锚点找出来把 PDF 切分成带语义的区块后续所有表格抽取和字段提取都在各自区块内进行。选型上我一般用 pdfplumber它在 pdfminer.six 之上提供了更干净的页面对象模型。page.extract_words()返回每个词的坐标、文本和字体信息page.lines、page.rects提供绘制线条和矩形框的数据。相比直接用 PDFMiner 自己处理坐标变换pdfplumber 把坐标统一成了以页面左上角为原点的标准坐标系这对中文年报足够好用。PyPDF2 不是不能用但它更适合做页面合并、拆分的文档操作拿不到字符级坐标做不了定位。2.2 用 extract_words 定位“第X节”与“注释X”两类锚点年报里最稳定的结构标记有两种正文章节标题形如“第三节 会计数据和财务指标摘要”“第十一节 财务报告”另一种是财务报告区块内的附注标题形如“注释1货币资金”“注释2应收账款”。前者用于切分大区块后者用于把表格和科目说明关联起来。写一个最小实现import re import pdfplumber # 章节标题正则匹配“第X节”开头的行X 为中文数字 SECTION_RE re.compile(r^第[一二三四五六七八九十百]节.*) # 附注标题正则匹配“注释N”开头的行 NOTE_RE re.compile(r^注释\s*\d[:].*) def find_anchors(pdf_path): anchors [] with pdfplumber.open(pdf_path) as pdf: for page_no, page in enumerate(pdf.pages, start1): words page.extract_words( x_tolerance2, # 同水平方向相邻词的合并容差单位 pt y_tolerance3 # 同垂直方向相邻词的合并容差 ) # 按 top 坐标排序后拼成行文本保留坐标信息 rows {} for w in words: key round(w[top], 1) rows.setdefault(key, []).append(w) for top, ws in sorted(rows.items()): line .join(w[text] for w in sorted(ws, keylambda x: x[x0])) if SECTION_RE.match(line) or NOTE_RE.match(line): anchors.append({ type: section if SECTION_RE.match(line) else note, text: line, page: page_no, top: top }) return anchors代码逻辑是基于坐标把同一行的词拼接起来再用正则匹配章节和附注标题。有两个点需要特别说明。第一是x_tolerance和y_tolerance中文年报的字符间距通常均匀2 pt 的水平容差可以让“注释 1货币资金”中间的空格正常合并但不会把左右两栏的文本并到一行后面处理金额数字时如果发现数字被拆得过碎可以把这个值调到 3-4。第二是锚点的判断条件不只是匹配文本还要记录page和top为的是后面切割区块时知道每个区块从哪里开始到哪里结束。目录页的大标题会干扰匹配处理方式见下一节。2.3 页眉页脚过滤与断行拼接的 3 个参数年报的页眉通常是公司简称加报告年度页脚是页码和“第X页 共X页”这些内容如果不加过滤会被当成正文参与解析。过滤规则我按坐标处理页面顶部 50 pt 以内和底部 40 pt 以内的文本直接丢弃。这个阈值适用于 A4 版式的年报遇到页边距特殊的文件可以先打印一页的页面尺寸确认。过滤之外真正影响文本质量的是跨行拼接。年报正文段落跨行时PDF 里的每一行都是独立的文本对象直接提取会把一段话切成三五行。判断逻辑很简单当前行末尾是句号、问号、感叹号或冒号就认为是段落的自然结束否则下一行继续拼到当前段落尾部。中文字符是等宽的不需要复杂的基线对齐判断。可以这样实现def join_lines(text: str) - str: # 去掉行末的连字符英文数字场景会出现 text re.sub(r-\n, , text) # 如果行尾是中文标点保留换行作为段落分隔否则直接拼接 text re.sub(r(?![。])\n, , text) return text注意正则里用的是零宽断言只匹配“行尾不是终止标点”的换行符。这么做能覆盖年报里 90% 的断行场景。剩下 10% 的例外出现在页面底部的强制分页——段落可能停在半句话上拼接逻辑会正确合并但最终文本里会缺少一个段落分隔对全文检索没问题对后续按段落做语义分析时需要注意。这里给出三个常用参数的参考值参数推荐值作用调大/调小的后果x_tolerance2-3 pt控制横向词合并距离太小导致长句子碎片化太大导致两栏文本粘连y_tolerance3-5 pt控制纵向行敏感度太小导致同一行拆成多条记录太大导致两行合并页眉高度阈值50 pt过滤页眉干扰设太小漏掉公司名和年份设太大误删正文标题第 2 章做完每一个章节标题、附注标题和所在页码都落到了结构化列表里后续就可以按区块操作了。3. lattice 和 stream 怎么选先看金达莱年报里的表格有没有线3.1 表格体检用 page.lines 和 page.rects 判断表格类型年报里的表格分两类有线表格和无线表格。资产负债表、利润表、现金流量表、所有者权益变动表这四大报表通常带完整的横竖线适合用 camelot 的 lattice 模式抽取股东名单、前十大客户、关联交易明细这类列表式表格很多只画了横向分隔线甚至完全没有线用 stream 模式更可靠。判断方法不需要人工目测直接统计页面的线条数量即可import pdfplumber def check_table_type(pdf_path, page_number): with pdfplumber.open(pdf_path) as pdf: page pdf.pages[page_number - 1] h_lines [l for l in page.lines if abs(l[y0] - l[y1]) 1] v_lines [l for l in page.lines if abs(l[x0] - l[x1]) 1] rects len(page.rects) return { horizontal_lines: len(h_lines), vertical_lines: len(v_lines), rects: rects }如果横向线条数超过 20 且纵向线条数超过 5基本可以判定这是一个带完整边框的表格lattice 模式能拿到干净结果。如果是“表头有横线、数据区无线”的表格比如股票明细或关联方列表lattice 会因为找不到闭合框而报错或返回空表此时切到 stream 模式。还有一种情况是表格框线被其他元素干扰比如表头文字下面有下划线rects数量会虚高直接用视觉检查不如多页交叉验证保险。3.2 camelot 抽取四大报表的两种配置确认表格类型后用 camelot 抽取。以 2017 年度报告中的合并资产负债表为例典型调用如下import camelot # lattice 模式抽取资产负债表pages 参数支持页码范围和列表 tables camelot.read_pdf( jin_da_lai_2017_annual_report.pdf, pages58-61, # 合并资产负债表所在页 flavorlattice, # 有线表格用 lattice line_scale40, # 线条检测灵敏度默认即可 strip_text\n # 去除单元格文本里的换行符 ) df tables[0].dflattice 模式依赖表格线确定单元格边界参数line_scale控制线条检测的灵敏度默认值 40 对常见的黑色细线表格足够如果线条是灰色或打印后变淡可以提高到 60-80。抽取结果tables[0].df是一个 pandas DataFrame其中每一行是表格的一行每一列是单元格文本表头和数据没有区分需要后续按行内容判断。对于没有完整线条的表格改用 stream 模式tables camelot.read_pdf( pdf_path, pages72-73, flavorstream, table_areas[50,560,560,220], # 页面上限定区域格式为 x1,y1,x2,y2 columns[50,180,300,420,560] # 指定各列的纵向分割线位置 )stream 模式的核心不是空白间距的自动分析而是table_areas和columns两个参数。table_areas用左上角和右下角坐标圈定表格范围避免页面里的其他文本干扰列对齐判断。columns指定每一列的纵向坐标分界点最好先用 pdfplumber 打印出表格区域内每一列的x0坐标再回填到columns里。先自动识别再人工微调这是上手最快的流程。年报里的四大报表跨多页camelot 默认按页返回多个 Table 对象需要把相邻页的表格按行拼接。拼接前先看每张表的列数列数不一致的多半是表格线丢失导致列错位得回到参数上重新调而不是硬拼。3.3 跨页续表去掉重复表头保留表格语义跨页表格的典型特征是上一页末尾的行和下一页开头的行本来就是连续的但下一页会重新打印一次表头比如“项目”“附注”“期末余额”“期初余额”。直接把两页 DataFrame 拼起来中间会多出一行表头而且如果程序把它当成数据行后面所有类型转换都会炸。处理方式是对每页的首行做一次“是否是表头”的判定HEADER_KEYWORDS [项目, 附注, 期末余额, 期初余额, 本期发生额, 上期发生额] def is_header_row(row, column_count): # 表头行通常是文本行且包含常见表头关键词 if row.isnull().all(): return True text_cells [str(c) for c in row if str(c).strip() ! ] if len(text_cells) 2: return False hit_count sum(1 for c in text_cells if any(k in c for k in HEADER_KEYWORDS)) return hit_count 2 # 拼接时跳过每一页的重复表头 frames [] for t in tables: df t.df skip_first is_header_row(df.iloc[0], len(df.columns)) frame df.iloc[1:] if skip_first else df frames.append(frame) merged pd.concat(frames, ignore_indexTrue)is_header_row的核心逻辑是统计当前行里有几个单元格命中了表头关键词。有的表头只写“项目”和“金额”两个词命中数不够 2 个可以把判定阈值改成“至少命中 1 个且整行不含数字”。还有一种需要人工介入的情况表头本身跨两行比如“期末余额”上面还有一行合并单元格“2017年12月31日”此时只删掉其中一行会残留半截表头。稳妥的办法是打印出每页首行文本人工确认一次再把规则固化到代码里。年报抽取的很大一部分“脏数据”都是在这一步没做干净导致拼接后的表错位一列全部偏斜。关于合并单元格camelot 在 lattice 模式下会自动保留单元格间的合并关系单元格空白用空字符串表示而不是用 NaN这会带来一个后续问题数据行中间的某个字段是空字符串转数值类型时必须先把替换成None再处理。基于空格分割的 stream 模式面对合并单元格时表现较差因为columns指定的坐标在合并区域会强制拆列造成同一列内容出现在两列的拼接结果里。因此对于带跨行合并的表格优先用 lattice。4. 财务指标归一化金额单位、两期列序与附注编号的坑4.1 金额单位在表级判定不在行级猜测年报中的金额单位并不统一。利润表常见的表头标注是“单位人民币元”现金流量表可能是“单位人民币千元”附注明细里又变成“单位元”。如果直接从数字里猜单位一行行去判断“这个数是一亿还是十万”很容易因为数字本身的量级差异产生误判。正确做法是在表级做一次单位识别先提取表格标题下方、表头上方的文本区域用正则匹配“单位[:]”之后的内容把识别结果作为整个表格的元数据下发给所有数据行。UNIT_RE re.compile(r单位[:]\s*([\u4e00-\u9fa5])) def detect_unit(table_text): match UNIT_RE.search(table_text) if not match: return 元 # 年报默认单位是元 unit_str match.group(1) if 千元 in unit_str: return 千元 if 万元 in unit_str: return 万元 return 元识别到单位后统一换算成“元”存储这样做有两个好处第一后续对比不同年度的数据时不用再做一次换算第二字段进入数据库后可以根据单位字段做二次校验。有一点值得提醒个别公司会在附注的某个具体科目下单独标注“本表金额单位为万元”这种局部覆盖的情况不要全局处理而是把该科目的单位单独记录成一个字段。处理口径不统一是年报数据里最难从程序层面完全解决的规则引擎能拦截大多数剩下的靠人工审核标签解决。4.2 本期与上期列先认表头再认数据形态四大报表的两期数据列常见列名是“本期发生额”“上期发生额”或“期末余额”“期初余额”。平稳期抽取没太多问题但在两类情况下容易取反表头跨页断裂导致“本期发生额”被拆到上一页下一页从“上期发生额”开始程序把上期当成本期以及合并范围变更导致“上期发生额”的数字并不是上一报告期的期末数而是追溯重述后的数字。前者可以靠表头拼接修复后者属于披露口径问题抽取程序无法判断对错只能提示。处理列序时我用“表头优先、数据形态兜底”的策略。先检查抽取结果里是否包含“本期”或“期末”等字样的单元格有则按表头映射列没有则在每个单元格里查数字中的年份字段。2017 年年报里的“本期”数据通常是 2017 年“上期”数据是 2016 年但如果表格本身不含年份就只能按列位置当成“第一列数据是本期、第二列是上期”。这么做有风险需要在最后一步做勾稽验证。def map_period_columns(df): headers [str(c) for c in df.iloc[0]] if any(本期 in h or 期末 in h for h in headers): current_col next(i for i, h in enumerate(headers) if 本期 in h or 期末 in h) previous_col next(i for i, h in enumerate(headers) if 上期 in h or 期初 in h) else: current_col, previous_col 1, 2 # 默认第一列是本期第二列是上期 return current_col, previous_col4.3 附注编号回挂到科目用正则对齐“注释N”附注和报表科目的对应关系是年报数据结构化的重要一环。合并资产负债表里的“货币资金”科目在附注部分有一个编号“注释1”对应的详细说明。抽取程序需要做的是把报表中的科目名与附注编号关联起来。流程分两步先从附注区块抽所有注释N标题构造编号到内容的映射再回到报表表格里逐行匹配科目名和附注编号。实践中报表行末尾的附注列有时是空的、有时写“五、注释1”格式不统一。清理方式用正则提取里面的数字编号NOTE_NUM_RE re.compile(r注释?\s*(\d)) def extract_note_number(cell_text): match NOTE_NUM_RE.search(str(cell_text)) return int(match.group(1)) if match else None得到科目名到附注编号的映射后可以把“货币资金”后续的所有明细科目银行存款、库存现金等关联回同一个附注原文。这样做的价值在于财务报告中的附注往往是判断资产质量、负债结构的一手材料把报表数字和附注文本打通检索端的体验会好很多用户既能看到汇总数字也能一键看到明细构成。5. 入库前用三组勾稽关系卡一遍把“抽取完成”改成“校验通过”## 5. 入库前用三组勾稽关系卡一遍把“抽取完成”改成“校验通过”5.1 资产负债表恒等式校验抽取完成不等于数据可信。我习惯入库前做三组自动校验第一组最简单资产总计减去负债总计应该严格等于所有者权益总计。资产负债表是按“资产 负债 所有者权益”编制的抽取时如果某个科目发生了串行或缺失这个等式立刻会被破坏。校验时要注意的是合并资产负债表和母公司资产负债表要分开校验因为它们对应的数字本来就是两套。校验逻辑用 pandas 直接对列求和再比较即可差异稳定在 0.01 元以内视为通过超过这个阈值就说明存在解析错误。这个方法是标准的财务核对逻辑任何懂报表结构的工程师都能落地。5.2 期初期末勾稽校验第二组校验是年报间的期初期末勾稽。2017 年年报的期末数应该等于 2018 年年报的期初数2017 年年报的期初数应该等于 2016 年年报的期末数。这是专门用来查“跨页拼接错位”和“本期上期取反”这两类低级错误的如果 2017 年“上期发生额”被抽取程序错误地当成本期数勾稽校验立刻报数对不上。这里提示一个例外若当年发生同一控制下企业合并上期数会被追溯重述不再等同于上一年的期末数此时校验程序应输出“口径差异”而不是直接判定错误。有了勾稽校验抽取动作本身就变得更加顺畅因为程序在最后一步前都是中间状态任何错误都可能在后续被自动捕获风险变得可控。5.3 对账差异清单与人工复核第三组校验是把前面两步的结果输出成对账差异清单而不是简单输出“通过/不通过”。差异清单的形式可以是一个 Markdown 表格每一行记录一条差异字段包括报表类型、科目名称、期望值、抽取值、差额和差异类型报表科目期望值抽取值差额建议处置合并资产负债表负债合计一笔资产一笔负债千元/元人工复核合并利润表上期发生额与 2016 年报一致与 2017 年报相符口径差异人工复核把校验结果存成独立字段写入数据库比如validation_status review_required比直接修改数据更安全。年报抽取注定有一部分需要人看程序要做的是把“哪一行、哪一个科目、怀疑什么问题”清清楚楚列出来。对账表里再加上抽取时用的单位和原始坐标人工复核时直接定位到对应 PDF 页面即可。最后把复核通过的数据同步到查询服务时可以顺带输出字段级置信度勾稽校验通过、列对齐完整、单位明确的记录直接标记为高置信度反之标记为低置信度。字段级置信度是拉平机器抽取和人工核对之间空档的最好载体它不保证每个数字都对但保证每个数字的可信程度一目了然。本文还有配套的精品资源点击获取