后端OCR企业应用【免费下载链接】paperlessScan, index, and archive all of your paper documents项目地址https://gitcode.com/gh_mirrors/pa/paperless点击查看免费下载导读Paperless 是一个基于 Django 构建的扫描文档索引与归档系统核心理念是不控制你的扫描仪只处理扫描仪产出的文件它监听一个消费目录用 Tesseract 对扫描件执行 OCR将识别出的全文连同文档元数据存入本地数据库并通过 Web 前端提供全文检索、标签/发件人筛选与 PDF 下载。阅读本文后你将掌握 Paperless 的端到端工作流消费目录 → OCR → 入库 → 检索 → 下载、完整的配置项体系消费目录、GPG 加密、OCR 语言、预处理钩子等以及从源码层面理解其消费管道与去重/自动归类机制的实现原理。Paperless 要解决的问题Paperless 的作者直言我讨厌纸纸质文档没有搜索功能、占用物理空间、备份意味着更多的纸。更现实的问题是人们经常在需要时找不到某份文档——要么把水费单保留两年后意外回收了要么干脆弄丢了。Paperless 存在的目的就是把一堆永远找不到的纸变成一个随时可全文检索的电子档案库项目描述是Scan, index, and archive all of your paper documents。围绕这一目标README 明确了 Paperless 的定位它不控制你的扫描仪只帮助你处理扫描仪产出的文件扫描件进入系统的方式FTP 推送、手动拷贝、邮件附件等由你决定Paperless 不关心文档如何进入本地消费目录扫描文档通常包含社保号、税务记录、发票等敏感信息因此安全设计尤其是加密与部署位置是使用本系统时必须重视的环节。工作方式五步构建可检索的电子档案库README 给出了从扫描到检索的完整工作流程这也是理解 Paperless 架构的最佳入口购置一台可写入网络位置的文档扫描仪——可以参考 扫描仪选型建议 页面。将扫描仪配置为扫描到 FTP或类似功能让它能自动把扫描图片推送到服务器如果扫描仪不支持自动上传手动拷贝也可以。Paperless 不关心文档如何进入本地消费目录。让目标服务器运行 Paperless 消费脚本对文件执行 OCR 并索引进本地数据库。使用 Web 前端在数据库中检索找到你想要的文档。通过 Web 界面下载所需的 PDF可以做任何你想做的事——甚至可以打印出来冒充原件寄出去大多数情况下没人会在意。这里第 3 步的消费脚本即document_consumer管理命令。从源码看Consumer 类 的文档字符串精确描述了每次消费的五个动作将文件转换为灰度 pnm 图像对 pnm 图像执行 Tesseract OCR将文档存入 MEDIA_ROOT可选 GPG 加密将 OCR 后的文本存入数据库删除原始文档与中间图像。而 document_consumer 命令 负责承载以上流程默认以无限循环运行在 Linux 上优先使用 inotify 实时监听CLOSE_WRITE | MOVED_TO事件非 Linux 平台则退化为轮询循环每次轮询间隔由CONSUMER_LOOP_TIME控制默认 10 秒。它还内置了邮件抓取功能每--mail-delta分钟默认 10 分钟检查一次邮箱。命令还支持--oneshot只跑一次与--no-inotify禁用 inotify等参数。技术栈一组强大工具的轻量封装README 明确指出Paperless 本身是一个简洁、漂亮、用户友好的外壳真正干活的是底层的成熟工具链组件作用ImageMagick在彩色与灰度图像之间转换convert命令Tesseract执行字符识别OCRUnpaper对扫描图像去噪点despeckle与纠偏deskewGNU Privacy Guard作为加密后端Python 3项目语言Pillow将图像数据加载为 Python 对象供 PyOCR 使用PyOCR围绕 Tesseract 的编程式封装Django项目所基于的 Web 框架Python-GNUPG即时解密 PDF允许用户下载未加密文件磁盘上保留加密副本这些依赖在配置层面均可覆盖。在 paperless/settings.py 中四个外部二进制都有独立的环境变量可指定路径PAPERLESS_CONVERT_BINARY默认convert、PAPERLESS_GS_BINARY默认gsGhostscript 用于缩略图生成失败时的回退、PAPERLESS_OPTIPNG_BINARY默认optipng用于优化缩略图、PAPERLESS_UNPAPER_BINARY默认unpaper。如果你的系统中这些程序不在$PATH里可以通过 paperless.conf.example 中的 Third-Party Binaries 段指定字面路径。配置体系一份 paperless.conf 管全局配置的核心是/etc/paperless.conf或/usr/local/etc/paperless.confsettings.py 在启动时用load_dotenv加载它所有PAPERLESS_*环境变量即成为 Django 配置。仓库根目录提供了可直接拷贝的 paperless.conf.example下面按配置文件的五个分区归纳核心变量。Paths Folders路径与文件夹变量默认值说明PAPERLESS_CONSUMPTION_DIR无消费目录必须存在且运行用户可读写。这是唯一必须设置的核心变量PAPERLESS_DBDIR安装目录/dataSQLite 数据库存放目录PAPERLESS_MEDIADIR安装目录/media所有文档文件的存储根目录PAPERLESS_STATICDIR安装目录/staticcollectstatic收集的静态文件目录PAPERLESS_MEDIA_URL/PAPERLESS_STATIC_URL/media///static/除非把 Paperless 挂在子路径下一般无需修改PAPERLESS_FILENAME_FORMAT空入库文件的命名格式支持目录占位符有{correspondent}、{title}、{created}、{added}、{tags[KEY]}标签形如key_value时、{tags[INDEX]}字符串标签按索引取。文件名末尾始终附加递增计数的主键以保证唯一性Security安全变量默认值说明PAPERLESS_DEBUGtrueDjango 调试模式生产环境必须关闭PAPERLESS_PASSPHRASE空不加密设置后文档以 GPG 加密存储。重要一旦用某口令消费过文档就不要再改否则无法正确导出旧文档PAPERLESS_SECRET_KEY内置默认值闭网运行可接受默认值公网部署必须改为唯一且冗长的密钥PAPERLESS_ALLOWED_HOSTS*逗号分隔的域名列表公网部署务必设置否则存在 HTTP Host 头攻击风险PAPERLESS_CORS_ALLOWED_HOSTSlocalhost:8080允许 CORS 的服务器列表供 AJAX 调用 API 使用PAPERLESS_FORCE_SCRIPT_NAME空在子路径如/paperless托管时的脚本名前缀无尾斜杠PAPERLESS_DISABLE_LOGINfalse小型私网单用户场景可设为true关闭认证会替换认证中间件Software Tweaks软件调优变量默认值说明PAPERLESS_POST_CONSUME_SCRIPT空消费完成后执行的钩子脚本PAPERLESS_PRE_CONSUME_SCRIPT空消费开始前执行的钩子脚本PAPERLESS_INLINE_DOCfalse为true时点击文档改为浏览器内联打开而非下载PAPERLESS_FILENAME_DATE_ORDER空启用从文件名解析日期如YMD文件名优先找不到再查正文PAPERLESS_FILENAME_PARSE_TRANSFORMS[]JSON 数组形式的文件名正则变换逐条按re.sub应用首个匹配即停止。示例可将 Brother ADS-2400N 扫描仪默认的Name_Date_Count文件名改写成可解析的格式PAPERLESS_OCR_THREADS所有 CPU 核限制 OCR 使用的线程数低资源设备如树莓派建议设置PAPERLESS_OCR_LANGUAGEengTesseract 默认语言ISO 639 三字母代码PAPERLESS_CONVERT_MEMORY_LIMIT0ImageMagick 内存上限MB报 unable to extend pixel cache 时调低如 32000000PAPERLESS_CONVERT_TMPDIR无ImageMagick 暂存路径/tmp 为 tmpfs 的小内存系统应指向物理磁盘PAPERLESS_CONVERT_DENSITY300文档转换 DPI。调低可显著减小临时文件体积并提速文档称 200 DPI 可让临时文件减小约 1/3、转换提速最高 4 倍但对 OCR 精度影响因文档而异需实测PAPERLESS_CONSUMER_LOOP_TIME10轮询消费目录的间隔秒数Linux 用 inotify此值被忽略PAPERLESS_FORGIVING_OCRfalse语言检测失败时是否继续消费为false则文件留在消费目录PAPERLESS_OCR_ALWAYSfalse为true时即使 PDF 内嵌文本可直接提取也强制 OCRInterface界面PAPERLESS_TIME_ZONE默认UTCPAPERLESS_FINANCIAL_YEAR_START/PAPERLESS_FINANCIAL_YEAR_END格式mm-dd设置后按财年显示文档过滤PAPERLESS_LIST_PER_PAGEWeb 界面每页条目数默认 100PAPERLESS_RECENT_CORRESPONDENT_YEARS最近发件人过滤器的时间跨度年0 表示禁用。Third-Party Binaries第三方二进制PAPERLESS_CONVERT_BINARY、PAPERLESS_GS_BINARY、PAPERLESS_UNPAPER_BINARY、PAPERLESS_OPTIPNG_BINARY——仅在程序不在$PATH时指定字面路径。消费目录把文档喂进系统的三种方式consumption.rst 详细说明了将文档导入数据库的三种途径消费目录、IMAP 邮件、HTTP POST。消费目录Consumption Directory消费目录是导入文档的主要方式。document_consumer脚本以无限循环运行不断查找该目录的新增文件找到后依次执行 OCR 解析、索引入库并在设置了PAPERLESS_PASSPHRASE时加密 PDF 存入媒体目录。把文件放进该目录的方式完全由你决定本机运行可直接拖拽服务器场景则需搭建 FTP如 Proftpd、Samba接收扫描仪推送。消费目录的位置由PAPERLESS_CONSUMPTION_DIR定义。从 Consumer 源码 可看到具体监听逻辑用os.scandir扫描目录仅处理普通文件文件必须持续0.5 秒未被修改FILES_MIN_UNMODIFIED_DURATION才认为写入完成随后按修改时间从旧到新逐个消费。消费成功的文件会被删除_cleanup_doc失败的则加入_ignore列表避免反复尝试。挂钩消费流程Pre/Post 钩子脚本如果需要在每次消费前后执行自定义操作Paperless 提供了两个钩子把脚本路径写入PAPERLESS_PRE_CONSUME_SCRIPT消费前执行或PAPERLESS_POST_CONSUME_SCRIPT消费后执行。重要提醒这些脚本以阻塞方式执行长时间运行的脚本会显著拖慢消费流程若需异步必须在脚本内自行 fork 子进程后退出。脚本被传入的参数按顺序如下Pre-consumption 脚本仅一个参数——文档文件名。文档给出的经典示例是先用pdf2pdfocr.py预处理 PDF再交给消费流程#!/usr/bin/env bash pdf2pdfocr.py -i ${1}配套配置/etc/paperless.confPAPERLESS_PRE_CONSUME_SCRIPT/usr/local/bin/ocr-pdf消费开始前文档路径会被传给该脚本脚本用 OCR 后的版本覆盖原文件并退出消费流程随即处理新文件。Post-consumption 脚本依次传入 8 个参数——文档 id、生成的文件名、源路径、缩略图路径、下载 URL、缩略图 URL、发件人Correspondent、标签。仓库 scripts/post-consumption-example.sh 提供了一个可直接参考的 Bash 示例完整演示了这 8 个参数的使用方式。IMAP邮件导入通过电子邮件把文档发给自己是另一种便捷方式典型场景是外出吃饭时把收据邮件发回家里服务器。使用要点默认禁用设置下列变量即启用仅在有限环境测试过不一定适用于你的环境设计上会在消费后删除服务器上的邮件——不要指向个人邮箱目前每封邮件只支持一个附件照片。启用步骤新建一个邮箱账户或在一个已有邮箱中建子文件夹并记录其路径在/etc/paperless.conf中设置邮件相关变量PAPERLESS_CONSUME_MAIL_HOST、PAPERLESS_CONSUME_MAIL_PORT、PAPERLESS_CONSUME_MAIL_USER、PAPERLESS_CONSUME_MAIL_PASS子文件夹场景还需设置PAPERLESS_CONSUME_MAIL_INBOX并设置PAPERLESS_EMAIL_SECRET——这个密钥必须出现在你发送的每封邮件中重启消费进程启动时会立即检查一次邮箱此后每 10 分钟检查一次给自己发邮件主题被当作文件名处理如Correspondent - Title - tag,tag,tag即可自动归档必须包含前述密钥主题只允许字母数字及-_ ,.安全字符几分钟后消费进程拉取邮件、把附件以恰当名称放入消费目录再过一会儿按普通文件导入。HTTP POST认证后还可以通过 HTTP POST 提交文档需要三个字段字段说明correspondent文档发件人仅允许字母数字及-、,、.、且不能包含-空格-连字符-空格title文档标题字符规则同上document上传的文件表单需指定enctypemultipart/form-dataPOST 文件时使用Content-Disposition: form-data; namedocument; filenamewhatever.pdfHTML 形式是典型的文件上传表单form methodpost enctypemultipart/form-data input typetext namecorrespondent valueMy Correspondent / input typetext nametitle valueMy Title / input typefile namedocument / input typesubmit namego valueDo the thing / /form更实用的做法是用 Pythonrequests库配合 BasicAuth 推送consumption.rst 原文示例import os from hashlib import sha256 import requests from requests.auth import HTTPBasicAuth # 通过 BasicAuth 认证也可用 session id username my-username password my-super-secret-password # Paperless 安装并监听的地址 url http://localhost:8000/push # 文档元数据 correspondent Test Correspondent title Test Title # 要推送的本地文件 path /path/to/some/directory/my-document.pdf with open(path, rb) as f: response requests.post( urlurl, data{title: title, correspondent: correspondent}, files{document: (os.path.basename(path), f, application/pdf)}, authHTTPBasicAuth(username, password), allow_redirectsFalse ) if response.status_code 202: # 一切正常 print(Upload successful) else: # 非 202 通常是凭证错误等这里打印粗略信息 print(We got HTTP status code: {}.format(response.status_code)) for k, v in response.headers.items(): print({}: {}.format(k, v))消费流程源码深度解析去重MD5 校验和_is_duplicate对每个待消费文件计算 MD5并查询数据库中是否已有相同checksum的文档——Document.checksum字段在 models.py 中被定义为唯一且不可编辑专门用于防止重复导入。这正是 README 隐含的索引归档能力的基石同一份文件无论推几次都只会入库一次。文件名猜元数据FileInfo 解析消费前的文件命名约定决定了文档的自动归类结果。在 models.py 中FileInfo.from_path按以下模式依次尝试解析文件名date - correspondent - title - tags.suffix correspondent - title - tags.suffix correspondent - title.suffix title.suffix支持的文件扩展名包括pdf、jpeg、png、gif、tiff、text、md、csvjpeg归一为jpgtif归一为tiff。解析出的发件人、标签会自动get_or_create日期格式为YYYYMMDD或YYYYMMDDHHMMSS后跟Z。在解析前还可通过PAPERLESS_FILENAME_PARSE_TRANSFORMS对文件名做正则改写。文件名的自动归类细节可参考 guesswork.rst 文档。标签匹配五种匹配算法入库时Consumer._store 会把Tag.match_all(text)的结果与文件名解析出的标签合并后打上。匹配算法定义在 MatchingModelAny任一关键词出现即匹配默认All所有关键词都出现不要求顺序Literal文本必须逐字精确出现Regular Expression以正则匹配Fuzzy Match近似匹配fuzz.partial_ratio 90适合 OCR 结果有瑕疵的文档。is_insensitive布尔字段控制是否忽略大小写默认忽略。OCR 管道灰度转换 → Unpaper → 语言检测 → 识别真正执行 OCR 的是 paperless_tesseract/parsers.py 中的RasterisedDocumentParser它通过 signals.py 声明接管pdf|jpe?g|gif|png|tiff?|pnm|bmp后缀的文件权重 0。整个管道包含跳过检测若 PDF 可直接提取文本且字符数 50_is_ocred且OCR_ALWAYS未开启则直接用内嵌文本不跑 OCR灰度转换ImageMagick 以CONVERT_DENSITY默认 300 DPI、8bit 深度、灰度模式把 PDF 转成多张 PNMUnpaper 处理多进程并行执行unpaper --overwrite去噪点、纠偏输出*.unpaper.pnm语言检测先 OCR 中间一页用langdetect猜测语言若猜测结果不在 ISO 639 表内且未开启PAPERLESS_FORGIVING_OCR则中止消费否则用匹配 Tesseract 的语言重新整篇 OCR每页还会尝试自动旋转矫正方向结果规整strip_excess_whitespace折叠多余空白便于后续标签匹配与全文检索。OCR 线程数由PAPERLESS_OCR_THREADS控制通过multiprocessing.Pool并行处理多页。日期检测DocumentParser.get_date 用内置DATE_REGEX在文件名若FILENAME_DATE_ORDER开启和正文中寻找日期覆盖DD.MM.YYYY、DD/MM/YYYY、YYYY-MM-DD、DD. MONTH YYYY、MONTH DD, YYYY等多种格式随后用dateparser按DATE_ORDER默认DMY解析并过滤超出 1900 至未来 5 年范围的值。检测失败时回退到文件修改时间作为created。存储与加密Consumer._store创建Document记录时会根据PAPERLESS_PASSPHRASE是否设置选择STORAGE_TYPE_GPG或STORAGE_TYPE_UNENCRYPTEDmodels.py_write方法在加密模式下用GnuPG.encrypted写入原文件与缩略图consumer.py。原始文件存放在media/documents/originals缩略图在media/documents/thumbnails文件名形如主键.pdf或按PAPERLESS_FILENAME_FORMAT生成加密文件追加.gpg后缀。Document模型的post_save/m2m_changed信号会自动把文件重命名为新格式并清理空目录models.py。数据库模型与检索前端核心模型定义在 src/documents/models.pyDocument发件人外键、标题、contentOCR 全文用于搜索的 TextField、file_type、标签多对多、唯一checksum、created/modified/added时间戳、storage_type与当前filenameCorrespondent、Tag均继承MatchingModel通过match文本与matching_algorithm实现自动归类Tag还带 13 种预设颜色Log消费日志按groupUUID聚合等级覆盖 DEBUG 到 CRITICALWeb 界面可查看。Web 前端提供全文检索content 字段带 db_index、发件人/标签过滤、按页浏览PAPERLESS_LIST_PER_PAGE、财年过滤PAPERLESS_FINANCIAL_YEAR_START/END与文档下载。后端是 Django admin 与 REST framework 的混合消费日志通过 loggers.py 的PaperlessLogger写入数据库。消费进程的启动与守护消费进程通过manage.py启动utilities.rst$ /path/to/paperless/src/manage.py document_consumer该命令持续运行退出即意味着不再消费新文档。后台常驻方式因系统而异仓库 scripts 目录提供 Systemd 服务文件paperless-consumer.service与paperless-webserver.service与 gunicorn 配置gunicorn.conf供参考。命令参数可通过--help查看包括directory、--loop-time、--mail-delta、--oneshot、--no-inotify。Docker 部署场景下docker-entrypoint.sh 会在启动时执行数据库迁移带锁文件防并发、映射 UID/GID、修正消费/导出目录权限并可经PAPERLESS_OCR_LANGUAGES自动安装额外的 Tesseract 语言包。安全注意事项扫描仪常被用于扫描敏感文档社保号、税务记录、发票等。README 特别强调虽然原始文件在消费时会被加密需设置PAPERLESS_PASSPHRASE但OCR 出的文本不会加密、以明文存入数据库因为需要可搜索。因此Paperless 绝不应运行在不可信的主机上建议部署在家中的本地服务器。项目状态、许可证与延伸README 的Project Status部分说明作者已将该仓库归档为只读并建议关注维护更活跃的 Paperless-ng 分支本项目采用 GPL 许可证允许任何人按许可证条款 fork 与自托管。仓库还列出了若干围绕它构建的生态项目Android/iOS 客户端、桌面 UI、Ansible 部署角色、Go 编写的 CLI 交互工具以及一个功能重叠的同类项目 Mayan EDMS。相关致谢见 THANKS.md多语言说明见 README-de.md 与 README-el.md。如果要在本地体验或自行部署可先阅读 docs/setup.rst 完成基础安装再用 docs/utilities.rst 中的管理命令如document_consumer、document_exporter、document_importer、create_superuser_with_password等位于 src/documents/management/commands/初始化与运维系统最后按本文的消费目录/邮件/HTTP POST 三种方式开始喂入文档。整个系统的核心行为都在 src/documents/consumer.py 与 src/paperless_tesseract/parsers.py 中深入阅读这两个文件即可对扫描 → OCR → 索引 → 归档 → 检索的完整链路建立精确认知。赞分享后端OCR企业应用【免费下载链接】paperlessScan, index, and archive all of your paper documents项目地址https://gitcode.com/gh_mirrors/pa/paperless点击查看免费下载相关推荐Paperless 使用指南从扫描到全文检索的文档归档系统搭建与消费全流程解析Paperless 使用指南从扫描到全文检索的文档归档系统搭建与消费全流程解析 Paperless 是一个基于 Django 的两进程式文档归档应用 con后端OCR企业应用Paperless 文档扫描归档系统解析从纸堆到可检索 PDF 的完整工作流Paperless 文档扫描归档系统解析从纸堆到可检索 PDF 的完整工作流 本文围绕仓库 README el.md 所描述的 Paperless 核心定位展后端OCR企业应用终极Paperless-ngx文档管理指南从扫描到归档的完整工作流终极Paperless ngx文档管理指南从扫描到归档的完整工作流 Paperless ngx是一个功能强大的文档管理系统能够将你的物理文档转化为可搜索的在后端前端全文检索OCR知识管理上一篇ZeroBot-Plugin技术导师指南培养新人成长下一篇Green Donut数据加载器详解如何解决GraphQL N1查询问题的完整解决方案创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考