后端AI 应用NLP【免费下载链接】xbergPolyglot document intelligence with a Rust core: extract text, metadata, images, tables, and structured data from 106 formats across 140 file extensions, plus code intelligence for 371 languages. Fifteen bindings, with CLI, REST API, and MCP server.项目地址https://gitcode.com/gh_mirrors/kr/xberg点击查看免费下载本文以 xberg 官方文档中的 extractive summarization 冒烟示例summarization_extractive_smoke为主线完整讲解如何用 Python 绑定在一行配置内开启 TextRank 抽取式摘要、max_tokens与strategy两个参数的真实语义、摘要结果的数据结构以及从句子切分、TF-IDF 相似度建图到 PageRank 迭代的完整实现链路。读完本文你将掌握在纯本地、零外部服务、结果确定性的前提下为任意多段落纯文本文档生成一段高质量 TL;DR 的完整实战方案。从冒烟用例说起一个只读配置即可触发的抽取式摘要xberg 的文档库中有一个自动生成的 Python 冒烟用例 summarization_extractive_smoke.md它描述的场景非常聚焦TextRank extractive summary over a multi-paragraph plain text document. Pure-Rust, deterministic, no external services required.即对一份多段落的纯文本文档用纯 Rust 实现的 TextRank 算法生成抽取式摘要——全程确定、无需任何外部服务不调用 LLM、不依赖网络推理。完整示例代码如下import asyncio from xberg import extract, ExtractInput, ExtractInputKind from xberg._xberg import ExtractionConfig async def main() - None: input ExtractInput(kindExtractInputKind(uri), urihttps://example.com/text/book_war_and_peace_1p.txt) config ExtractionConfig.from_json({\summarization\:{\max_tokens\:80,\strategy\:\extractive\}}) result await extract(input, config) print(result.results[0].summary) asyncio.run(main())整个用法只有三个关键动作用ExtractInput(kindExtractInputKind(uri), uri...)声明输入来源此处为 URL用ExtractionConfig.from_json(...)传入一段 JSON 配置其中summarization对象只需两个字段strategy extractive与max_tokens 80调用await extract(input, config)从result.results[0].summary中取出摘要。这个冒烟用例对应的 e2e 测试位于 e2e/python/tests/test_summarization.py其断言验证了三件事mime_type text/plain、summary.text非空、summary.strategy为extractive。SummarizationConfig配置strategy 与 max_tokens 的真实语义示例中通过 JSON 传入的summarization配置对应 Rust 核心中的SummarizationConfig结构体。它一共只有三个字段且serde(deny_unknown_fields)意味着传入了未知字段会直接报错字段类型默认值语义strategySummaryStrategyExtractive摘要策略extractive抽取或abstractive生成max_tokensOptionu32None摘要长度上限按空白分隔的 token 计None时后端采用内置默认值llmOptionLlmConfigNone抽象式后端所需的 LLM 配置抽取式策略下被忽略抽象式策略下必填从源码结构看strategy与max_tokens是抽取式摘要真正生效的两个字段llm仅服务于 abstractive 后端。官方指南 summarization.mdx 对两个后端的定位做了对比策略Cargo feature网络质量特征延迟Extractive默认summarization无需网络完全本地从原文中选取句子逐句级筛选典型小于 100 msAbstractivesummarization-llm依赖 LLM 提供商生成全新措辞可跨句概括取决于提供商关于max_tokens的语义官方文档特别强调了两者并不相同抽取式max_tokens是一个较宽松的输出 token 上限TextRank 选择器在追加句子一旦会超出该上限时即停止选句抽象式max_tokens只是提示模型大约输出这么多 token的提示词提示并非提供商的硬性上限提供商的请求限制由SummarizationConfig.llm.max_tokens单独控制。当max_tokens为None时抽取式后端会回退到内置默认值DEFAULT_MAX_TOKENS 150见下文源码。若只想用默认行为也可将配置写为{summarization:{strategy:extractive}}。对于 CLI 与 REST 服务同样的配置直接写入xberg.toml即可见官方模板 summarization_toml.md[summarization] strategy extractive max_tokens 200摘要的输出结构DocumentSummaryextract返回后摘要挂在result.results[0].summary上其类型是 Python 绑定中的DocumentSummary对应 Rust 侧的DocumentSummary包含三个字段字段类型说明textstr摘要正文一段纯散文strategySummaryStrategy生成该摘要的策略抽取式为extractivetoken_countint \| None摘要的近似 token 数按空白切分统计已知时返回Python 侧的SummaryStrategy枚举暴露EXTRACTIVE与ABSTRACTIVE两个成员见 _xberg.pyi。官方文档给出的 JSON 输出形态如下{ summary: { text: The contract sets out a 3-year support agreement with quarterly billing and a fixed escalation cap of 4%., strategy: extractive, token_count: 19 } }strategy字段由 Rust 侧的SummaryStrategy以snake_case序列化而来summary.rstoken_count则由textrank::token_count对摘要文本做split_whitespace().count()得到——这与max_tokens的计量口径完全一致都是空白分隔的 token 数。底层原理一SummarizationProcessor 如何被管线触发摘要不是extract内部硬编码的步骤而是一个注册在插件系统中的后处理器。核心实现在 summarization.rs触发条件should_process检查config.summarization.is_some()——只要配置里存在summarization对象处理器就运行处理阶段processing_stage()返回ProcessingStage::Middle即在管线中段执行空内容短路process中若result.content.trim().is_empty()直接返回不会产生摘要策略分发strategy为Extractive时走run_extractive为Abstractive时走run_abstractive后者受summarization-llmfeature 门控未启用或未配置llm会返回 validation 错误。run_extractive的关键调用链如下summarization.rsfn run_extractive(result: mut ExtractedDocument, max_tokens: Optionu32) - Result() { let language result .detected_languages .as_ref() .and_then(|langs| langs.first()) .map(String::as_str); let summary_text crate::text::summarization::textrank::summarize(result.content, language, max_tokens); apply_extractive_summary(result, summary_text); Ok(()) }注意两点其一摘要算法接收的language来自抽取结果的语言检测detected_languages首项用于选择停用词表其二apply_extractive_summary在 TextRank 产出为空时会向result.processing_warnings推入一条source summarization_extractive的警告Extractive summarisation produced no output for this document而不是静默丢弃——这让你能区分没有产出摘要与摘要器报错两种情形。管道级的验证测试位于 crates/xberg/tests/summarization_pipeline.rs它通过xberg::extract完整走通管线并断言配置了 extractive 后summary被填充、strategy Extractive、摘要长度严格短于原文不配置summarization时summary保持None。测试还特别关闭了use_cache因为结果缓存按内容 配置为键若复用旧的无摘要缓存会掩盖被测缺陷。该文件同时提供了一个用wiremock起本地 mock server、以 HTTP 路径复刻 e2e 场景的测试说明 URL 与本地文件走不同的提取路径。底层原理二TextRank 抽取式摘要的完整算法链路抽取式摘要的真正算法实现位于 crates/xberg/src/text/summarization/textrank.rs。模块文档概括了整体思路以句子为顶点、以 TF-IDF 余弦相似度为边权建图迭代 PageRank 至收敛选取得分最高的若干句子受max_tokens约束再按原文顺序拼接。入口函数summarize(text, language, max_tokens)依次执行以下步骤句子切分split_sentences以.、!、?、\n为终止符切分句子并吞并随后的空白字符。其单元测试验证了One. Two! Three? Four.被正确切成四句规模控制最多考虑MAX_SENTENCES 256个句子超出部分截断保证算法可控若文本为空或句子数 ≤ 1则直接返回None或原句本身单句文档直接透传停用词过滤与分词tokenize按非字母数字字符切分统一小写过滤长度小于 2 的 token 与停用词。停用词表来自 crate 内置的多语言表crate::stopwords由detected_languages首项驱动未知语言或None回退到英语resolve_stopwords中get_stopwords_with_fallback(lang, en)TF-IDF 向量化统计每个词在句子中的词频tf count / lenIDF 采用平滑公式((n 1) / (df 1)).ln() 1.0构造每句的稀疏向量余弦相似度建图句子两两计算余弦相似度低于MIN_EDGE_SIMILARITY 1e-6的边不建矩阵按列归一化形成列随机转移矩阵并记录无出边的 dangling 节点PageRank 幂迭代power_iteration初始分数均匀分布1/n阻尼系数PAGERANK_DAMPING 0.85遥传项(1 - d)/ndangling 节点的质量在每轮均匀再分配迭代上限PAGERANK_MAX_ITERATIONS 64当 L1 变化量低于PAGERANK_TOLERANCE 1e-4时提前收敛选句与排序select_top_sentences按 PageRank 得分降序依次尝试选句若累计 token 当前句 token超出预算则跳过该句第一句总能被选中凑满budget_tokens即max_tokensNone时取默认 150且至少为 1即停止最终将选中的句子按下标升序即原文顺序重新排序拼接为摘要。一个容易忽略的细节是摘要句子的顺序永远保持原文顺序而非得分顺序——这保证了摘要读起来通顺连贯。模块内的单元测试也覆盖了关键性质summarize输出非空且不长于原文、优先挑选与主题相关句子机器学习示例中会命中 machine/deep learning 相关句、summarize_is_deterministic验证同一输入两次调用结果完全一致、未知语言回退英语、空输入返回None、以及 token 预算被严格尊重。冒烟用例背后的测试与验证闭环该冒烟用例不是孤立的文档片段而是由 alef 驱动的端到端测试体系的一环其事实约束来自配套 fixture fixtures/summarization/extractive_smoke.json输入mock 服务器在/text/book_war_and_peace_1p.txt返回200与application/octet-stream内容正文来自仓库测试语料配置{summarization:{strategy:extractive,max_tokens:80}}断言请求不报错、results[0].mime_type text/plain、results[0].summary.text非空、results[0].summary.strategy extractive呈现文档渲染时只展示results[0].summary路径。Rust 侧的管道测试 summarization_pipeline.rs 与 Python e2e test_summarization.py 构成了双层验证前者在最低层级复现并修复处理器套件全绿但端到端summary is None的间隙后者以真实绑定 API 走完 HTTP 提取路径。这组测试链直接印证了本文开头示例代码的正确性与可运行性。使用建议与边界综合官方文档 summarization.mdx 的指导抽取式摘要适合以下场景需要一段话的 TL;DR 用于搜索摘要、索引或快速浏览需要确定性、零网络的摘要结果抽取式是唯一选择需要对文档内容做无损于原文的句子级压缩。同时官方文档也明确了两类不该用抽取式的情形需要分章节摘要时应先对文档做 chunking再对每个 chunk 单独摘要需要跨文档摘要时应逐文档摘要后再用 LLM 后端对摘要再摘要。另外summarizationfeature含 TextRank 后端默认随no-ort-target、wasm-target、android-target、full等目标编译summarization-llm才是抽象式后端的开关。因此当你需要的是不开任何外部服务、结果可复现、延迟稳定的摘要能力时strategy extractive的配置一行即可到位——这正是本文示例的全部要点。赞分享后端AI 应用NLP【免费下载链接】xbergPolyglot document intelligence with a Rust core: extract text, metadata, images, tables, and structured data from 106 formats across 140 file extensions, plus code intelligence for 371 languages. Fifteen bindings, with CLI, REST API, and MCP server.项目地址https://gitcode.com/gh_mirrors/kr/xberg点击查看免费下载相关推荐Xberg Kotlin/Android 抽取式摘要实战基于 TextRank 的纯 Rust 文档摘要Xberg Kotlin/Android 抽取式摘要实战基于 TextRank 的纯 Rust 文档摘要 导读 本文围绕 Xberg 仓库中的 Kotlin/后端AI 应用NLP基于 xberg 的 C 实战用 TextRank 抽取式摘要处理多段落纯文本文档基于 xberg 的 C 实战用 TextRank 抽取式摘要处理多段落纯文本文档 本篇指南聚焦 xberg 文档智能引擎中一个具体而典型的场景——在 C 后端AI 应用NLPxberg C FFI 实战用 TextRank 抽取式摘要在纯 Rust 核心上生成确定性文档摘要xberg C FFI 实战用 TextRank 抽取式摘要在纯 Rust 核心上生成确定性文档摘要 本篇基于 xberg 的 C 语言绑定讲解如何通过 F后端AI 应用NLP上一篇Wand-Enhancer快速教程5分钟搞定WeMod增强与手机远程控制的完整指南下一篇GeoIP 终极指南快速实现IP地址地理定位的完整解决方案创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考