CSV输出模式使用指南概述PDF论文处理器支持两种CSV输出模式用于生成Dify知识库数据Merged模式推荐默认将所有信息合并到content列Standard模式三列独立格式content, metadata, source问题背景在使用Dify上传CSV时如果分隔符位置不当会导致chunk被错误切割破坏元数据的完整性。Standard模式的问题在Standard模式中CSV格式如下content,metadata,source 文本内容...SEPARATOR,{metadata},paper.pdf问题分隔符在content列末尾后面还有metadata和source列Dify可能无法正确识别分隔符的位置导致chunk边界不准确Merged模式的解决方案在Merged模式中CSV格式如下content,metadata,source 文本内容...[Metadata: {...}] [Source: paper.pdf]SEPARATOR,,优势所有信息合并到content列分隔符在最末尾Dify可以准确识别并切割元数据完整保留在content中使用方法默认使用Merged模式推荐python process_papers.py --input ./papers --csv-mode merged显式指定模式# 使用Merged模式推荐 python process_papers.py --input ./papers --csv-mode merged # 使用Standard模式不推荐 python process_papers.py --input ./papers --csv-mode standardCSV格式对比Merged模式推荐content,metadata,source This paper presents a novel approach for vulnerability detection using deep learning. [Metadata: {category: vulnerability_mining, category_cn: 漏洞挖掘, year: 2024, section: Abstract, char_count: 135, source_file: paper.pdf, title: Novel Approach}] [Source: paper.pdf]UNIQUE,,特点✅ 所有信息在content列✅ metadata和source列为空✅ 分隔符在最末尾✅ Dify可以准确分段Standard模式不推荐content,metadata,source This paper presents a novel approach for vulnerability detection using deep learning.,{category: vulnerability_mining, category_cn: 漏洞挖掘, year: 2024, section: Abstract, char_count: 135, source_file: paper.pdf, title: Novel Approach},paper.pdf特点⚠️ 三列独立⚠️ 分隔符在content末尾⚠️ 后面还有metadata和source列⚠️ Dify可能无法正确分段元数据结构在merged模式下元数据包含以下字段{ category: vulnerability_mining, category_cn: 漏洞挖掘, year: 2024, section: Abstract, char_count: 135, source_file: paper.pdf, title: Novel Approach for Vulnerability Detection }字段说明字段说明示例category论文类型英文vulnerability_miningcategory_cn论文类型中文漏洞挖掘year发表年份2024section所属章节Abstractchar_count字符数135source_file来源文件paper.pdftitle论文标题Novel Approach...Dify导入设置使用Merged模式登录Dify Cloud创建或进入知识库上传CSV文件配置分段设置分段标识符索引模式高质量Embedding模型选择支持中英文的模型开始处理使用Standard模式不推荐上传CSV文件配置分段设置分段标识符开始处理注意Standard模式可能导致chunk边界不准确元数据可能丢失。测试工具测试两种CSV模式python test_csv_modes.py这将生成两个对比CSV文件显示详细的格式对比验证分隔符是否正确添加验证生成的CSV完整工作流# 1. 处理论文使用默认merged模式 python process_papers.py --input ./papers # 2. 查看生成的CSV文件 ls output/ # 3. 在Dify中导入 # - 上传CSV文件 # - 设置分段标识符 # - 开始处理 # 4. 测试检索 # - 在知识库中测试查询 # - 验证chunk边界是否正确常见问题Q1: 为什么要使用merged模式A: Merged模式确保分隔符在最末尾Dify可以准确分段。Standard模式中分隔符后面还有列可能导致分段不准确。Q2: merged模式会占用更多存储空间吗A: 会稍微增加一些因为metadata和source被合并到content中。但这种差异可以忽略不计。Q3: 可以在Dify中使用standard模式的CSV吗A: 可以但不推荐。Standard模式可能导致chunk边界不准确元数据可能丢失。Q4: 如何验证CSV格式是否正确A: 使用测试工具python test_csv_modes.pyQ5: 可以切换模式吗A: 可以。使用--csv-mode参数python process_papers.py --input ./papers --csv-mode merged python process_papers.py --input ./papers --csv-mode standardQ6: 元数据在content中会影响检索吗A: 不会影响。元数据格式为[Metadata: {...}]格式清晰不会干扰语义理解。推荐配置研究现状总结python process_papers.py \ --input ./papers \ --chunk-size 800 \ --overlap 200 \ --csv-mode merged对比查新python process_papers.py \ --input ./papers \ --chunk-size 600 \ --overlap 150 \ --csv-mode merged创新点挖掘python process_papers.py \ --input ./papers \ --chunk-size 700 \ --overlap 180 \ --csv-mode merged领域展望python process_papers.py \ --input ./papers \ --chunk-size 800 \ --overlap 200 \ --csv-mode merged总结特性Merged模式Standard模式准确分段✅ 是⚠️ 可能不准确元数据完整性✅ 完整⚠️ 可能丢失存储空间稍大稍小推荐度⭐⭐⭐⭐⭐⭐⭐推荐使用默认的merged模式--csv-mode merged确保Dify能够准确分段并保留元数据。