资讯动态

RedOne: Revealing Domain-specific LLM Post-Training in Social Networking Services

发布时间:2026/10/20 10:57:11 来源:尧图企业网站定制
文章主要内容和创新点主要内容本文介绍了一款针对社交网络服务(SNS)的领域特定大语言模型(LLM)——RedOne,旨在解决现有模型在SNS场景中存在的单任务优化收益递减、难以适应多样化真实场景等问题。RedOne采用三阶段训练策略:持续预训练(CPT):通过大规模通用数据和SNS特定数据(如非正式讨论、情感内容、用户交互数据等),让模型掌握SNS领域的基础语言知识;有监督微调(SFT):针对SNS核心能力(内容理解、信息提取、语义匹配等6类)设计任务,结合通用指令数据,提升模型在特定任务上的表现;偏好优化(PO):根据任务类型构建偏好数据(主观任务依赖专家标注,客观任务利用数据标签结构),采用直接偏好优化(DPO)算法,使模型更符合人类偏好。实验结果显示,RedOne在8个主要SNS任务上平均性能提升14.02%,在SNS双语评估中提升7.56%;在线测试中,有害内容检测曝光率降低11.23%,浏览后搜索点击率提升14.95%,同时保持了较强的通用能力。创新点提出RedOne作为SNS领域的首个全面领域特定LLM,突破了单任务模型的性能瓶颈,为SNS平台提供了统一的基础模型支持。设计三阶段训练策略(CPT+SFT+PO),结合大规模真实SNS数据,在增强领域特定能力的同时,避免了通用能力的显著下降,实现了跨任务的优异泛化。通过全面

读完文章,也想定制专属网站?

尧图设计师 24 小时内与您沟通定制方案

免费获取报价 →
↑