资讯动态

Large Language Models for Sentiment Analysis to Detect Social Challenges: A Use Case with South A...

发布时间:2026/8/16 21:33:32 来源:尧图企业网站定制
一、文章主要内容总结该研究聚焦于利用大型语言模型(LLMs)对南非社交媒体帖子进行情感分析,以识别社会挑战。核心内容包括:研究背景与目标:南非作为多语言国家(12种官方语言),低资源语言的情感分析工具匮乏,而社会挑战的精准识别对政府施策至关重要。研究旨在评估主流LLMs在英语、塞佩迪语(Sepedi)和茨瓦纳语(Setswana)中的零样本情感分析性能,覆盖就业、卫生、教育等10个南非政府重点关注的议题。实验设计:数据集:构建SAGovTopicTweets语料库,包含16,787条三种语言的社交媒体帖子(原Twitter数据),均匀覆盖10个议题。模型选择:测试GPT-3.5、GPT-4、LLaMa 2、PaLM 2、Dolly 2五种主流LLM,并采用多数投票法融合模型输出。评估指标:以人工标注为基准,计算情感分类错误率和F1分数,同时定义“整体情感分数”(范围-1至+1,衡量议题需干预的紧急程度)。核心结果:单模型性能:GPT-4表现最优(整体错误率8.2%),其次是PaLM 2(9.2%),GPT-3.5、LLaMa 2、Dolly 2性能相近(整体错误率11.5%-12.5%)。融合模型优势:多模型融合后错误率降至0.2%-0.9%,F1分数达97.5%,显著优于传统深度学习方法(如BERT的F1分数82.7%-86.0%)。语言与议题差异

读完文章,也想定制专属网站?

尧图设计师 24 小时内与您沟通定制方案

免费获取报价