Paper Reading: GLUE1. 引言最近看论文突然脑子中蹦出了这么一个感觉看论文是不应该先把论文看厚了然后再把论文看薄了这论文也就懂了O(∩_∩)O这篇论文是在看BERT的时候里面有一个GLUE score的评价指标因为刚开始接触NLP,算是NLP的小白吧所以还是有很多要理解和学习的知识。进入正题GLUE是什么General Language Understanding Evaluation(GLUE) benchmark,用于评估各种现有不同的natural language understandingNLU的任务中模型的性能。全文名称为GLUE: A MULTI-TASK BENCHMARK AND ANALYSIS PLATFORM FOR NATURAL LANGUAGE UNDERSTANDING2. 任务类型那么具体由哪些类型呢数据集全称领域简介数据量评价方法CoLAThe Corpus of Linguistic AcceptabilitySingle-sentence Classification判断一个句子是否语法正确二分类任务train 8.5k test 1kMatthews correlation coefficientMCCSST-2The Stanford Sentiment TreebankSingle-sentence Classification判断一条电影评论积极或消极二分类任务train 67k test 1.8kaccuracyMRPCMicrosoft Research Paraphrase CorpusPairwise Text Classsification判断两个句子是否语义相同二分类任务train 3.7k test 1.7kaccuracy, F1 scoreQQPQuora Question Pairs)Pairwise Text Classsification判断两个句子是否语义相同二分类任务train 364ktest 391kaccuracy, F1 scoreSTS-BSemantic Textual Similarity BenchmarkText Similarity使用 1~5 的来表示两个句子的语义相似度论文中表述但是LZ实际下载数据是存在0-5之间的小数的所以感觉上还是做回归比较合适train 7k test 1.4kPearson/Spearman correctionMNLIMulti-Genre Natural Language InferencePairwise Text Classsification判断两个句子语义上的 entailment/contradiction/neutral三分类任务train 393k test 20kmatched acc./mismatched acc.QNLIQuestion Natural Language InferenceRelevance Ranking前身是SQuAD1.0给定问题从给定的文段中挑选出包含答案的 Top 1 选项二分类任务train 105k test 5.4kaccuracyRTERecognizing Textual Entailment)Pairwise Text Classsification判断两个句子是否能够推断/对齐二分类任务train 2.5k test 3kaccuracyWNLIWinograd Natural Language InferencePairwise Text Classsification判断两个句子的语义相似性二分类任务train 634 test 146accuracy这里LZ就做了个简单梳理如果小伙伴想要详细了解的话还是要自己阅读paper哈3. 参考https://www.cnblogs.com/guozw/p/13369757.html