1. 这个每日更新的 ArXiv CV 论文分享到底在做什么第一次看到这个标题你可能会觉得它只是一个普通的论文搬运帖。但真正跟过一段时间的人会明白一个坚持每日更新的 ArXiv 计算机视觉论文分享本质上是在做一件很硬核的事把每天新增的几十甚至上百篇论文压缩成一份能在十分钟内扫完、并且知道哪几篇值得深读的清单。它解决的不是我找不到论文而是我根本看不过来这个更现实的问题。ArXiv 的 cs.CV 板块每天新增的投稿量长期维持在一个很高的水位加上交叉列表里的内容一个人如果逐篇点开摘要光是把标题和摘要过一遍就要花掉一两个小时。而每日更新的价值就在于有人替你先做了一轮筛选和归类把 Transformer、LLM、扩散模型、3D 重建、目标检测这些方向分开摆好你只需要按自己的研究方向去挑。这件事对三类人特别有用一是正在找选题的研究生需要快速判断某个方向最近是不是已经被人做烂了二是工程落地的人想知道有没有能直接拿来用的新方法三是刚入门 CV 的开发者想通过持续跟踪建立对整个领域的直觉。我自己跟这类每日更新跟了大概两年多最大的感受是它的价值不在于某一天推了什么惊天动地的论文而在于长期跟踪之后你能看出一个方向的温度变化。某个关键词从偶尔出现变成天天出现往往意味着这个方向正在起势。这种趋势感是单篇精读给不了的。下面我就把这套东西从设计思路到实操细节完整拆一遍包括怎么搭、怎么筛、怎么读以及踩过的那些坑。2. 内容整体设计与思路拆解2.1 为什么选择 ArXiv 作为唯一信源做每日论文分享信源的选择是第一位的。市面上有各种论文聚合平台但真正做每日更新的人几乎都会回到 ArXiv 本身原因很实在。ArXiv 的更新节奏是固定的工作日每天有一批新投稿时间点相对可预期这对每日更新这种强节奏的内容形式非常关键。相比之下很多聚合站的数据是滞后的有的甚至延迟好几天你拿到的最新其实是别人嚼过的。另一个原因是 ArXiv 提供了结构化的元数据接口。每篇论文都有稳定的编号、标题、作者、摘要、分类标签这些字段可以直接被程序解析不需要你去爬 HTML 页面里那些乱七八糟的排版。对于要每天处理上百条记录的场景能不能拿到干净的元数据直接决定了这套流程是自动化还是纯手工。纯手工做每日更新坚持一周可以坚持一年基本不可能。还有一个容易被忽略的点ArXiv 的分类体系本身就是一层天然的筛选。cs.CV 是主分类但很多相关论文会挂在 cs.LG、cs.AI、eess.IV 下面。做每日更新的时候如果只盯 cs.CV会漏掉一批用视觉任务验证的通用方法如果全抓噪音又会爆炸。所以合理的做法是主抓 cs.CV同时用关键词去交叉分类里捞相关内容这个平衡点需要在实践中反复调。2.2 每日更新的节奏设计与内容分层每日更新这四个字听起来简单但真正做起来节奏设计决定了你能不能长期坚持下去。我的经验是把每天的输出分成三层而不是一股脑把所有论文堆上去。第一层是速览层只给标题加一句话的核心贡献控制在二十条以内。这一层的目的是让人在通勤路上就能扫完判断今天有没有跟自己相关的。第二层是精选层挑出三到五篇值得展开的给出更详细的方法概述和它解决的问题。第三层是深读层通常一周也就一两篇配上自己的理解和可能的复现思路。这样分层的好处是不同需求的读者可以各取所需。只想了解趋势的人看第一层就够了想找具体方法的人看第二层真正要动手的人才会看第三层。如果每天都把几十篇论文平铺直叙地列出来读者很快就会疲劳更新的人也会因为工作量太大而放弃。分层本质上是在控制信息密度让内容可持续。2.3 关键词体系是整套流程的骨架热词里出现了大量 Transformer、LLM、Swin Transformer、目标检测这类词这些不是随便列的它们构成了筛选和归类的骨架。做每日更新你必须先建立一套自己的关键词表否则面对上百篇论文根本无从下手。我的关键词表一般分三档。核心档是跟自己研究方向强相关的比如做视觉的就放 detection、segmentation、tracking、3D reconstruction 这些。趋势档是当前最热的方向比如 Transformer、diffusion、LLM、multimodal、agent 这些用来捕捉领域风向。工具档是一些方法名和数据集名比如 Swin、ViT、CLIP、COCO、ImageNet用来快速定位某类工作。这套关键词表不是一成不变的需要每周回顾一次。如果某个词连续一周都没命中任何论文说明它可能过气了可以降档如果某个新词突然频繁出现就该把它提到趋势档。这种动态调整让整套流程始终跟得上领域的变化而不是用一套老掉牙的词表去筛新论文。3. 核心细节解析与实操要点3.1 数据抓取从接口到本地结构化存储抓取这一步核心是把 ArXiv 的元数据变成本地可查询的结构。ArXiv 官方提供了基于 OAI-PMH 的接口也支持按分类和时间范围拉取。实操中我一般按天拉取把当天的记录存成 JSON 或直接进 SQLite方便后续做去重和检索。一个关键细节是去重。ArXiv 的论文会有版本更新同一篇论文可能今天出现 v1过几天变成 v2如果不做去重你的每日清单里会反复出现同一篇。我的做法是用论文编号去掉版本号作为唯一键遇到新版本就更新记录而不是新增。这样既保留了最新信息又不会重复推送。另一个细节是时间窗口的界定。ArXiv 的一天并不是自然日它的更新有固定的截止时间。如果你按本地时间的零点去切很容易漏掉或重复。稳妥的做法是记录每次抓取的最后时间戳下次从这个时间点往后拉用增量而不是全量。这样既省资源又不会因为时区问题出错。import arxiv import sqlite3 from datetime import datetime, timedelta def fetch_daily_cv_papers(days_back1): client arxiv.Client() query cat:cs.CV search arxiv.Search( queryquery, max_results200, sort_byarxiv.SortCriterion.SubmittedDate ) conn sqlite3.connect(papers.db) cur conn.cursor() cur.execute( CREATE TABLE IF NOT EXISTS papers ( arxiv_id TEXT PRIMARY KEY, title TEXT, abstract TEXT, authors TEXT, published TEXT, updated TEXT ) ) cutoff datetime.now() - timedelta(daysdays_back) for result in client.results(search): base_id result.entry_id.split(/)[-1].split(v)[0] if result.published.replace(tzinfoNone) cutoff: continue cur.execute( INSERT INTO papers VALUES (?,?,?,?,?,?) ON CONFLICT(arxiv_id) DO UPDATE SET updatedexcluded.updated, abstractexcluded.abstract , ( base_id, result.title, result.summary, , .join(a.name for a in result.authors), result.published.isoformat(), result.updated.isoformat() )) conn.commit() conn.close()这段代码的核心逻辑就是增量抓取加去重更新。ON CONFLICT那段保证了同一篇论文的版本更新不会产生重复记录而是覆盖旧内容。实际跑的时候我建议把max_results设得比预期多一些因为 ArXiv 的排序偶尔会有波动多抓一点再靠时间戳过滤更保险。3.2 关键词匹配别用简单字符串包含很多人做筛选的时候直接用if transformer in title.lower()这种写法看起来能用实际上问题很大。比如 transformer 会命中 transformer-based这没问题但也会命中一些不相关的词。更麻烦的是大小写和连字符的变体比如 Transformer、transformer、transformers 都要考虑。我的做法是先把关键词做归一化统一转小写把连字符和空格统一处理然后用正则的单词边界去匹配。这样能避免 transformer 命中 transformerless 这种反向词的情况。对于多词关键词比如 object detection就用短语匹配而不是拆成两个词分别匹配否则会引入大量噪音。import re def normalize(text): return re.sub(r[-_/], , text.lower()) def match_keywords(text, keyword_list): text_norm normalize(text) hits [] for kw in keyword_list: kw_norm normalize(kw) pattern r\b re.escape(kw_norm) r\b if re.search(pattern, text_norm): hits.append(kw) return hits这里有个实操心得关键词匹配最好同时作用于标题和摘要但权重不同。标题命中的相关性通常远高于摘要命中因为摘要是长文本随便一个词都可能出现。我的做法是标题命中算强相关摘要命中算弱相关最后排序的时候强相关优先。这样能有效减少摘要里提了一嘴就被推上来的情况。3.3 分类归并让清单有结构而不是流水账抓取和匹配做完之后你手里是一堆带标签的论文。如果直接按时间顺序列出来读者看到的就是流水账。真正好用的每日更新一定是按主题分组的。我的分组逻辑是先按大方向分比如生成、检测、分割、多模态、3D再在每个方向内部按相关性排序。分组的关键是给每篇论文打一个主标签。一篇论文可能同时命中多个关键词但推送的时候只能归到一个主类里否则读者会在不同分组里反复看到同一篇。我的做法是给关键词设优先级命中高优先级的就归到那个类比如一篇论文同时命中 diffusion 和 segmentation如果 diffusion 优先级更高就归到生成类。分组典型关键词优先级生成与扩散diffusion, GAN, image generation高多模态与大模型LLM, VLM, CLIP, multimodal高检测与分割detection, segmentation, tracking中3D与重建3D, NeRF, reconstruction, point cloud中骨干与架构Transformer, ViT, Swin, backbone低这张表不是死的你可以根据自己的方向调整优先级。比如你是做 3D 的就把 3D 那档提到高优先级。核心原则是让最相关的内容出现在最显眼的位置而不是被一堆热门但跟你无关的论文淹没。4. 实操过程与核心环节实现4.1 从抓取到推送的完整流水线把前面几块拼起来一条完整的每日更新流水线大概是这样的定时触发抓取增量拉取当天新论文做去重和版本更新然后跑关键词匹配打标签接着按优先级分组排序最后生成一份 Markdown 清单。整个过程如果脚本写得好跑一次也就几分钟。定时触发我一般用系统的计划任务比如每天早上固定时间跑一次。这里要注意的是ArXiv 的更新有延迟太早跑可能当天的还没出全太晚跑又失去了每日的时效性。我的经验是选一个相对稳定的时间点然后接受偶尔的波动不要为了追求最全而反复重跑那样反而容易出乱子。生成清单的时候我习惯给每篇论文配一句话的人话总结。这个总结可以是脚本根据摘要自动截取的也可以是人工补的。纯自动的话质量参差不齐但胜在能坚持人工补的话质量高但每天几十篇根本补不过来。折中方案是速览层用自动截取精选层人工补。这样既保证了覆盖面又保证了重点内容的质量。4.2 摘要自动压缩的实用做法自动截取摘要有个坑直接取前两句经常取到背景介绍而不是核心贡献。论文摘要的写法通常是背景—问题—方法—结果这个结构真正有价值的是方法和结果部分。所以更好的做法是用规则去定位we propose、we introduce、our method 这类标志性短语从那里开始截取。def extract_contribution(abstract): markers [ we propose, we present, we introduce, in this paper, we, our method, our approach ] lower abstract.lower() for m in markers: idx lower.find(m) if idx ! -1: snippet abstract[idx:idx200] return snippet.strip() return abstract[:200].strip()这个函数不完美但实测下来比直接截前两句强很多。它能把我们提出了什么这部分抓出来读者一眼就能看到论文到底干了什么。当然遇到写法不规范的摘要它也会失效这时候就退回默认截取。这种规则优先、兜底其次的思路在处理大批量文本时特别实用。4.3 人工精选的判断标准自动流程能帮你把范围缩小但真正决定这份每日更新质量的是精选那一步。我挑精选论文的标准大概有三条。第一是问题是否重要如果一个方法解决的是很边缘的问题哪怕技术再花哨也不选。第二是方法是否有新意如果只是把已有方法换个数据集刷个点那价值有限。第三是可复现性如果论文没给代码也没给足够细节读者看完也没法用那推送的价值就打折扣。这三条标准里我最看重的是第一条。因为技术新颖度会过时但一个被解决的重要问题会长期有价值。比如目标检测里的长尾问题、分割里的开放词汇问题这些是领域里公认的难点围绕它们的工作哪怕方法朴素一点也值得关注。反过来一些在冷门数据集上刷点的工作哪怕用了最新的架构实际意义也有限。提示精选的时候不要被最新架构迷惑。很多论文的卖点是用了某个热门模块但真正解决的问题可能很普通。判断标准应该是它解决了什么而不是它用了什么。5. 常见问题与排查技巧实录5.1 抓取环节的典型故障做每日更新抓取环节最容易出问题。最常见的是接口超时或者返回空结果。这种情况通常是网络波动或者 ArXiv 那边临时限流处理办法是加重试机制并且把失败的那次记录下来下次补抓。千万不要因为一次失败就跳过一整天那样会留下数据空洞。另一个常见问题是重复推送。前面说了用论文编号去重但有时候同一篇论文会以不同的编号出现在不同分类里这种情况光靠编号去重是不够的。我的补充做法是对标题做归一化后比对如果标题高度相似就认为是同一篇。这个规则偶尔会误伤比如两篇标题很像但确实是不同工作所以只作为辅助手段不作为唯一依据。问题现象可能原因排查与解决抓取返回空接口限流或网络波动加重试记录失败时间点下次补抓同一论文重复出现跨分类重复或版本更新编号去重加标题相似度辅助关键词命中过多关键词太宽泛收紧关键词用单词边界匹配关键词命中过少关键词表过时每周回顾补充新出现的术语摘要截取无意义摘要写法不规范规则优先兜底截取前段5.2 关键词失效与趋势漂移跟了一段时间之后你会发现关键词表会慢慢失效。半年前很热的词现在可能一周都命中不了几篇而一些新词会突然冒出来。这不是你的流程出了问题而是领域本身在变。处理办法就是定期回顾我一般每周花十分钟看一下这周的命中统计哪些词命中多哪些词几乎为零。这里有个经验不要因为某个词命中少就立刻删掉。有些方向是周期性的可能沉寂一段时间又回来。我的做法是给关键词设一个观察期连续三周命中为零才降档而不是一周就砍。这样能避免因为短期波动误删掉一个其实还有生命力的方向。5.3 内容同质化的破解做久了另一个问题是内容同质化。每天推的论文看起来都差不多读者会疲劳你自己也会觉得没意思。破解的办法是主动引入差异化视角。比如同样是推一篇 Transformer 的论文你可以从它为什么在这个任务上比 CNN 好这个角度切入而不是泛泛地说它用了 Transformer。另一个办法是定期做一些横向对比。比如一周结束时把这一周同一方向的工作放一起看看它们各自的取舍是什么。这种对比能挖出单篇论文里看不到的信息也让内容更有深度。我自己最喜欢做的就是这个因为对比的过程往往能发现一些有意思的规律比如某个方向大家都在回避某个难点这本身就是个信号。6. 长期维护与个人经验6.1 让流程可持续的几个设计每日更新最难的不是技术是坚持。我见过太多人一开始热情满满两周之后就断更了。要让这件事可持续核心是降低每天的固定成本。我的做法是把所有能自动化的都自动化人工只做最关键的精选那一步。这样即使某天很忙也能保证基本输出不至于断更。另一个设计是允许降级运行。状态好的时候做完整的三层输出状态差的时候就只发速览层。这种弹性让流程不会因为某天的意外而彻底停摆。很多人做不下去就是因为把标准定得太高一旦达不到就干脆放弃。允许降级反而能让你走得更远。6.2 我踩过的几个坑第一个坑是贪多。刚开始的时候我想把所有相关论文都覆盖结果每天要处理上百篇很快就撑不住了。后来才明白每日更新的价值在于筛选不在于全。宁可少推几篇也要保证推出来的都是有用的。第二个坑是忽视去重。早期没做版本去重同一篇论文连着推了好几天读者直接在评论区指出来挺尴尬的。从那以后我就把去重当成硬性要求宁可多花点时间也要做干净。第三个坑是关键词表长期不更新。有一段时间我发现推的内容越来越偏后来一查才发现关键词表还是半年前的很多新方向根本没覆盖到。这件事让我意识到维护关键词表和抓取论文一样重要甚至更重要因为它决定了你看到什么。6.3 后续可以怎么扩展这套流程跑顺之后其实可以往几个方向扩展。一个是做周报和月报把每日的碎片汇总成趋势分析这个对做选题的人特别有价值。另一个是给论文打更细的标签比如按任务、按数据集、按方法类型这样检索起来更方便。还有一个方向是做复现跟踪把有代码的论文单独标出来方便想动手的人直接找到能跑的东西。我个人最想做的是把每日更新和趋势可视化结合起来比如用关键词的命中频率画一条时间曲线直观地看到某个方向的起落。这个想法还在摸索但方向是明确的让每日更新不只是信息的搬运而是能帮人看出领域脉络的东西。做到这一步它才真正有了不可替代的价值。