Caffeine是什么？Google 2010年那次让索引变实时的换血

摘要：Caffeine是Google在2010年6月全量上线的一套全新索引系统，它把过去那种一层一层、每隔几周整体刷新的老索引，换成了连续不断的增量更新——发现一个新页面或一处改动，就单独抓进来立刻入库，不用再等一整层重建。它让索引更新快了约五成，也奠定了今天“秒收录”和新鲜度玩法的地基。这篇我把Caffeine是什么、它跟抓取预算／新鲜度／渲染／索引膨胀怎么划清界限，还有你到底能做点啥，讲明白。

有个做行业资讯的客户，去年拉着我问一个特别具体的问题：他改一篇老文章的标题，Google快照几分钟就更新了；可他发一个全新的页面，有时候要等上好几天才被收录。他百思不得其解，说这到底是收录快还是慢啊，怎么忽快忽慢像闹脾气？我说这问题问得好，答案就藏在一个二十多年前听着很潮、今天却很少有人提起的名字里——Caffeine。

先说清楚：Caffeine到底是什么？它解决了老索引的什么毛病？

Caffeine是Google的一次索引系统重构，2010年6月正式全量上线。注意，它改的不是排名算法，而是更底层的东西——搜索引擎怎么把抓回来的网页整理、存储、随时更新的那套基础设施。你可以把搜索引擎想象成一个巨大的图书馆，排名算法是帮你找书的管理员，负责决定把哪本书推荐到你面前；而Caffeine换的是整座图书馆的上架和归档系统，负责让每一本新书都能又快又准地进到书架上、随时可借。管理员再厉害，架子上没有最新的书，也是巧妇难为无米之炊。

老系统的毛病是什么呢？慢，而且更新不及时。在Caffeine之前，Google的索引是分层建的，一层一层像地质岩层，每层按不同频率整体刷新。这意味着一个页面要被更新，常常得等它所在那一整层重建一遍。网页世界一天天在变，可你的索引却卡在几周一次的节奏上，这在越来越讲实时的互联网上，明显跟不上趟了。

Search Engine Roundtable转述过 Google的Gary Illyes对Caffeine到底干了啥的解释，说白了就是让抓回来的内容能更快进到索引里。我觉得这个定位很准：它不改你排第几，它改的是这整套机器运转的速度和实时性。很多人一听“Google更新”就条件反射地紧张，以为又要动排名了，其实Caffeine这类更新根本不碰排序，它只是让引擎跑得更利索。分清这一点，你才不会一有风吹草动就瞎归因、瞎焦虑。

老索引到底怎么建的，为什么就慢了？

打个不太严谨但好懂的比方。老索引像出一本纸质百科全书：编辑们攒够一批词条，统一排版、统一印刷，出一个新版本。你想加一个新词条或改一处错，对不起，得等下一版整体重印。批处理的好处是规整，坏处是延迟——两次印刷之间发生的一切，索引都是不知道的。

随着网页数量爆炸、内容更新越来越频繁，这种攒一批再统一处理的模式就撑不住了。用户希望搜到最新的东西，新闻、股价、赛事比分，哪个等得起几周？Google需要一套能“来一个处理一个”的机制，而不是“攒一堆再统一翻新”。Caffeine就是为这个而生的。

Caffeine的“增量”到底增在哪儿？

核心突破是从批处理转向了增量处理。支撑它的是一套叫Percolator的技术，Google在那篇讲增量处理的研究论文里讲得很细：与其定期把整个索引推倒重建，不如给数据加上事务和触发机制，哪条内容变了，就只更新跟它相关的那一小块，其余纹丝不动。

还是回到图书馆的比方。老办法是每隔一段时间闭馆盘点、整体重排；Caffeine的办法是不闭馆，来一本新书就地上架、随到随归，读者随时都能借到最新的。这么一来，Google就能持续地、小步快跑地把新页面和改动喂进索引，而不必等一个大版本。你那个改标题几分钟就生效的体验，本质上就是增量索引在起作用。

增量还有个容易被忽略的好处：它省。整体重建一次索引要烧掉巨量的算力和时间，而增量处理只碰变化的那一小部分，边际成本低得多。这也是为什么Caffeine之后，Google才有底气把索引规模一路往上堆——不是它突然不差钱了，而是处理方式从“每次全量翻新”变成了“只动该动的”，账才算得过来。理解这层，你就明白为什么现代搜索引擎能一边收着天文数字的网页，一边还能保持近乎实时的更新，这在批处理时代是不可想象的。

Caffeine到底让索引快了多少？规模有多大？

按 Search Engine Land当年对Caffeine上线的报道，Google自己给的数字是：相比上一代索引，新内容进入索引的速度提升了大约百分之五十。规模上更夸张——它每秒处理海量网页，索引库以PB计，每天还在往里加数十万GB的新信息。这不是简单地把旧引擎调快了一挡，而是换了台发动机。

对我们做站的人，这个数字翻译过来就一句话：只要你的内容值得被抓、被Google发现了，它进索引、更新索引的速度，比十几年前快得多。今天你觉得理所当然的“发了就能搜到”，在Caffeine之前是一种奢侈。

这个名字为什么叫Caffeine？它为什么偏偏出现在2010年？

名字其实就是字面意思——咖啡因，图的是那股“更快、更提神”的劲儿，Google内部用它当这个提速项目的代号。Ahrefs的词条把 Caffeine定义为一次以速度和新鲜度为目标的索引更新，一句话点到位：它要的就是快。

那为什么是2010年？因为那几年正是社交媒体、实时资讯、博客井喷的时候，Twitter这类平台让“此刻正在发生”成了搜索的刚需。用户不再满足于搜到几周前的旧网页，他们要最新的。老索引那套攒批重印的节奏，在这种需求面前彻底露怯。Google憋了一段时间做预览、做测试，最后在2010年6月把Caffeine全量铺开，等于给整个索引换血。可以说，它是被那个越来越快的互联网倒逼出来的。

Caffeine前后，普通站长到底能感觉到什么区别？

最直观的区别，就是开头那位客户体会到的“改动几乎马上生效”。在老索引时代，你改了标题、更新了正文，得等下一轮该层重建才可能反映到搜索结果里，快照可能一挂就是好几周。Caffeine之后，只要页面本身在被正常抓取，改动往往很快就同步了。

另一个区别是新内容的整体流转变快了。整个网络的内容能以更接近实时的方式被纳入索引，这就让抢时效、做资讯、追热点这类打法第一次真正有了技术支撑。Search Engine Journal在梳理Google算法史时把Caffeine列为一次里程碑式的基础设施更新，原因也在这——它不是某次给几个网站涨跌的排名调整，而是把之后十几年的实时搜索都撑起来的那块地基。

那这跟“抓取预算”是一回事吗？

不是，这俩最容易被搅混，我得掰开讲。抓取和索引是两件事：抓取是Googlebot来你站上把页面爬回去，索引是把爬回去的东西整理入库、随时可被搜到。抓取预算讲的是Google愿意花多少精力来爬你的站，管的是“爬多少、多勤快”；Caffeine管的是爬回来之后，怎么又快又实时地把它建进索引。

回到开头客户的困惑就通了：改老页面标题几分钟生效，是因为这个页面Google早就发现、早就在爬，改动一到，Caffeine立刻增量更新；而全新页面要等几天，卡的往往不是索引这一环，而是抓取这一环——Google还没发现它、还没安排来爬。一个是发现慢，一个是入库快，两回事。

Caffeine和新鲜度、QDF又是什么关系？

可以说Caffeine是新鲜度玩法的地基。新鲜度和QDF机制讲的是哪些查询、哪些页面该给更新的内容更高的权重，那是排名层面的判断；而Caffeine保证了新内容能几乎实时地进到索引里，让这种判断有料可用。你想，如果索引还是几周才刷一次，就算算法想给新鲜内容加分，库里压根没有新内容，加分也无从谈起。

所以顺序是这样的：Caffeine先在基础设施层把“实时入库”这事解决了，QDF这类新鲜度机制才能在排名层玩得转。别把它俩混成一个——一个是地基，一个是地基上盖的楼。

这个关系还能帮你破一个常见的误解。有人以为只要发得勤、更新得快，Google就会因为“新鲜”多给我流量。错了。Caffeine保证你的新内容能快速进库，QDF决定的却是“这个查询到底需不需要新内容”。用户搜“怎么系鞋带”，这种常青问题根本不吃新鲜度，你更新得再勤也换不来加分；只有那些天然求新的查询——新闻、版本、赛事、政策变动——新鲜度才真正值钱。搞清楚哪些内容值得追新、哪些老老实实做常青，比盲目求快重要得多。

它站在抓取、渲染、索引这条流水线的哪一环？

Google处理一个页面，粗看是三步：抓取、渲染、索引。从抓取到渲染DOM再到索引的完整流程里，Caffeine管的正是最后那一环——把渲染好、解析完的内容，高效地存进可检索的索引库，并保持它随时更新。前面的抓取决定了什么时候能拿到你的页面，中间的渲染决定了Google到底看到了页面上的哪些内容，Caffeine则决定了这些内容多快能被搜到、改了多快能同步。三环各管一段，缺一不可。

Google搜索中心那份 搜索工作原理文档把这条流水线讲得明明白白：抓取、索引、提供结果是三个独立阶段，各有各的规则和瓶颈。我常提醒客户，诊断问题一定要先定位到底卡在哪一环——是没被抓到，还是抓到了没入库，还是入了库排不上。三件事混着焦虑，你就永远找不到真正该修的地方。Caffeine帮你把“入库慢”这一环基本从嫌疑名单里划掉了，剩下的排查就清爽多了。

索引变快了，是不是什么页面都该往里塞？

千万别这么想，这是个大坑。Caffeine让入库变快、变实时，但它不负责判断你的页面值不值得留在索引里。你要是借着它能快速收录，把一堆薄页面、重复页面、参数页面一股脑推进去，换来的不是流量，而是索引膨胀这种拖垮整站的毛病。

我一直跟客户强调：能被快速收录，和应该被收录，是两码事。Caffeine解决的是“快”，页面该不该进索引、进去有没有价值，那是你自己的内容质量和站点结构要负责的。技术把门开大了，不代表你就该往里堆垃圾。

我见过一个反面教材：某个电商站觉得反正收录快，就把成千上万个筛选组合、排序参数生成的URL全放开让Google抓。短期看，收录数字蹭蹭涨，站长还挺得意；半年后流量不升反降，一查才发现，Google的抓取精力被大量没人搜的垃圾页稀释掉了，真正该被重视的产品页反而被冷落。快，成了帮凶。所以别把Caffeine的“快”当成放水的理由，它只是把上架速度提上来了，货架上摆什么，永远是你自己的责任。

Caffeine能优化吗？我到底能做点什么？

说句实在话，Caffeine本身你优化不了，它是Google的内部基础设施，没有旋钮留给你拧。但你能做的，是让它更快、更顺地拿到你的更新。具体就几条特别落地的：

• 让sitemap干净、lastmod准确。你改了页面就如实更新lastmod，别乱标，好让Google知道哪些真的变了、值得重新抓。
• 用内链帮新页面被快速发现。新页面别成孤岛，从已经被频繁抓取的老页面链过去，Google顺着链接就能早点找到它，抓取这一环快了，Caffeine那一环自然接得上。
• 别指望改个日期骗新鲜度。只动时间戳、内容一个字没改，这种假更新Google早就识破了，不但没用，多了还可能招疑。真改了实质内容，Caffeine才乐意给你实时同步。
• 服务器别拖后腿。抓取慢、超时多，等于给整条流水线添堵，前面卡住了，后面再快也白搭。

那个资讯客户后来就是照这几条做的：sitemap理顺、热点文章从首页和栏目页给足内链、老页面只在真更新时才动lastmod。结果他最在意的时效类内容，从发布到能被搜到的时间明显缩短，而那些没实质更新的老页面，他也不再瞎折腾时间戳去博关注了。技术的归技术，内容的归内容，各就各位，反而清爽。

他后来跟我感慨一句，我印象很深：以前总觉得收录这事玄乎，像求老天赏饭；弄懂了抓取和索引各管一段之后，才发现它其实挺讲道理的——快慢都有原因，找对环节就能对症下药。这大概就是搞懂底层机制最实在的回报：不是让你学会什么骚操作，而是让你不再瞎慌、不再乱归因，把力气花在真正该花的地方。这一点，放在任何一个搜索引擎的更新上都成立。

常见问题解答

Caffeine是排名算法吗？

不是。它是索引系统，管的是网页怎么被存储和更新，不直接决定谁排前面。它影响的是内容多快能进索引、多快能同步改动，是基础设施，不是排序规则。把它和熊猫、企鹅那种排名更新分清楚，你就不会瞎归因了。

Caffeine现在还在用吗？

它早已是Google索引体系的一部分，只是“Caffeine”这个名字如今很少被单独提起了。就像蜂鸟一样，它不是被淘汰，而是长进了引擎的骨架里。今天所谓的实时索引能力，源头就在这。

为什么我的新页面还是收录得慢？

多半卡在抓取而不是索引。Google得先发现并爬到你的页面，才谈得上入库。检查一下有没有内链引导、有没有进sitemap、robots有没有误拦、服务器响应快不快，这些才是新页面收录慢的常见病根。

Caffeine和移动优先索引是一回事吗？

不是。Caffeine是2010年的索引架构升级，解决的是快和实时；移动优先索引是后来Google改用移动版页面来抓取建索引的政策变化，解决的是用哪个版本入库。一个讲怎么建得快，一个讲用哪份内容建，别混。

知道Caffeine对我做SEO有什么实际用处？

用处在于你不会再对着收录时快时慢瞎猜。你会清楚：更新快是因为增量索引，收录慢往往是抓取没跟上。诊断问题时，能一下分清是发现的问题还是入库的问题，少走很多弯路。

能不能靠频繁更新内容去讨好Caffeine？

为更新而更新没意义。Caffeine只是让真实的更新能快速同步，它不会因为你勤刷时间戳就给你加分。有实质价值的更新它欢迎，没营养的高频改动，纯属自我感动。真想让更新有回报，就去补数据、加案例、把过时的说法改对，而不是把发布日期往后挪一挪就以为糊弄过去了——这套Google早看腻了。

权威参考资料