Cloudflare作为全球最大的互联网基础设施公司之一，其网络遍布125个国家的330座城市，平均每秒处理超过8100万次HTTP请求——把它想象成互联网世界的十字路口并不为过，所有流经的数据都能被它看到。

正因为这种独特的上帝视角，Cloudflare每年发布的年度回顾报告，实际上就是整个互联网的年度体检报告。而2025年的这份报告，揭示了一个清晰的主题：AI不再是互联网的附加功能，它正在成为互联网本身。

先看几个震撼数字：

关键指标	2025年数据	意味着什么
AI用户行为抓取量	增长超过21倍	人们正在从搜索转向问AI
Googlebot流量占比	4.5% 的网页流量	单个爬虫超过所有AI机器人总和
后量子加密采用率	从29%跃升至52%	人类正在为量子时代提前备战
ChatGPT-User峰值	年初的16倍	AI助手成为信息获取新方式

---

📊 盘点一：AI爬虫流量——谁是互联网最大的内容消费者？

🏆 No.1 Googlebot——当之无愧的流量之王

2025年全球AI爬网程序流量趋势

Googlebot的统治力有多强？

指标	数据
连续霸榜	第三年蝉联第一
流量倍数	几乎是第二名的4倍
机器人份额	占所有经验证机器人流量的28%+
网页流量占比	单独贡献4.5%（超过所有AI机器人总和的4.2%）

Googlebot的特殊之处在于它的双重身份——既服务于传统搜索索引，也服务于AI模型训练。这种一鱼两吃的策略使其在2025年的抓取量远远超过其他主流AI机器人。抓取活动在2月中旬至7月中旬最为活跃，4月达到峰值。

🎯 AI爬虫的三种干活模式

2025年全球用户行为爬网程序流量趋势

Cloudflare的报告把AI爬虫的抓取目的分为三类：

目的类型	在做什么	代表机器人	2025年表现
模型训练	收集网页内容来训练AI模型	GPTBot、ClaudeBot	数量最大，6月达到峰值
搜索索引	为AI搜索功能建立网页索引	OAI-SearchBot	3月后有所下降
用户行为	响应用户提问时访问网页	ChatGPT-User	增长超过21倍！

2025年最大惊喜：用户行为抓取的爆发

这种流量从1月到12月初增长了超过21倍，反映出AI助手正在成为人们获取信息的首选方式——我们不再只是去谷歌搜索，而是直接问AI。这是2025年最值得关注的现象。

🤖 OpenAI三驾马车——各司其职

2025年全球OpenAI爬网程序流量趋势

OpenAI的三种爬虫各司其职：

爬虫名称	职责	2025年表现
GPTBot	收集网页内容训练AI模型	占所有机器人流量的7.5%，6月最活跃
ChatGPT-User	用户提问时访问网页	峰值是年初的16倍！
OAI-SearchBot	为ChatGPT搜索功能准备内容	10月下旬达年初的5倍

有趣的细节：ChatGPT-User流量呈现明显的工作日高、周末低模式，6-8月流量明显下降——学生和老师的放假模式一目了然。

---

更多前沿资讯解读、前沿技术拆解，欢迎加入 赋范空间·大模型技术圈 阅读

📊 盘点二：生成式AI服务排行榜——谁在领跑？

🥇 榜首之争：ChatGPT依然无敌

2025年全球主要生成式AI服务

ChatGPT/OpenAI依然稳居榜首，但2025年迎来了不少新面孔：

📈 排名上升的老将：

服务	特点
Perplexity	AI+搜索结合得好，用户增长迅速
Claude/Anthropic	以安全可靠著称
GitHub Copilot	程序员的写代码神器

🆕 2025年新闯入前十：

服务	背景
Google Gemini	谷歌全力打造的AI助手
Windsurf AI	新兴AI编程工具
Grok/xAI	马斯克入局的代表作
DeepSeek	中国AI力量代表

---

🌍 全球AI爬虫版图：谷歌的天下

Googlebot在每个地区都是最活跃的爬虫（占35%-55%）：

地理区域	第一名	第二名	第三名
北美	Googlebot (45.5%)	Bingbot (14.0%)	Meta (7.7%)
南美	Googlebot (44.2%)	ChatGPT (13.8%)	Bingbot (13.5%)
欧洲	Googlebot (48.6%)	Bingbot (13.2%)	ChatGPT (10.8%)
亚洲	Googlebot (39.0%)	ChatGPT (14.0%)	Bingbot (12.6%)

哪个行业被AI光顾得最多？ 零售和计算机软件行业，两者占全部爬虫活动的40%以上。

---

📊 盘点三：开发者最爱的AI工具和任务

🔧 开发者最爱用的AI模型

2025年全球Workers AI最受欢迎的模型

排名	模型	份额	用途
🥇	Meta llama-3-8b-instruct	36.3%	文本生成和对话
🥈	OpenAI whisper	10.1%	语音转文字
🥉	Stable AI stable-diffusion-xl	9.8%	文字生成图片

最大赢家：Meta Llama——以压倒性优势领先，几乎是第二名和第三名的总和。这说明开发者们越来越喜欢使用可掌控、可定制的开源模型。

📋 AI都在帮人们做什么？

2025年全球Workers AI最受欢迎的任务

排名	任务	份额	常见用途
1	文本生成	48.2%	写文章、生成代码、聊天对话
2	文字生成图片	12.3%	设计海报、制作营销素材
3	语音转文字	11.0%	自动生成字幕、会议记录

结论很明确：让AI写东西才是最主流的需求——占了接近一半的使用量！文本相关的AI应用仍然是王道。

---

📊 盘点四：网站主与AI爬虫的攻防战

🚫 网站主开始说不

被禁止最多的AI爬虫

robots.txt就是网站门口的告示牌，网站主人可以在上面写明：欢迎谁来、谁不准进。

被完全禁止次数最多的TOP 3：

排名	爬虫	背后的公司
1	GPTBot	OpenAI（ChatGPT的母公司）
2	ClaudeBot	Anthropic（Claude的母公司）
3	CCBot	Common Crawl（非营利数据项目）

趋势很明显：越来越多的网站开始拒绝AI爬虫抓取内容。

但有一个鲜明的对比：Googlebot和Bingbot被完全禁止的情况要少得多。因为搜索结果会给网站带回流量，而纯AI训练爬虫只拿不给，自然遭到更多抵制。

💰 谁在白嫖内容？——抓取与回报的对比

2025年全球AI和搜索平台抓取-引荐比率

抓取-引荐比——有人来你家拍了很多照片（抓取），但有没有带朋友来参观（引荐）？

平台	比值	什么意思
Claude (Anthropic)	最高达100,000:1	每抓取10万次，才带来1个访客
ChatGPT (OpenAI)	峰值3,700:1	随搜索功能推出有所改善
Perplexity	低于200:1	AI平台中表现最好的
Google搜索	3:1 ~ 30:1	每3-30次抓取带来1个访客
DuckDuckGo	低于1.5:1	比Google更慷慨地引流

结论：传统搜索引擎有来有往，而大多数AI平台目前还是只进不出。这就是为什么越来越多网站主开始拒绝AI爬虫。

---

📊 盘点五：为未来准备的数字盾牌——后量子加密

🛡️ 后量子加密采用率：从29%到52%

2025年全球后量子加密流量增长

什么是后量子加密？ 简单来说，就是量子计算机也破解不了的加密技术。现在的HTTPS加密基于数学难题，但未来的量子计算机可能会破解这些难题。

2025年采用率飙升：

时间点	采用率	变化
2025年初	29%	基准线
2025年12月初	52%	几乎翻倍！

到2025年底，超过一半的网络流量已使用抗量子攻击的加密技术。28个国家的采用率增长了一倍以上。

🍎 Apple推动的一键升级

2025年波多黎各后量子加密流量增长

后量子加密的快速普及，很大程度上要归功于Apple。

2025年9月，Apple发布iOS 26系统更新，让iPhone自动使用后量子加密技术：

• 更新发布4天后：iOS设备使用后量子加密的比例从不到2%跳到11%
• 12月初：超过**25%**的iOS流量已使用后量子加密

当巨头决定采用某项技术时，普及速度会快得惊人——几天时间就能完成过去可能需要数年的推广。

---

📊 盘点六：互联网地基的技术变迁

📈 编程语言新格局：Go和Python的崛起

语言	2025年份额	2024年份额	增幅
Go	20%	12%	📈 +67%
Python	17%	9.6%	📈 +77%
Java	11.2%	7.4%	📈 +51%

这是自动化API请求使用的编程语言统计——当程序之间自动对话时（比如AI调用某个服务），它们用什么语言说话。

最大赢家：Go和Python——云原生技术和AI开发正在重塑互联网的基础设施。

🏗️ 网站技术：稳中求变

2025年热门网站技术

尽管AI话题火热，但传统Web技术展现出惊人的稳定性：

• JavaScript框架：React依然是老大，使用量是Vue.js的两倍；老牌jQuery使用量是Slick的8倍
• 后端语言：PHP、Node.js、Java继续稳居前三
• 内容管理系统：WordPress占比47%，仍是最受欢迎的选择

这种稳定性其实是好事——为AI工具的集成提供了可预期的基础设施。

---

📋 总结：2025互联网六大关键变化

盘点维度	核心数据	意味着什么
AI爬虫流量	Googlebot占4.5%，超过所有AI机器人总和	机器人正在和人类平分网页流量
AI服务格局	ChatGPT领跑，Gemini、Grok、DeepSeek等新玩家入局	AI助手成为获取信息的新方式
开发者选择	Meta Llama开源模型最受欢迎（36.3%）	开源力量正在挑战闭源巨头
内容博弈	网站主开始禁止AI爬虫	数据应该付费的争论才刚开始
安全升级	后量子加密采用率从29%跃升至52%	人类正在为量子时代提前备战
技术栈变迁	Go和Python崛起（增幅超67%）	基础设施正在适应AI时代

---

🔮 2026年值得关注的趋势

趋势	看点
AI与内容的价值谈判	随着网站拒绝AI抓取，AI公司可能需要开始为数据付费
多模态AI的爆发	能看图、看视频的AI普及后，图片和视频的抓取量可能迎来新一轮激增
边缘AI的普及	AI运算迁移到离用户更近的边缘网络，响应更快、成本更低
量子安全的默认化	在Apple和Google推动下，后量子加密可能成为新设备的标配

---

📝 结语

2025年将被记住为AI真正成为互联网基础设施的一年。

从ChatGPT在后台访问网页，到手机里的后量子加密连接；从开发者选择开源AI模型，到网站主拒绝AI抓取——这些变化正在重新定义互联网的运作方式。

互联网正在被AI重塑，而这场重塑才刚刚开始。

---

更多前沿资讯解读、前沿技术拆解，欢迎加入 赋范空间·大模型技术圈 阅读