AI 爬虫正伪装成 referrer spam 隐藏行踪

AI 爬虫开始利用 referrer spam 伪装来源，让站长误以为有知名网站链接自己。作者发现某美国医疗机构"引用"流量持续增多并遍历无关页面，最终识别出这是 AI 爬虫在抓取内容。目前没有有效方法能阻止这类抓取或将其从 referrer 日志中剔除。