即使您创作了出色的内容,技术错误也可能拉低网站的排名。失效链接、缺失的标题标签以及重定向链,都无法靠肉眼逐一发现。Screaming Frog SEO Spider 是一款桌面工具,它能像搜索引擎一样抓取您的网站,并把这些问题汇总到一个列表中呈现在您面前。

免费版与付费版的区别

Screaming Frog 的免费版单次抓取最多支持 500 个网址。对于小型网站来说,这可能已经足够;但电子商务和内容类网站很快就会超过这个限制。付费许可证可解锁以下功能:

  • 不限数量的网址抓取
  • 抓取由 JavaScript 生成的页面(渲染)
  • 自定义数据提取(custom extraction)与自定义搜索
  • 与 Google Search Console 和 Analytics 集成
  • 保存抓取结果并进行对比

您可以通过 Screaming Frog 一年版 或 专属姓名 Screaming Frog 选项获得付费许可证。

第 1 步:首次抓取

打开程序,在顶部输入框中填写您的网站地址,然后点击 Start。抓取完成后,右侧的 Overview 面板会按类别列出各类问题。

第 2 步:检查状态码

  • 4xx(客户端错误): 失效链接。下方面板中的 Inlinks 标签页会显示有哪些页面链接到了失效页面;请修复这些链接或设置重定向。
  • 3xx(重定向): 确保站内链接直接指向最终地址;重定向链会影响抓取预算和速度。
  • 5xx(服务器错误): 服务器错误,可能由主机或插件引起,应优先排查。

第 3 步:标题与 meta 描述

在 Page Titles 和 Meta Description 标签页中,请关注以下筛选项:

  • Missing: 缺少标题或描述的页面
  • Duplicate: 使用相同标题的页面
  • Over/Below X Characters: 过长或过短的页面

每个页面都应该有独特的、包含关键词的标题和描述。在 WordPress 中,您可以使用 Rank Math Pro 或 AIOSEO 等 SEO 插件轻松编辑它们。

第 4 步:标题标签(H1/H2)

在 H1 标签页中,找出缺少 H1 或使用了多个 H1 的页面。建议每个页面只使用一个能概括主题的 H1。

第 5 步:图片

在 Images 标签页中,筛选出体积较大或缺少替代文本(alt text)的图片。大图会拖慢页面速度;缺少 alt 文本则会损失无障碍访问和图片搜索的流量。

第 6 步:规范网址与可索引性

Canonicals 和 Directives 标签页会显示被错误设置为 noindex 或带有错误 canonical 标签的页面。重要页面被排除在索引之外,是最容易被忽视、代价也最高的错误之一。

第 7 步:生成 XML 站点地图

通过 Sitemaps → XML Sitemap 菜单,您可以根据抓取到的页面生成站点地图;也可以抓取现有的站点地图,检查其中是否包含错误的网址。

应该多久抓取一次?

对于小型网站,每月抓取一次;对于经常发布内容的网站以及电子商务网站,每周抓取一次,是一个良好的习惯。在进行重大设计变更或网站迁移之后,请务必进行一次完整抓取。

结论

Screaming Frog 能在几分钟内找出技术 SEO 问题。按优先级修复这些问题(先处理 4xx/5xx 和索引问题,再处理 meta 和图片),可以迅速提升您的网站在搜索引擎中的表现。更多工具请浏览我们的 SEO 工具 分类。

常见问题

Screaming Frog 能在 Mac 和 Linux 上运行吗?

可以。Screaming Frog SEO Spider 提供适用于 Windows、macOS 和 Linux(Ubuntu)的版本,许可证密钥可在所有平台上使用。

抓取时我的网站会变慢吗?

默认速度对大多数网站来说不会造成问题;但在共享主机上,高强度的抓取可能会给服务器带来压力。您可以在 Configuration → Speed 菜单中减少并发请求数,从而放慢抓取速度。

Screaming Frog 与 Google Search Console 有什么区别?

Search Console 显示 Google 如何看待您的网站以及您的搜索表现;Screaming Frog 则会立即从头到尾抓取您的网站,并列出技术问题。两者相辅相成,建议同时使用。