Screaming Frog (尖叫青蛙)

在SEO日常工作中，为提升工作效率，今天给各位独立站卖家及站长朋友们，分享一款功能强大、超实用的SEO工具—— 尖叫青蛙( Screaming Frog SEO Spider)，具体有多强大和实用。

Screaming Frog是一个强大的SEO工具，对任何电子商务或博客站都是必不可少的。对于日常的SEO工作来说，它不仅能提升工作效率，还能清楚地了解到网站的结构及页面结构等。如果使用得当，它几乎可以立即带来显著的SEO排名。

一、尖叫青蛙简介

尖叫青蛙是一款网站爬虫工具，它会通过你提供的网站主域爬取你的网站，并获取你网站里所有的网页以及关键元素，并实时提供分析结果。

二、尖叫青蛙亮点功能

2.1 获取网站内所有的链接及导出链接

网站内所有的链接包括html、css、JavaScript、图片等，导出链接可以获取网站内容所有导出的链接，方便大家清理不想导出的链接。

2.2 列出所有链接的信息

尖叫青蛙强大的地方就在于它不仅获取了网站内所有的链接，我们通过链接的就能获取到该链接的所有信息，大致包括该链接包含链接数、状态码、是否被robots屏蔽、该网页标题、标题长度、描述、关键词、发布时间等等所有的信息，分析的信息详细到只有你想不到的，没有你找不到的。

2.3 快速找出网站中的死链（ 404链接 ）

上面说到可以查看每个链接的状态码，通过状态码，我们就能快速找到网站中存在的死链。相信很多小伙伴都会头疼蜘蛛每天在抓死链却找不出死链出现在哪个位置，而这款工具除了能找出网页中所有的死链外，它更厉害的是你可以点击一个死链，在inlink标签里就能显示在哪些页面含有这个死链。是不是很方便？

2.4 生成xml地图

这款工具可以快速创建XML站点地图和图像XML站点地图，通过URL进行高级配置，包括上次修改，优先级和更改频率。

2.5 有助审查robots和其他指令

通过尖叫青蛙工具里的indexability栏，你可以清楚地看到每一个链接是否被robots屏蔽、是否被nofollow。

2.6 分析站点架构

通过使用交互式爬网和目录强制导向图和树形图，可以有助你们分析可视化的评估内部链接和URL结构。

2.7 其他一些功能

除了以上功能外，尖叫青蛙还有其他一些功能，比如查看链接是否被重定向、网页大小、链接细节信息、搜索结果展示页效果图、列举网页内的h标签、rel =“next”和rel =“prev”(文章页上下篇链接)、检查重复的URL等等。

三、产品用户界面

使用此工具的第一步是了解所有内容的模块区分，主要包括：菜单栏、抓取区域、标签栏、主窗口、详细窗口、侧边栏

3.1 菜单栏

菜单栏为Screaming Frog的一些全局配置功能，主要包括：文件（如快速访问最近抓取的网站等）、模式（蜘蛛、列表、SERP、比较）、配置（蜘蛛、Robots.txt、爬网速度、用户代理、排除等）、选择导出等

3.2 抓取区域

当为Spider蜘蛛模式下时，仅需输入主域名或URL，然后点击「Start」按钮即可；

可以选择Pause暂停或Clear清空按钮，或者查看进度条，等待全站抓取完全。

3.3 标签栏

可以选择配置常用的标签菜单为可见状态，也可以拖拽进行标签菜单进行排序。

为简洁起见，我不会覆盖菜单中的每个选项卡，但我会介绍在软件中最常用的选项卡，了解这些是什么以及如何使用它们帮助你进行SEO分析。

• 内部链接（Internal）：筛选显示该网站内为主域名下path 的URL，不含External出站链接（别的自定义域名的网站）
• 状态代码（Response Codes）：这些是你的网站在请求页面时返回的代码。这将只包含可以使用内部链接找到的页面。如果你拥有大量用户配置文件或用户生成的内容，这会使网站的爬网速度变得更快，你可以排除网站的各个部分以加快抓取速度。通常，服务器将返回20X，30X，40X或50X状态 – 分别表示正常，重定向，客户端错误和服务器错误。
• 页面标题（Page Title）：你可以在此处快速访问你网站上的网页标题。如果你有超过1页的标题，它会这样说。此选项卡还具有用于查找重复，短，长和缺失标记的过滤器选项，以及用于检查标题是否与H1标记匹配的选项。
• 元描述（Meta Description）：你可以在此处找到元描述，并按重复，短，长和缺失描述进行过滤。
• H1标签（Headling 1）：这是你可以找到所有H1标签的地方，它包括重复，多个和缺少h1标签的过滤器。这对于分析整个站点的h1标签很有用。
• H2标签（Headling 2）：这是上述部分的重复，但仅适用于H2标签。重要的是要注意虽然有多个h2标签可供选择，但这不再是一个重要因素。
• 图像（Images）：你可以在此处找到爬网期间在网站上使用的所有图像的列表。它将包括其URL路径，图像的使用次数，并可按大小和alt属性进行过滤。此部分非常基础，反映了抓取工具读取图像的难度。

3.4 主窗口

根据上方3.3选择的标签菜单，此处主窗口区域会显示其下面的URL和相关字段（联动展示）；也支持对表单字段进行拓展排序

支持筛选URL的格式（HTML、JacaScript、Images、PDF等）；支持对URL进行扁平化或树状结构展示；支持导出

3.5 详细窗口

在3.4的主窗口中，点击某一个URL后，可以在下方查看该URL的详细信息（比如TDKU、H1、H2、Indexable、页面字符数、响应时间等）；

支持查看「Inlinks」，即查询哪些页面跳转至该URL、及对应的Anchor Text锚文本；

支持查看「Outlinks」，即该URL内跳转至别的页面的链接及Anchor Text锚文本等；

支持查看SERP Snippets、Strcutured Data Detailes等

3.6 侧边栏

支持查看该网站的统计数据、SEO问题分类统计等，如下图我切换至显示该网站内的3xx重定向的URL数据；

由于篇幅有限，这里就不详细展开介绍了，欢迎文末扫码加微信交流独立站Google SEO~

四、安装版本

4.1 如何安装尖叫青蛙？

下载地址：https://www.screamingfrog.co.uk/seo-spider/

4.2 版本套餐

目前尖叫青蛙有免费版和收费版两种：

• 免费版：免费版的功能与付费版差不多，但免费版最多只能抓取500个链接，当链接抓取数量超过500时就会自动停止。
• 付费版：无链接抓取数量限制，付费版价格：£149.00 Per Year(149英镑/每年)

如果你想使用付费版，建议在淘宝上买共享版本，性价比高。

五、功能操作说明

5.1 如何使用尖叫青蛙？

使用Screaming Frog有许多不同的方法，但主要目标是抓取并修复你的网站。要开始使用，只需在线下载，然后安装即可。

完成此操作后，即可开始抓取你的网站。对于中型网站，这通常需要几分钟。大型网站可能需要更长时间才能抓取，并且你可能会耗尽内存。

完成抓取后，你可以轻松查看整个网站的错误。只需浏览菜单和选项卡即可浏览各种可用工具。

5.2 尖叫的青蛙如何抓取网站？

使用Screaming Frog，你可以轻松抓取网站。首先，你只需要在蜘蛛中输入起始URL即可。此选项位于屏幕顶部。

从这里开始，网站将一次自动抓取一个URL。但是，重要的是要注意Screaming Frog基于内部链接。因此，任何缺少链接的页面都不会出现在抓取中。

如果你在抓取网站上的任何网址时遇到问题，可能被机器人屏蔽。这通常可以在你的robots.txt设置中进行检查。

5.3 尖叫的青蛙如何抓取网址列表？

在某些情况下，你需要抓取网址列表。比如你正在清理索引，希望检查这些链接是否存在404链接，此时就可以使用Scraper工具。

当你创建列表后，复制到剪贴板。从Screaming Frog菜单中选择“Mode”，你可以更改为列表模式而不是蜘蛛模式。这样你就可以将这些URL直接粘贴到Screaming Frog中。你还可以从文件，站点地图或手动添加列表中抓取列表：

5.4 如何更改尖叫的青蛙抓取设置？

如果你在抓取网站时遇到问题，更改抓取设置会很有用。它更快速，更容易，因此请按照以下说明操作：

5.4.1 让尖叫青蛙爬得更快：

如果你想让Screaming Frog爬得更快，可以在  Configuration> Speed中完成。只需增加最大线程数，并删除任何URL限制。

但是，如果你过快地抓取你的网站，则可能会被阻止。你可以通过将IP地址列入白名单来更改服务器设置中的此设置。

5.4.2 让尖叫的青蛙爬行更慢：

如果你的网站托管在Shopify或SHOPLINE上，或者你不能将你的IP地址列入白名单; 那么你会想慢慢抓取网站。可以在Configuration> Speed中更改此  设置。你可以为每秒的URI请求数添加限制。

你还可以通过减少线程数来降低爬网速度。默认情况下，线程数为5。这可以减少到1或2，这将明显降低你抓取的速度。

5.4.3 忽略Robots.txt：

互联网上有一些网站阻止了所有机器人，这通常是在robots.txt中设置错误了。如果是这种情况，你需要尽快修复。

但是，如果这是一个开发网站，并且你不希望它被编入索引; 你需要忽略robots.txt。

为此，你可以在Configurations> Robots.txt> Settings中更改  设置。可以选择忽略robots.txt。即使robots.txt禁止你这样做，也可以抓取网站。

5.4.4 更改用户代理：

我很少需要做的就是更改我的用户代理以进行爬网。默认为Screaming Frog，但你可能希望以与Googlebot相同的方式查看网站。因此，更改用户代理有时会有所帮助。

要更改此设置，你需要在Configuration> User-agent中打开设置  。在这里，你可以找到一个下拉菜单，以选择不同的预设。

但是，使用用户代理时应该小心。如果你经常进行服务器日志分析，则数据会受到影响。

5.5 如何保存已爬取数据？

点击左上角文件「Save as」按钮，保存至本地；下次可以直接将seospider文件拖拽至尖叫青蛙内即可快速访问

5.6 如何创建站点地图?

Google强烈建议你使用XML Sitemap网站地图。它可以帮助他们抓取你的网站并查找的所有新内容。

创建站点地图的第一步是抓取你的网站。然后，你将需要生成一个新文件。为此，请从菜单中选择“创建XML站点地图”。

这应该创建一个要求配置的弹出窗口。默认情况下这很好用，但你可能希望进行更改。

例如，你可能希望更改更新的频率：

或者，你可能希望包含规范化的URL：

如果你为网站的每个页面添加了规范，这将非常有用。否则，你可能会收到站点地图为空的通知。

5.7 如何找到死链接？

要查找损坏的死链接，首先需要选择“响应代码”标签。然后选择显示客户端错误（4XX）的过滤器，并选择“internal” 选项卡，主窗口区域显示的链接就是站内404破损链接。

5.8 如何检查重定向？

使用与上述相同的方法，选择显示重定向（3XX）的过滤器。这将为你提供所有内部重定向。

虽然重定向没有任何害处，但你应该尝试在内部减少这些重定向。这就是为什么这很重要：

当外部网站链接到损坏的页面时，重定向可以帮助用户。这使得它成为一件好事。但是，当你这样做时，那就糟糕了。

这是因为重定向需要服务器处理请求。这会增加页面加载时间。因此，由于你可以控制内部链接，因此应该替换它。

5.9 检查内部链接

检查内部链接的快速简便方法是使用Screaming Frog。这是因为它通过内部链接抓取整个网站，因此收集了大量有关网站导航，锚文本和alt属性的数据。

要检查指向页面的内部链接，只需搜索你要查看的URL地址即可。这可以在主窗口的右侧找到。

找到URL后，选择屏幕底部的“链接”选项卡。然后，这将使用数据填充详细窗口，你可以开始浏览链接。

有6个主要字段：Type、From、To、Anchor Text（锚文本）、Alt Text、Follow。但是，最重要的列将是From、To和Anchor Text。

5.10 标题和元标记

标题和标题是揭示与Google相关的网页相关性的一些最大信号。因此，你需要使用Screaming Frog快速分析你的内容。

要开始使用，只需选择页面标题选项卡即可。然后，这将向你显示所有HTML页面和相应的标题。可以过滤此数据以显示具有缺失，重复，短，长和多个标题的页面。这将帮助你找到快速解决的问题。

5.10.1 页面标题优化：

为了充分利用我们的页面标题，你应该为每个页面设置一个唯一的标题。请务必在该页面中包含目标关键字，并避免在多个页面标题中使用相同的关键字。

5.10.2 标题优化：

我的主要提示是确保每页包含一个H1标记，每页至少包含1个H2标记。标题是让Google了解你的网页内容的绝佳方式，并且你的用户可以看到它们。尝试包括你的核心术语和主题相关标题。

5.10.3 元描述优化：

这些不是直接排名因素，但谷歌在其搜索引擎结果页面（SERP）中使用它们。因此，值得将这些简短而引人注目的用户。在说明中包含你的核心关键字，因为搜索者找到你的网页时，这些关键字通常会变为粗体。

5.10.4 元关键词优化：

这些用于向Google提供有关你网页内容的重要数据。然而，近10年来，这并不是一个排名因素。因此，建议不用花太多时间填写这些。

5.11 图像

大多数SEO都经常会忽略这些。但是，它们仍然是排名因素，应引起一些关注。Screaming Frog非常适合发现改善图像的机会。

5.12 HREFLang

检查HREFLang标签有很多好方法，但Screaming Frog是另一种方法。这可以在屏幕顶部的Hreflang选项卡下找到。

查看此选项卡时，有许多方法可以过滤数据。使用这些过滤器可以帮助你找到任何问题。

5.13 排除工具

排除工具用于从你的抓取中排除你网站的各个部分。因此，它的功能很像robot.txt文件。

当你处理大型网站时，这可能很有用。例如，如果要排除wordpress标记页面，则会将其排除在外：https://www.seoriven.com/tag/.*。*意味着忽略所有变化。如果要阻止URL参数或网站的整个部分，这可能很有用。

5.14 尖叫青蛙其他设置

一旦你在抓取大型网站时遇到麻烦，当然不希望每次都全量爬行。只需使用菜单选项保存爬网即可。通过像普通文件一样双击它或打开尖叫的青蛙Screaming Frog，可以在以后再次打开此爬行。打开后，你可以从保存它的同一下拉菜单中选择加载爬网。

批量导出工具对于创建具有单一类型信息的电子表格非常有用。我最喜欢的批量选项包括导出所有锚文本、所有30x重定向、所有40x错误、内部链接、图像等。

当我审核一个网站时，我觉得上面的内容特别有用。

六、最后

以上就是SEO工具Screaming Frog SEO Spider(尖叫青蛙)的大致介绍了，它的功能是不是很强大超实用呢？

本文已获得「公众号：跨境男孩Riven」授权发布，原文链接：https://mp.weixin.qq.com/s/wE_34nh45-fe2UpKwM5Jig