环创网络 Logo

如何通过竞争产品页面URL分析优化SEO

是否有办法了解竞品的网站规模大小,存在多少有效页面,从而进行更加详细的内容差距分析呢?

如果能够获得这些信息,就能够将自己与竞品的网站规模进行对比分析,了解与竞品网站之间的内容量差距,竞品在哪类内容上投入了更多的资源,以及竞品的网站架构是怎么样的,甚至还有机会洞察竞品的内容策略。

所有的这些洞察,前提都是先要获得竞品网站的所有有效页面URL,从更全局的角度来对比分析。

但是手动从竞品网站中逐个复制页面URL,肯定不是一个有效的解决方案。

因此,我们可以借助不同的工具,来快速整理出竞品网站的所有有效页面URL。

下面就介绍四种不同的方式,来实现这个目的。

01谷歌Site命令

在谷歌搜索中,使用Site命令,可以找到竞品网站中大量被收录的页面

如下图所示(site: domain.com),谷歌会将查询网站中的收录页面罗列出来。

(使用Site命令找出目标网站被收录的页面)

这种方式最大的优势是:

  • 免费
  • 简单易用
  • 快捷

而劣势也很明显:

  • 页面数据不全(因为谷歌只收录了它觉得有价值的页面,因此并未包含所有页面
  • 导出数据不方便(虽然可以借助浏览器插件,例如SEOquake,来导出页面数据,但如果页面量级大的话,还是比较麻烦)

(使用SEOquake插件来导出页面URL)
02XML Sitemap

第二种方式,则是直接从网站的站点地图中收集页面URL数据。

通常而言,我们会把网站中所有的重要页面都放到XML Sitemap中,方便搜索引擎抓取收录。

(XML Sitemap中的URL示例)

因此,通过提取XML Sitemap中的页面URL数据,我们可以快速且有效地实现这个目的。

默认网站的XML Sitemap会放在网站的根域名下,例如:https://www.domain.com/sitemap.xml。

如果在根域名下没找到的话,也可以到网站的robots.txt文件中找一下。

因为通常会在robots.txt文件中声明XML Sitemap所在的路径,来引导搜索引擎抓取站点地图。

(robots.txt文件中sitemap地址示例)

这样,我们就可以使用免费工具(例如https://www.searchant.co/sitemap-tool),来将XML Sitemap的页面URL快速提取出来了。

只需要输入竞品网站的XML Sitemap地址,等待片刻,就能直接导出页面URL数据。

(使用Searchant来提取Sitemap中的页面URL)

这种方式的优势在于:

  • 免费
  • 方便快捷
  • 获取到所有重要页面

而劣势则是:

  • 需要竞品网站已生成XML Sitemap
  • 且能够找到正确的XML Sitemap位置

03Screaming Frog

Screaming Frog(尖叫青蛙)是一款专门用来抓取网站页面数据的爬虫工具,非常强大,用它来抓取网站页面URL数据简直是轻而易举。

我们之前也专门写过一篇公众号文章:《Screaming Frog,让你尖叫着提升效率》,全方位的分享了我们是如何在SEO工作中使用Screaming Frog来抓取网站信息,提升效率的。

使用Screaming Frog来抓取网站页面URL非常简单,只需要在上方地址柆中输入竞品网站URL,等待它完成抓取,导出即可!

(使用Screaming Frog来抓取网站页面信息)

当然,如果觉得抓取整个网站太慢,也可以仅抓取XML Sitemap中的页面URL。

切换抓取模式为List Mode,然后将竞品网站的XML Sitemap地址粘贴进去,等待抓取完成。

(切换至Screaming Frog的List抓取模式)

这种方式的优势主要是:

  • 方便快捷
  • 抓取效率高
  • 多种抓取方式可用
  • 抓取到的网站页面URL完整
  • 额外获得更多页面信息数据(例如Title,Description内容)

而劣势则是:

  • 付费工具(折合约1800+RMB/年)
  • 有一丢丢的学习成本

04Semrush

通过在Semrush中创建专门的Project,并设置Site Audit后,也能找到竞品网站的所有页面URL。

(在Semrush中创建Project)

等待Semrush抓取完所有页面后,我们就能够在Crawled Pages中,找到竞品的所有网站页面URL信息。

(在Semrush中找到所有被抓取的页面)

点击右上角的Export按钮,可以导出所有的页面URL数据。

(导出被抓取的页面)

使用Semrush的优势主要有:

  • 方便快捷
  • 抓取效率高
  • 抓取到的网站页面URL完整
  • 额外获得更多页面信息数据

而唯一劣势则是:

  • 付费工具

05小结

如果只是希望简单获取竞品网站的页面URL,前两种免费方式就够用了。

但如果是希望能够获取到更多的页面信息和数据洞察,Semrush则更加合适。

推荐大家观看《如何利用Semrush分析与竞品的内容差距》的视频讲解,助你快速找到更多的内容主题机会。

Cross Border Digital

全部文章

Copyright © 2024  深圳市环创网络技术有限公司版权所有
粤ICP备17073372号

Scroll to Top