在谷歌搜索中，使用Site命令，可以找到競品網(wǎng)站中大量被收錄的頁面。

如下圖所示(site: domain.com)，谷歌會將查詢網(wǎng)站中的收錄頁面羅列出來。

（使用Site命令找出目標(biāo)網(wǎng)站被收錄的頁面）

這種方式最大的優(yōu)勢是：

• 免費(fèi)

• 簡單易用

• 快捷

而劣勢也很明顯：

• 頁面數(shù)據(jù)不全（因?yàn)楣雀柚皇珍浟怂X得有價(jià)值的頁面，因此并未包含所有頁面）

• 導(dǎo)出數(shù)據(jù)不方便（雖然可以借助瀏覽器插件，例如SEOquake，來導(dǎo)出頁面數(shù)據(jù)，但如果頁面量級大的話，還是比較麻煩）

（使用SEOquake插件來導(dǎo)出頁面URL）

第二種方式，則是直接從網(wǎng)站的站點(diǎn)地圖中收集頁面URL數(shù)據(jù)。

通常而言，我們會把網(wǎng)站中所有的重要頁面都放到XML Sitemap中，方便搜索引擎抓取收錄。

（XML Sitemap中的URL示例）

因此，通過提取XML Sitemap中的頁面URL數(shù)據(jù)，我們可以快速且有效地實(shí)現(xiàn)這個目的。

默認(rèn)網(wǎng)站的XML Sitemap會放在網(wǎng)站的根域名下，例如：https://www.domain.com/sitemap.xml。

如果在根域名下沒找到的話，也可以到網(wǎng)站的robots.txt文件中找一下。

因?yàn)橥ǔ趓obots.txt文件中聲明XML Sitemap所在的路徑，來引導(dǎo)搜索引擎抓取站點(diǎn)地圖。

（robots.txt文件中sitemap地址示例）

這樣，我們就可以使用免費(fèi)工具（例如https://www.searchant.co/sitemap-tool），來將XML Sitemap的頁面URL快速提取出來了。

只需要輸入競品網(wǎng)站的XML Sitemap地址，等待片刻，就能直接導(dǎo)出頁面URL數(shù)據(jù)。

（使用Searchant來提取Sitemap中的頁面URL）

這種方式的優(yōu)勢在于：

• 免費(fèi)

• 方便快捷

• 獲取到所有重要頁面

而劣勢則是：

• 需要競品網(wǎng)站已生成XML Sitemap

• 且能夠找到正確的XML Sitemap位置

Screaming Frog(尖叫青蛙)是一款專門用來抓取網(wǎng)站頁面數(shù)據(jù)的爬蟲工具，非常強(qiáng)大，用它來抓取網(wǎng)站頁面URL數(shù)據(jù)簡直是輕而易舉。

我們之前也專門寫過一篇公眾號文章：《Screaming Frog，讓你尖叫著提升效率》，全方位的分享了我們是如何在SEO工作中使用Screaming Frog來抓取網(wǎng)站信息，提升效率的。

使用Screaming Frog來抓取網(wǎng)站頁面URL非常簡單，只需要在上方地址柆中輸入競品網(wǎng)站URL，等待它完成抓取，導(dǎo)出即可！

（使用Screaming Frog來抓取網(wǎng)站頁面信息）

當(dāng)然，如果覺得抓取整個網(wǎng)站太慢，也可以僅抓取XML Sitemap中的頁面URL。

切換抓取模式為List Mode，然后將競品網(wǎng)站的XML Sitemap地址粘貼進(jìn)去，等待抓取完成。

（切換至Screaming Frog的List抓取模式）

這種方式的優(yōu)勢主要是：

• 方便快捷

• 抓取效率高

• 多種抓取方式可用

• 抓取到的網(wǎng)站頁面URL完整

• 額外獲得更多頁面信息數(shù)據(jù)（例如Title，Description內(nèi)容）

而劣勢則是：

• 付費(fèi)工具（折合約1800+RMB/年）

• 有一丟丟的學(xué)習(xí)成本

通過在Semrush中創(chuàng)建專門的Project，并設(shè)置Site Audit后，也能找到競品網(wǎng)站的所有頁面URL。

（在Semrush中創(chuàng)建Project）

等待Semrush抓取完所有頁面后，我們就能夠在Crawled Pages中，找到競品的所有網(wǎng)站頁面URL信息。

（在Semrush中找到所有被抓取的頁面）

點(diǎn)擊右上角的Export按鈕，可以導(dǎo)出所有的頁面URL數(shù)據(jù)。

（導(dǎo)出被抓取的頁面）

使用Semrush的優(yōu)勢主要有：

• 方便快捷

• 抓取效率高

• 抓取到的網(wǎng)站頁面URL完整

• 額外獲得更多頁面信息數(shù)據(jù)

而唯一劣勢則是：

• 付費(fèi)工具

如果只是希望簡單獲取競品網(wǎng)站的頁面URL，前兩種免費(fèi)方式就夠用了。

但如果是希望能夠獲取到更多的頁面信息和數(shù)據(jù)洞察，Semrush則更加合適。

推薦大家觀看《如何利用Semrush分析與競品的內(nèi)容差距》的視頻講解，助你快速找到更多的內(nèi)容主題機(jī)會。