今天被一個(gè)朋友問(wèn)到，該怎么獲取競(jìng)爭(zhēng)對(duì)手網(wǎng)站上所有開(kāi)放的鏈接，干脆這篇文章簡(jiǎn)單梳理一下。

其實(shí)要解決這個(gè)需要，我使用到的方法一般有三個(gè)，由易到難逐一介紹下。

最簡(jiǎn)單的方法，自然是看網(wǎng)站的站點(diǎn)地圖。

直接在競(jìng)爭(zhēng)對(duì)手域名后面加上 sitemap.xml 去訪問(wèn)網(wǎng)站的站點(diǎn)頁(yè)面，就基本看到了這個(gè)網(wǎng)站所有的數(shù)據(jù)信息。

就拿 RankMath 這款 SEO 插件來(lái)說(shuō)，它不僅提供了站點(diǎn)所有的索引鏈接數(shù)據(jù)，還將這些鏈接數(shù)據(jù)做了很好的層級(jí)劃分。

我們需要做的，就是將站點(diǎn)地圖上的數(shù)據(jù)信息復(fù)制下來(lái)，做下最簡(jiǎn)單的數(shù)據(jù)格式清晰便可以保存下來(lái)了。

但是這種站點(diǎn)地圖方法，有時(shí)候有一點(diǎn)點(diǎn)缺點(diǎn)。

其一并不是所有網(wǎng)站都有站點(diǎn)地圖，可能原因是運(yùn)營(yíng)團(tuán)隊(duì)真的沒(méi)有設(shè)置，當(dāng)然也可能是因?yàn)檫\(yùn)營(yíng)團(tuán)隊(duì)故意隱藏掉了。

其二是站點(diǎn)地圖上的鏈接，并不百分百包含網(wǎng)站的所有鏈接。

比如有些不打算讓搜索引擎收錄的頁(yè)面，可能在設(shè)置的時(shí)候便直接將其 noindex 了，于是這部分頁(yè)面便在站點(diǎn)地圖里面不可見(jiàn)。

所以為了獲取更全面的站點(diǎn)數(shù)據(jù)，我更傾向于使用一些 Site Audit 之類的工具。

比如業(yè)內(nèi)在監(jiān)控這塊做得非常棒的“尖叫青蛙”這款軟件，在抓取網(wǎng)站鏈接方面就做得很不錯(cuò)?；疽粋€(gè)網(wǎng)站的根域名扔進(jìn)去，軟件便可以很快速的將這個(gè)網(wǎng)站的所有鏈接全部抓出來(lái)。

那除了這種桌面端軟件外，還有很多在線版的監(jiān)控工具也非常好用，比如付費(fèi)版本 Ahrefs 與 SEMRUSH 都提供網(wǎng)站檢測(cè)工具。

比如上圖是我使用 UberSuggest 這款 SEO 工具做競(jìng)爭(zhēng)對(duì)手信息檢測(cè)，也完全可以實(shí)現(xiàn)我的需求。

且這些在線版的檢測(cè)工具有個(gè)好處，就是你設(shè)置外項(xiàng)目信息后，系統(tǒng)會(huì)持續(xù)關(guān)注競(jìng)爭(zhēng)對(duì)手的所有操作。一旦競(jìng)爭(zhēng)對(duì)手網(wǎng)站有任何異動(dòng)，軟件都會(huì)在第一時(shí)間提醒你并給你生成相應(yīng)報(bào)表。

其實(shí)上面這兩個(gè)方法等我們熟練掌握后，再去做競(jìng)爭(zhēng)對(duì)手頁(yè)面鏈接梳理這樣的工作就非常輕而易舉了。

但是如果你的需求再?gòu)?fù)雜一點(diǎn)，比如一次性收集一千個(gè)競(jìng)爭(zhēng)對(duì)手網(wǎng)站的鏈接信息，這就需要我們自己開(kāi)發(fā)相應(yīng)的信息抓取腳本了。

邏輯其實(shí)也簡(jiǎn)單，類似于搜索引擎爬蟲的工作原理，不停在網(wǎng)站頁(yè)面上進(jìn)行遞歸查找。

其實(shí)想要這樣的腳本，我們自己也不需要寫什么代碼，直接把自己的需求告訴 AI 工具，很快相應(yīng)的解決方案便出來(lái)了。

當(dāng)然上面這三個(gè)方法，都是常規(guī)的信息抓取手段了。至于不常規(guī)的，我們做正常業(yè)務(wù)的沒(méi)必要了解。