在全球海量的網(wǎng)站中，數(shù)量已高達(dá)數(shù)十億，而搜索引擎的資源卻相對有限，無法實現(xiàn)對每個網(wǎng)站的每日全面審視。因此，搜索引擎制定了策略，決定哪些內(nèi)容應(yīng)被優(yōu)先抓取，以及何時進(jìn)行抓取。 接下來，我們將分析搜索引擎的抓取配額機(jī)制如何深刻影響網(wǎng)站的排名，并分享如何借助Semrush來精準(zhǔn)優(yōu)化網(wǎng)站的SEO策略，從而提升網(wǎng)站在搜索引擎結(jié)果中的表現(xiàn)。 抓取配額是指Google等搜索引擎在一定時間內(nèi)計劃抓取的網(wǎng)站上的URL 數(shù)量。在規(guī)定時間內(nèi)，搜索引擎將按計劃對網(wǎng)站URL進(jìn)行抓取。 Google首先需要抓取您的網(wǎng)頁并將其編入索引，然后才能對其進(jìn)行排名。并且這些流程必須順利進(jìn)行，您的內(nèi)容才能顯示在搜索結(jié)果中，這是網(wǎng)站獲取自然搜索排名和流量的前提。 大多數(shù)網(wǎng)站站長不需要太擔(dān)心抓取配額。因為Google抓取網(wǎng)站的效率相當(dāng)高。但在某些特定情況下，Google的抓取配額對網(wǎng)站SEO尤為重要：? 網(wǎng)站頁面非常多 如果您的網(wǎng)站很大且很復(fù)雜（10K+頁面），Google可能不會立即找到新頁面或經(jīng)常重新抓取您的所有頁面； 網(wǎng)站添加了大量新頁面 如果網(wǎng)站頻繁添加大量新頁面，則抓取配額可能會影響這些頁面的可見性； 網(wǎng)站存在技術(shù)問題 如果可抓取性問題阻礙搜索引擎有效地抓取您的網(wǎng)站，您的內(nèi)容可能不會顯示在搜索結(jié)果中。 您網(wǎng)站的抓取配額由兩個主要因素決定：? 抓取需求是指Google根據(jù)感知的重要性對您的網(wǎng)站進(jìn)行抓取的頻率。有三個因素會影響您網(wǎng)站的抓取需求： a.感知庫存 Google通常會嘗試抓取您網(wǎng)站上它所能識別的全部或大部分網(wǎng)頁，除非您禁止Google抓取。例如如果您沒有禁止Googlebot抓取重復(fù)頁面和您已刪除的頁面，它每次仍可能會反復(fù)抓取這些頁面。 b.受歡迎程度? Google通常會優(yōu)先抓取具有更多反向鏈接（來自其他網(wǎng)站的鏈接）和流量較大的網(wǎng)頁。這兩者都可以向Google算法發(fā)出信號，表明您的網(wǎng)站很重要，值得更頻繁地抓取。但注意，反向鏈接不能只追求數(shù)量，需相關(guān)性強(qiáng)且來源權(quán)威。 使用Semrush的反向鏈接分析工具查詢網(wǎng)站各頁面的反向鏈接情況。 我們可查看網(wǎng)站反向鏈接概況，點擊 “編入索引頁面” 選項卡，可按頁面查看反向鏈接。 單擊 “反向鏈接” 列，按反向鏈接最多的頁面排序。 Semrush所列的頁面都是Google最常抓取的頁面，我們需留意那些反向鏈接較少的重要頁面，并考慮實施反向鏈接策略，讓更多網(wǎng)站鏈接到這些重要頁面。 c.過時 搜索引擎的目標(biāo)是以足夠高的頻率抓取內(nèi)容，以便發(fā)現(xiàn)任何變化。但是，如果您的內(nèi)容在一段時間內(nèi)沒有發(fā)生太大變化，Google可能會開始降低抓取頻率。 例如，Google通常會大量抓取新聞網(wǎng)站，因為這些網(wǎng)站通常每天發(fā)布數(shù)次新內(nèi)容。在這種情況下，網(wǎng)站的抓取需求很高。當(dāng)然，這并不意味著您需要每天更新內(nèi)容，只是為了讓Google更頻繁地抓取您的網(wǎng)站。Google的指導(dǎo)方針表示它只想抓取高質(zhì)量的內(nèi)容。因此，應(yīng)優(yōu)先考慮內(nèi)容質(zhì)量，而不是為了提高抓取頻率而進(jìn)行頻繁、不相關(guān)的更新。 抓取容量限制可防止Google機(jī)器人因過多請求而減慢您的網(wǎng)站速度，從而導(dǎo)致性能問題，它主要受您網(wǎng)站的整體健康狀況和Google自身的抓取限制的影響。? a.網(wǎng)站的抓取健康狀況 您的網(wǎng)站響應(yīng)Google請求的速度會影響您的抓取配額。如果您的網(wǎng)站響應(yīng)迅速，您的抓取容量限制就會增加。Google可能會更快地抓取您的網(wǎng)頁。但如果您的網(wǎng)站速度變慢，您的抓取容量限制可能會降低。如果您的網(wǎng)站響應(yīng)服務(wù)器錯誤，這也會降低限制。并且 Google可能會減少對您的網(wǎng)站的抓取頻率。 提示：使用 Semrush Site Audit檢查加載速度問題和服務(wù)器錯誤。以減少網(wǎng)站抓取容量限制下降的可能性。 b.Google 的抓取限制 Google沒有無限的資源來抓取網(wǎng)站。這就是為什么首先要有抓取配額?；旧?，這是Google確定最常抓取哪些頁面的優(yōu)先級的一種方式。如果由于某種原因Google的資源有限，這可能會影響您網(wǎng)站的抓取容量限制。 Google Search Console (GSC) 提供有關(guān)Google如何抓取您的網(wǎng)站的完整信息。以及可能存在的任何問題以及抓取行為隨時間發(fā)生的任何重大變化。這可以幫助您了解是否存在影響抓取配額的問題并可以進(jìn)行修復(fù)。要查找此信息，請訪問您的GSC屬性并單擊“Settings”。 在“Crawling”部分，您將看到過去90天內(nèi)的抓取請求數(shù)量，單擊 “OPEN REPORT” 以獲取更詳細(xì)的見解。 Google Search Console可以直接從源頭提供有關(guān)您的抓取配額的有用信息。但其他工具可以提供您提高網(wǎng)站抓取能力所需的更詳細(xì)的見解。 Semrush的項目（project）工具可以向您顯示您的抓取配額被浪費的地方，并可以幫助您優(yōu)化網(wǎng)站的抓取能力。 在這里，你會發(fā)現(xiàn)你網(wǎng)站的抓取配額有多少被浪費了，以及出現(xiàn)了哪些問題。例如臨時重定向、永久重定向、重復(fù)內(nèi)容和加載速度慢。單擊任意一個欄都會顯示存在該問題的頁面列表。根據(jù)問題的不同，您將看到每個受影響頁面的各個列中的信息。瀏覽這些頁面并修復(fù)相應(yīng)的問題。以提高您網(wǎng)站的可抓取性。 一旦您知道網(wǎng)站的抓取配額問題出在哪里，您就可以修復(fù)它們以最大限度提高抓取效率。我們可以做好以下工作： 提高網(wǎng)站速度可以幫助Google更快地抓取您的網(wǎng)站。這可以更好地利用您網(wǎng)站的抓取配額。此外，這對用戶體驗 (UX) 和SEO也有好處。要檢查頁面加載速度，請返回之前設(shè)置的項目概覽，然后單擊“效果”框中的“查看詳情”。您將看到頁面加載速度和平均頁面加載速度的細(xì)分，以及可能導(dǎo)致性能不佳的錯誤和警告列表。 有很多方法可以提高頁面速度，包括： a.優(yōu)化圖片：使用圖片壓縮器等在線工具來減少文件大小，而不會使圖片變得模糊； b.最小化代碼和腳本：考慮使用Minifier.org等在線工具或WP Rocket等 WordPress 插件來最小化網(wǎng)站代碼，以加快加載速度； c.使用內(nèi)容分發(fā)網(wǎng)絡(luò) (CDN)：CDN是一個分布式服務(wù)器網(wǎng)絡(luò)，可根據(jù)用戶位置向其分發(fā) Web 內(nèi)容，以加快加載速度。 完善的內(nèi)部鏈接結(jié)構(gòu)可以讓搜索引擎爬蟲更輕松地找到并理解您的內(nèi)容。這可以更有效地利用您的爬蟲預(yù)算并提高您的排名潛力，同時，這也會為您的網(wǎng)站創(chuàng)建一個清晰且合乎邏輯的結(jié)構(gòu)，方便用戶和搜索引擎瀏覽。? 為所有重要頁面添加內(nèi)部鏈接，以便 Google 更輕松地找到您最重要的內(nèi)容。? 這還可以幫助您避免無主頁面（沒有內(nèi)部鏈接指向的頁面）。Google仍然可以找到這些頁面，但如果您有相關(guān)的內(nèi)部鏈接指向它們，那么查找起來就容易多了。單擊項目的 “內(nèi)部鏈接” 框中的 “查看詳情” 以查找內(nèi)部鏈接的問題，您可看到網(wǎng)站內(nèi)部鏈接結(jié)構(gòu)的概覽，包括從主頁到每個頁面需要點擊多少次。 您還將看到錯誤、警告和通知的列表。這些內(nèi)容涵蓋諸如鏈接斷開、內(nèi)部鏈接上的nofollow 屬性以及無錨文本的鏈接等問題。仔細(xì)檢查并糾正每個頁面上的問題，以便搜索引擎更輕松地抓取和索引您的內(nèi)容。 擁有最新的XML站點地圖是另一種讓Google找到您最重要的頁面的方法。添加新頁面時更新站點地圖可使這些頁面更有可能被抓取。Google建議僅在站點地圖中包含您希望出現(xiàn)在搜索結(jié)果中的URL，以避免浪費抓取配額。您還可以使用<lastmod>標(biāo)簽來指示您上次更新給定URL的時間。但這不是必需的。 屏蔽你不想讓搜索引擎抓取 的URL 使用robots.txt文件（該文件會告訴搜索引擎機(jī)器人哪些頁面應(yīng)該被抓取，哪些頁面不應(yīng)該被抓?。﹣碜畲蟪潭鹊販p少Google抓取您不希望抓取的頁面的機(jī)會。這有助于減少抓取配額浪費。 重定向會將用戶（和機(jī)器人）從一個URL帶到另一個URL。這會減慢頁面加載時間并浪費抓取配額。如果您有重定向鏈，這種情況會特別成問題。當(dāng)原始URL 和最終URL之間有多個重定向時，就會發(fā)生這種情況。像這樣： 要了解有關(guān)在您的網(wǎng)站上設(shè)置的重定向的更多信息，請打開項目工具并導(dǎo)航到 “問題” 選項卡。在搜索欄中輸入“重定向”以查看與您網(wǎng)站重定向相關(guān)的問題，點擊 “原因及如何修復(fù)” 或 “了解更多” 以獲取有關(guān)每個問題的更多信息。并查看如何解決問題的指導(dǎo)。 斷開的鏈接是那些不會引導(dǎo)至實際頁面的鏈接，它們通常會返回404錯誤代碼。這不一定是壞事。事實上，不存在的頁面通常應(yīng)該返回404狀態(tài)代碼。但大量指向不存在的損壞頁面的鏈接會浪費抓取配額。因為機(jī)器人可能仍會嘗試抓取它，即使頁面上沒有任何有價值的內(nèi)容。 重復(fù)內(nèi)容是指您的網(wǎng)站上有高度相似的頁面。這個問題會浪費抓取配額，因為機(jī)器人實際上是在抓取同一頁面的多個版本。重復(fù)內(nèi)容有幾種形式。例如，相同或幾乎相同的頁面（通常要避免這種情況）?；蛘哂?span style="color: rgb(41, 108, 212);text-shadow: none;">URL參數(shù)導(dǎo)致的頁面變化（電子商務(wù)網(wǎng)站中很常見）。 定期監(jiān)控和優(yōu)化網(wǎng)站的問題有助于搜索引擎找到您的內(nèi)容。定期使用Semrush對網(wǎng)站進(jìn)行全面分析，可使我們第一時間發(fā)現(xiàn)問題并針對性解決問題，提升網(wǎng)站在搜索引擎中的綜合表現(xiàn)。 Semrush是全球知名數(shù)字營銷工具，擁有包括：競爭對手流量分析，網(wǎng)站排名跟蹤，外鏈分析，關(guān)鍵字研究，PPC廣告分析，網(wǎng)站分析，社交媒體監(jiān)控和內(nèi)容規(guī)劃等服務(wù)。 Cross Border Digital是Semrush在中國的重要戰(zhàn)略合作伙伴，也是目前中國唯一的Semrush官方授權(quán)一級代理，我們已創(chuàng)建Semrush官方學(xué)習(xí)群，感興趣的朋友請掃描下方二維碼入群交流！ 原文鏈接：https://www.semrush.com/blog/crawl-budget/
文章為作者獨立觀點，不代表DLZ123立場。如有侵權(quán),請聯(lián)系我們。( 版權(quán)為作者所有，如需轉(zhuǎn)載，請聯(lián)系作者 )
網(wǎng)站運營至今，離不開小伙伴們的支持。 為了給小伙伴們提供一個互相交流的平臺和資源的對接，特地開通了獨立站交流群。
群里有不少運營大神，不時會分享一些運營技巧，更有一些資源收藏愛好者不時分享一些優(yōu)質(zhì)的學(xué)習(xí)資料。
現(xiàn)在可以掃碼進(jìn)群，備注【加群】。 ( 群完全免費，不廣告不賣課！)
