什么是索引膨脹(Index Bloat)？?
索引膨脹(Index Bloat)是指你的網(wǎng)站上有大量低質(zhì)量頁(yè)面，這些頁(yè)面會(huì)占用Google的抓取預(yù)算，且對(duì)潛在用戶來(lái)說(shuō)沒(méi)有任何價(jià)值，也就是說(shuō)，當(dāng)Google將你網(wǎng)站上不應(yīng)該被索引的頁(yè)面收錄時(shí)，就會(huì)發(fā)生索引膨脹。
索引膨脹會(huì)產(chǎn)生哪些負(fù)面SEO影響？
?
索引膨脹對(duì)SEO及網(wǎng)站用戶有很大的負(fù)面影響，除了減慢網(wǎng)站速度外，索引膨脹也會(huì)產(chǎn)生很多SEO問(wèn)題。
浪費(fèi)抓取預(yù)算
?
索引膨脹使得搜索機(jī)器人浪費(fèi)有限的抓取預(yù)算，占用你想要排名頁(yè)面的時(shí)間和資源，抓取預(yù)算使用效率低。
排名更加困難 ?
搜索機(jī)器人需要了解你的網(wǎng)站，將內(nèi)容和用戶搜索意圖進(jìn)行匹配，并進(jìn)行有效排名，沒(méi)有明確，合乎邏輯目的的頁(yè)面會(huì)使Google更難理解和檢索信息。排名下降
?
相似或者重復(fù)內(nèi)容頁(yè)面存在重疊的關(guān)鍵詞定位，導(dǎo)致相互競(jìng)爭(zhēng)，另外，低質(zhì)內(nèi)容無(wú)法獲得排名，這可能影響你網(wǎng)站的整體權(quán)威性。導(dǎo)致排名下降。
如何識(shí)別索引膨脹？ ?
識(shí)別你的網(wǎng)站是否存在索引膨脹的唯一方法是評(píng)估你網(wǎng)站的索引頁(yè)面總數(shù)。評(píng)估網(wǎng)站收錄頁(yè)面數(shù)量的方法有很多種，包括：1.使用谷歌高級(jí)搜索命令“site:https://yourdomain.com”，查看搜索結(jié)果數(shù)2.使用Google Search Console (GSC)?，查看編制索引>網(wǎng)頁(yè)數(shù)3.使用例如Screaming Frog這樣的爬網(wǎng)工具，這些工具會(huì)香搜索引擎一樣抓取你的網(wǎng)站，并提供詳細(xì)的索引報(bào)告。作為SEO或者說(shuō)網(wǎng)站負(fù)責(zé)人，你應(yīng)該知道你的網(wǎng)站收錄的大概數(shù)量，如果GSC顯示的數(shù)量比你預(yù)估的大很多，那么說(shuō)明你的網(wǎng)站可能存在索引膨脹的問(wèn)題。此時(shí)，你需要深入研究網(wǎng)站報(bào)告，Screaming Frog這樣的爬網(wǎng)工具可以精確的為你提供導(dǎo)致索引膨脹的頁(yè)面。
常見導(dǎo)致索引膨脹的原因
?
索引膨脹是一些大型網(wǎng)站，例如電商站，旅游站等比較常見的SEO問(wèn)題，但并不是說(shuō)小站不存在這個(gè)問(wèn)題。事實(shí)上，有很多導(dǎo)致網(wǎng)站索引膨脹的原因，包括但不限于以下幾種：
- 分面導(dǎo)航和參數(shù)：具有分面導(dǎo)航的電商網(wǎng)站或者其他網(wǎng)站通常會(huì)根據(jù)過(guò)濾器、排序等選項(xiàng)生成大量URL變體，從而導(dǎo)致重復(fù)頁(yè)面問(wèn)題。
- 存檔頁(yè)面和標(biāo)簽頁(yè)面：雖然這些頁(yè)面用于組織目的，但它們可能無(wú)法提供獨(dú)特的價(jià)值，如果管理不當(dāng)，可能會(huì)導(dǎo)致索引膨脹。
- 分頁(yè)：分頁(yè)是比較流行的內(nèi)容顯示方式之一，電商站、博客站等都有分頁(yè)板塊。分頁(yè)好用，但如果管理不當(dāng)，也會(huì)導(dǎo)致索引膨脹。
- 低質(zhì)，單薄的內(nèi)容頁(yè)面：內(nèi)容單薄或低質(zhì)量的頁(yè)面為用戶提供的價(jià)值較低，可能會(huì)被搜索引擎視為質(zhì)量差。但是，它們?nèi)匀豢梢员凰饕?，特別是如果它們是自動(dòng)生成的，或者是網(wǎng)站更新的額外內(nèi)容。 ? ?
- Robots.txt丟失或者不正確：Robots.txt文件是位于網(wǎng)站域根目錄下的文本文件，它告訴網(wǎng)絡(luò)爬蟲哪些頁(yè)面應(yīng)該被索引，哪些頁(yè)面不應(yīng)該被索引。當(dāng)它丟失或者錯(cuò)誤時(shí)，搜索引擎機(jī)器人可能會(huì)抓取和索引不應(yīng)包含的網(wǎng)站，從而導(dǎo)致索引膨脹。
- 媒體頁(yè)面：過(guò)多的元數(shù)據(jù)較差的圖片庫(kù)和視頻集
- 未優(yōu)化的搜索結(jié)果頁(yè)：主要在電商站上
- 意外重復(fù)內(nèi)容或者相似內(nèi)容
- 測(cè)試頁(yè)面：一些用于測(cè)試的頁(yè)面
整理索引頁(yè)面列表
?
通過(guò)sitemap、GSC、GA4等工具查找和整理你的所有索引頁(yè)面，合并，排重以及刪除帶有參數(shù)的網(wǎng)址，整理一個(gè)最終網(wǎng)址索引列表。使用Screaming Frog將其與GA,GSC等可以統(tǒng)計(jì)頁(yè)面效果的工具鏈接，通過(guò)流量、點(diǎn)擊、外鏈等數(shù)據(jù)來(lái)分析你的網(wǎng)站，判斷哪些網(wǎng)址效果不好，會(huì)導(dǎo)致索引膨脹。
如何修復(fù)索引膨脹？
?
當(dāng)你一旦確定了導(dǎo)致索引膨脹的原因，并基本確定了相關(guān)頁(yè)面，下一步，我們?cè)摽紤]如何修復(fù)索引問(wèn)題。 ? ?
刪除內(nèi)部鏈接 ?
查看你網(wǎng)站的內(nèi)部鏈接結(jié)構(gòu)，確定低質(zhì)量、冗余或不再需要的頁(yè)面。刪除指向此類頁(yè)面的內(nèi)部鏈接，阻止搜索引擎機(jī)器人抓取和索引它們。確保重要頁(yè)面獲得更多的內(nèi)部鏈接，以加強(qiáng)索引和排名。在指向你希望命令搜索引擎不要進(jìn)行索引的頁(yè)面的鏈接上使用“nofollow”標(biāo)簽。
更新或者修正robots.txt
?
檢查你網(wǎng)站的robots.txt文件，確保配置正確，排除不相關(guān)或重復(fù)的頁(yè)面。更新文件并包含不應(yīng)編入索引的目錄或頁(yè)面。使用Google Search Console的robots.txt測(cè)試器測(cè)試robots.txt文件驗(yàn)證有效性。
使用Meta Robots標(biāo)簽和X Robots ?
利用元機(jī)器人標(biāo)簽或 X-Robots-Tag HTTP 標(biāo)頭來(lái)指示搜索引擎不要索引特定頁(yè)面。在搜索引擎不應(yīng)索引的特定頁(yè)面上使用“noindex”標(biāo)簽。使用“noarchive”可防止搜索引擎顯示頁(yè)面的緩存版本。使用代碼指定抓取工具不應(yīng)為這些網(wǎng)頁(yè)編制索引，但可以跟蹤這些網(wǎng)頁(yè)上的鏈接。這樣可以確保Google可以通過(guò)這些鏈接將其他網(wǎng)頁(yè)編入索引，但不能將網(wǎng)頁(yè)本身編入索引。 ? ?
301重定向 ?
如果你的網(wǎng)站有多個(gè)內(nèi)容相同或者相似的望著我，可以使用301重定向到該頁(yè)面的首選規(guī)范頁(yè)面。這樣可以保留反向鏈接價(jià)值并最大限度地減少錯(cuò)誤。如果不再需要內(nèi)容或與網(wǎng)站現(xiàn)有頁(yè)面無(wú)關(guān)，可以使用 HTTP狀態(tài)代碼410。404也可以，但410可以更快地將網(wǎng)站從搜索引擎的索引中剔除。
使用Canonical標(biāo)簽
?
使用rel=”canonical”?告知Google重復(fù)頁(yè)面的首選規(guī)范版本。
使用Noindex標(biāo)簽
?
在要排除的頁(yè)面上設(shè)置Noindex標(biāo)簽，可以防止搜索引擎索引這些頁(yè)面，從而減少索引膨脹。
正確設(shè)置分頁(yè)板塊 ?
如果你的網(wǎng)站有分頁(yè)板塊，可以使用rel=“next” 和 rel=“prev” 標(biāo)簽向搜索引擎發(fā)出正確分頁(yè)的信號(hào)，這樣可以防止它們單獨(dú)索引每個(gè)分頁(yè)頁(yè)面，從而避免索引膨脹。
刪除或者合并頁(yè)面
?
進(jìn)行徹底的內(nèi)容審查，將低質(zhì)或者表現(xiàn)不佳的頁(yè)面整理出來(lái)，考慮改進(jìn)還是完全刪除這些頁(yè)面，也可以減少索引膨脹。或者可以把相似的頁(yè)面整合成一個(gè)綜合頁(yè)面，避免重復(fù)。
密碼保護(hù) ? ?
密碼保護(hù)服務(wù)器上的文件會(huì)阻止搜索引擎的跟蹤。這些網(wǎng)址不能被抓取、索引或傳遞任何排名信號(hào)。但這也阻止了訪客。
使用URL刪除工具 ?
如果你確信網(wǎng)頁(yè)被無(wú)意編入索引，并且不應(yīng)出現(xiàn)在搜索結(jié)果中，可以使用Google Search Console的網(wǎng)址移除工具（或其他搜索引擎的類似工具）請(qǐng)求將其從索引中移除。
GSC截圖
如果你的網(wǎng)站已經(jīng)存在了一段時(shí)間，最好每年進(jìn)行一次全面的網(wǎng)站審查和維護(hù)檢查。仔細(xì)梳理所有頁(yè)面，判斷它們是否仍然是相關(guān)、有用和最新頁(yè)面，或者是已經(jīng)過(guò)時(shí)、單薄或者重復(fù)頁(yè)面。
最后
?
所有的更改都結(jié)束后，我們只需要等待搜索機(jī)器人再次來(lái)抓取。提醒：預(yù)防大于治療，如果看到這篇文章的你還在建站初期，請(qǐng)一定要認(rèn)真考慮如何解決導(dǎo)致索引膨脹的原因。另外，持續(xù)的網(wǎng)站定期審查也是我們需要重視的SEO工作。
封面圖片來(lái)源于MedResponsive
