做SEO肯定要關(guān)注收錄。有收錄，不一定有好的排名；但不收錄，就絕對不存在有排名的可能性。

早前我分享過一些關(guān)于網(wǎng)頁收錄的SEO實(shí)踐，很多時(shí)候是從單個(gè)頁面出發(fā)，特別講到的是新頁面遲遲不被收錄的情況。而這次的分享是從整站的角度去看總收錄數(shù)如何影響SEO。

看網(wǎng)站整體收錄數(shù)的意義在于：
1、評估網(wǎng)站整體的健康情況：如果收錄數(shù)遠(yuǎn)遠(yuǎn)低于網(wǎng)站實(shí)際網(wǎng)頁數(shù)，那往往是因?yàn)檎麄€(gè)網(wǎng)站質(zhì)量低。
2、及時(shí)監(jiān)控網(wǎng)站是否出現(xiàn)了大的異常：比如網(wǎng)站被懲罰了、或者錯(cuò)誤設(shè)置noindex標(biāo)簽/robots文件，都會(huì)導(dǎo)致網(wǎng)站收錄數(shù)出現(xiàn)驟降。
3、跟進(jìn)整站SEO優(yōu)化的效果提升：如果你接手了一個(gè)很爛的網(wǎng)站，在做了一輪整體的SEO大優(yōu)化后，可以通過查看收錄數(shù)是否有大幅度提升作為重要的效果衡量指標(biāo)之一。

查詢整站頁面被谷歌收錄數(shù)常用的方式有兩種：
1、site命令，即site:http://domain.com
2、查看Google Search Console的Indexing（中文：編制索引，下面統(tǒng)一用中文的說法）報(bào)告

之前收到過以下關(guān)于整站收錄的一些問題：
為什么收錄數(shù)低于網(wǎng)站實(shí)際網(wǎng)頁數(shù)？
某些頁面前陣子還被收錄了，但是今天查卻發(fā)現(xiàn)收錄沒了。
為什么用site命令查出來的頁面數(shù)和Search Console不一致，應(yīng)該以哪個(gè)為準(zhǔn)？
Search Console編制索引報(bào)告顯示收錄數(shù)變動(dòng)特別大，不知道問題出現(xiàn)在哪里。
Search Console編制索引報(bào)告提示我有大量的自動(dòng)重定向/404頁面，該如何處理？

下面就以Q&A的方式來說說我是怎么處理以上這些問題的。

Q1：為什么收錄數(shù)低于網(wǎng)站實(shí)際網(wǎng)頁數(shù)？

Answer: Google不會(huì)收錄你所有的網(wǎng)頁。在Search Console 編制索引報(bào)告的幫助文檔，有明確地提到這一點(diǎn)：

所以收錄數(shù)比網(wǎng)頁數(shù)低并非都是異常，那什么情況才是異常呢？

根據(jù)Google的John Mueller的說法：網(wǎng)站 20% 的網(wǎng)頁未被編入索引屬于正常范圍。

也就是說，假設(shè)你的網(wǎng)站實(shí)際上有100個(gè)網(wǎng)頁，收錄的網(wǎng)頁在80個(gè)以上，并且你的重點(diǎn)頁面都被收錄了，那你就不需要過于追求更高的收錄率了。

敲重點(diǎn)：必須確保你的重點(diǎn)頁面給谷歌收錄了。

那當(dāng)發(fā)現(xiàn)超過20%以上的網(wǎng)頁不被谷歌收錄，該如何排查呢? 在Google Search Console的編制索引版塊，有很直接地提示網(wǎng)頁未被編入索引的原因。點(diǎn)擊原因細(xì)項(xiàng)，可以看到是哪些網(wǎng)頁受到了影響。

如果確定是因?yàn)楫惓２僮鲗?dǎo)致的和技術(shù)有關(guān)的問題，比如重定向或404，可以把這些異常頁面下載下來，給到網(wǎng)站開發(fā)去處理。

如果你發(fā)現(xiàn)很多頁面因“已抓取 - 尚未編入索引”和“已抓取 - 尚未編入索引”導(dǎo)致不收錄，通常是因?yàn)槟愕恼w網(wǎng)站質(zhì)量低或者單個(gè)頁面質(zhì)量低。

單個(gè)頁面質(zhì)量低很顯而易見，常見的表現(xiàn)為：原創(chuàng)度低，內(nèi)容很簡短，廢話較多而有價(jià)值的內(nèi)容少，語言表達(dá)不地道甚至有明顯的語法錯(cuò)誤。

然后你可能會(huì)發(fā)現(xiàn)，某單個(gè)頁面的質(zhì)量不算很高 ，但也絕對算不上低，符合100%原創(chuàng)度等基本SEO要求，但是也沒有被索引。原因很可能出現(xiàn)在網(wǎng)站整體質(zhì)量上：谷歌并不是認(rèn)為你這個(gè)頁面質(zhì)量很低，而是認(rèn)為你整個(gè)網(wǎng)站的質(zhì)量有點(diǎn)低，因?yàn)檎w網(wǎng)站質(zhì)量可以決定網(wǎng)站有多少頁面被編入索引。

提高整站質(zhì)量可以從內(nèi)容、技術(shù)、外鏈等方面入手，這是一個(gè)比較大的范疇，這里不展開說?？梢耘e個(gè)我自己思考的例子：去年8月谷歌推出helpful content update新搜索算法時(shí)，表示“刪除無用的內(nèi)容可能有助于提高其他內(nèi)容的排名”。結(jié)合到因?yàn)檎举|(zhì)量影響單個(gè)質(zhì)量并不是很差的頁面收錄這個(gè)問題，我認(rèn)為刪除無用的頁面是有助于提高質(zhì)量不算低的頁面收錄。

Q2：某些頁面前陣子還被收錄了，但是今天查卻發(fā)現(xiàn)收錄沒了。

Answer：排除技術(shù)的原因，那大概率是因?yàn)轫撁尜|(zhì)量低。

但如果是質(zhì)量問題，為什么之前谷歌還會(huì)收錄你的頁面，而不是在第一次抓取的時(shí)候就直接不收錄呢？

原因在于：如果谷歌沒有將該頁面編入索引，那么他們不會(huì)真正知道它是高質(zhì)量還是低質(zhì)量。

有實(shí)操過SEO的人可能會(huì)發(fā)現(xiàn)：有時(shí)候新頁面在剛被收錄時(shí)，排名還不錯(cuò) ；可沒高興幾天，排名比剛收錄的時(shí)候跌了好幾頁。

和上面的先索引后取消索引是一個(gè)道理，谷歌需要借助一些真實(shí)用戶訪問頁面的數(shù)據(jù)反饋來幫助他們進(jìn)一步確定該頁面是不是真正的高質(zhì)量。（注：并非谷歌公開的說明，而是實(shí)踐中的觀察）

也就是說，谷歌后來發(fā)現(xiàn)你的頁面質(zhì)量并不好，就從他們的數(shù)據(jù)庫里把你的頁面給刪除了，所以你發(fā)現(xiàn)原本有收錄的頁面現(xiàn)在不被收錄。

可嘗試通過優(yōu)化內(nèi)容提高頁面質(zhì)量，再提交給谷歌審查，看看能不能讓谷歌再收錄。

Q3：為什么用site指令查出來的頁面數(shù)和Search Console不一致，應(yīng)該以哪個(gè)為準(zhǔn)？

Answer：Google的說法是把site指令作為參考，準(zhǔn)確的數(shù)據(jù)以Search Console索引報(bào)告為主。

我之前還專門研究過這個(gè)問題。簡單說一下我的研究結(jié)論：我認(rèn)為site指令查出來的收錄數(shù)還是非常值得關(guān)注的指標(biāo)。因?yàn)橛行╉撁嬖赟earch Console中顯示被收錄了，而用site指令查不出來的時(shí)候，在Google搜索引擎搜該頁面的網(wǎng)址也是搜不出來的。換句話說：用site指令查不到收錄的網(wǎng)頁，幾乎不可能獲取到排名和流量。

我們不可能有精力關(guān)注到網(wǎng)站的每一個(gè)頁面?；卮饐栴}1時(shí)強(qiáng)調(diào)的一個(gè)重點(diǎn)：必須確保你的重點(diǎn)頁面被谷歌收錄了。在這里進(jìn)一步要強(qiáng)調(diào)的重點(diǎn)是：必須確保你的重點(diǎn)頁面用site指令可以查到被收錄。（注：非谷歌官方說法，而是我個(gè)人的實(shí)踐觀察）

Q4：Search Console編制索引報(bào)告顯示收錄數(shù)變動(dòng)特別大，不知道問題出現(xiàn)在哪里？

Answer：以下是我以往排查的方法，供參考

#1 通過路徑：Google Search Console -> 編制索引 -> 網(wǎng)頁 -> 所有已提交的網(wǎng)頁 -> 未編入索引 -> 原因

找到有大量未編入索引的網(wǎng)頁，進(jìn)一步細(xì)分排查。

#2 打開Google 搜索排名更新列表，看看谷歌這段時(shí)間是否推出/更新了算法，我的網(wǎng)站是不是剛好有些行為明顯觸犯了算法？

Q5：Search Console編制索引報(bào)告提示我有大量的自動(dòng)重定向/404頁面，該如何處理？

Answer: 這屬于技術(shù)SEO的問題。建議SEO人員先自己過一遍，確認(rèn)是開發(fā)的問題，再把問題提交網(wǎng)站開發(fā)人員處理。

SEOer還是很有必要懂一些常用的技術(shù)SEO操作，因?yàn)槿绻悴欢?，直接把問題拋給開發(fā)人員，開發(fā)人員也很可能不懂。谷歌搜索中心有很全面的教程，我在之前的文章里也分享過我在SEO工作中常用到的技術(shù)SEO。

在掌握了一定技術(shù)SEO的基礎(chǔ)上，你會(huì)發(fā)現(xiàn)Search Console編制索引報(bào)告里提示的很多關(guān)于重定向問題其實(shí)是不用管它的。還有404的頁面，谷歌也曾表明網(wǎng)站出現(xiàn) 404 錯(cuò)誤是正常的，不會(huì)將它們視為負(fù)面排名因素。

你要做的是結(jié)合網(wǎng)站的實(shí)際情況，判斷出現(xiàn)的自動(dòng)重定向或者404頁面等問題，是不是你們有意為之的，會(huì)不會(huì)影響用戶體驗(yàn)和谷歌抓取。如果確認(rèn)沒問題，不用去找開發(fā)人員；即使在編制索引報(bào)告一直有提示，你也不需要擔(dān)心。

比如我網(wǎng)站現(xiàn)在被提示有4.5萬的網(wǎng)頁是重復(fù)網(wǎng)頁，但是我的SEO一點(diǎn)都沒有受到影響。

經(jīng)過排查后，我發(fā)現(xiàn)這里的重復(fù)網(wǎng)頁大部分是來自我們的登錄頁面，當(dāng)用戶訪問登錄著陸頁時(shí)自動(dòng)生成的。我找網(wǎng)站開發(fā)的同事確認(rèn)過，實(shí)際在網(wǎng)站的后臺(tái)沒有這樣的頁面，也查不到為什么會(huì)生成這樣的頁面。保險(xiǎn)起見，我在robots文件里做了屏蔽。做了屏蔽后，谷歌還是繼續(xù)抓，但也會(huì)不時(shí)刪掉一些之前抓到的這類頁面。長期觀察下來，我確定并不會(huì)對我的網(wǎng)站SEO造成負(fù)面的影響。

所以當(dāng)你看到未被編入索引的頁面量特別大，有好幾萬，不要太擔(dān)心，有時(shí)候是因?yàn)楣雀璧淖ト『团袛鄾]那么智能。只要確保當(dāng)前你網(wǎng)站SEO不受影響，對提示的頁面進(jìn)一步分析和處理就好。

在網(wǎng)頁索引編制報(bào)告里，有“所有已知網(wǎng)頁”、“所有已提交的網(wǎng)頁”、“僅未提交的網(wǎng)頁”，以及站點(diǎn)地圖過濾器（如果你有站點(diǎn)地圖的話）幾個(gè)選項(xiàng)。

新手看到這些選項(xiàng)可能會(huì)有點(diǎn)迷惑。要搞清楚首先需要知道它們的定義是什么，在Search Console幫助文檔有很詳細(xì)的解釋。

簡單來說，“所有已提交的網(wǎng)頁”是指在站點(diǎn)地圖中列出的網(wǎng)址?！皟H未提交的網(wǎng)頁”是指不在站點(diǎn)地圖列出來的網(wǎng)址。而“所有已知網(wǎng)頁”是“所有已提交的網(wǎng)頁”和“僅未提交的網(wǎng)頁”的總和。

報(bào)告默認(rèn)顯示的是“所有已知網(wǎng)頁”。你很可能會(huì)發(fā)現(xiàn)不同的篩選器的結(jié)果相差非常大。那么我們上面說到網(wǎng)站 20% 的網(wǎng)頁未被編入索引屬于正常范圍，到底是看哪一項(xiàng)？我是看第二項(xiàng)“所有提交的網(wǎng)頁”，我網(wǎng)站的收錄率是93.5%，在正常范圍內(nèi)。這里需注意：確保把你希望被索引的正常網(wǎng)頁都放到網(wǎng)站地圖里，這樣統(tǒng)計(jì)出來的索引率才會(huì)準(zhǔn)確。

除了以上5個(gè)問題，如果你還有哪些關(guān)于整站收錄的問題，或者你有不一樣的實(shí)踐心得，歡迎留言。