網(wǎng)站上無(wú)意義的頁(yè)面，低質(zhì)量或特殊的頁(yè)面，可以設(shè)置機(jī)器人元標(biāo)記告知谷歌蜘蛛這個(gè)頁(yè)面不接受爬取或索引，在頁(yè)面<head> 使用meta robot nofollow或noindex標(biāo)記。?? ? ? ? ?
兩個(gè)主要設(shè)置：
index / noindex：是否允許爬蟲(chóng)索引頁(yè)面，指示 Google 是否要在 Google 搜索結(jié)果中顯示此網(wǎng)頁(yè)
-
follow / nofollow：是否允許爬蟲(chóng)爬取頁(yè)面，是否允許跟蹤頁(yè)面上的任何鏈接
（理解這兩句話，這篇文章就不用看了的。）
添加方法：
在<head>里添加
1. 告知所有抓取工具這個(gè)頁(yè)面不需要抓取和索引：
<meta name="robots" content="noindex, nofollow">
2. 告知所有抓取工具這個(gè)頁(yè)面需要抓取和索引：
<meta name="robots" content="index, follow">??
3. 告知所有抓取工具這個(gè)頁(yè)面不允許索引，但可以抓取頁(yè)面上的任何鏈接：
<meta name="robots" content="noindex, follow">?
4. 告知所有抓取工具這個(gè)頁(yè)面允許索引，但不可以抓取頁(yè)面上的任何鏈接：
<meta name="robots" content="index, nofollow">??
Tips: 默認(rèn)情況下，兩者都設(shè)置為“true”，因此如果您對(duì)此沒(méi)有問(wèn)題，則無(wú)需設(shè)置此標(biāo)簽。
備注：
1. name 屬性的值 (robots) 指定此指令適用于所有抓取工具,包括搜索引擎和非搜索引擎抓取工具。如需針對(duì)特定的抓取工具，可將 name 屬性的 robots 值替換為這個(gè)抓取工具的名稱。如：
只想阻止 Google 將您的網(wǎng)頁(yè)編入索引，可撰寫(xiě)為：? ?
<meta name="googlebot" content="noindex">
2. 如需屏蔽非搜索抓取工具（例如 AdsBot-Google），可添加針對(duì)具體抓取工具的指令，例如 ：?
<meta name="AdsBot-Google" content="noindex">。
3. robots nofollow與鏈接級(jí)別屬性不同，鏈接級(jí)別nofollow屬性會(huì)阻止 Googlebot 跟蹤單個(gè)鏈接，使用 rel="nofollow"，如下圖：
? ? ? ? ?
4. disallow: 應(yīng)用在robots.txt中，告訴搜索引擎不要抓取這個(gè)網(wǎng)頁(yè)，但這并不能保證該頁(yè)面不會(huì)被索引。
5. Google 抓取工具（用戶代理）：
Googlebot（桌面版）：Googlebot
Googlebot（智能手機(jī)版）：Googlebot
Googlebot Video：Googlebot-Video 或 Googlebot
Googlebot News：Googlebot-News ?或 Googlebot
-
Googlebot Image：Googlebot-Image 或 Googlebot
AdsBot: 檢查桌面版網(wǎng)頁(yè)廣告質(zhì)量。(會(huì)忽略?*?通配符)
AdsBot Mobile Web Android: AdsBot-Google-Mobile 檢查 Android 網(wǎng)頁(yè)廣告質(zhì)量。(會(huì)忽略 * 通配符。)
AdsBot Mobile Web: AdsBot-Google-Mobile 檢查 iPhone 網(wǎng)頁(yè)廣告質(zhì)量。(會(huì)忽略 * 通配符)
-
AdSense: Mediapartners-Google
Mobile AdSense: Mediapartners-Google
Mobile Apps Android: 檢查 Android 應(yīng)用頁(yè)面廣告質(zhì)量。遵循 AdsBot-Google 漫游器規(guī)則。(會(huì)忽略 * 通配符)
-
APIs-Google: APIs-Google
Google StoreBot:?Storebot-Google
Google Favicon:?Googlebot-Image / Googlebot
-
Google Read Aloud: Google-Read-Aloud(不會(huì)遵循 robots.txt 規(guī)則)
Feedfetcher: FeedFetcher-Google(不會(huì)遵循 robots.txt 規(guī)則)
-
Google 網(wǎng)站驗(yàn)證工具：Google-Site-Verification（會(huì)忽略 robots.txt 規(guī)則）
第5點(diǎn)以后出篇詳細(xì)的文章。
文章為作者獨(dú)立觀點(diǎn)，不代表DLZ123立場(chǎng)。如有侵權(quán),請(qǐng)聯(lián)系我們。( 版權(quán)為作者所有，如需轉(zhuǎn)載，請(qǐng)聯(lián)系作者 )
網(wǎng)站運(yùn)營(yíng)至今，離不開(kāi)小伙伴們的支持。 為了給小伙伴們提供一個(gè)互相交流的平臺(tái)和資源的對(duì)接，特地開(kāi)通了獨(dú)立站交流群。
群里有不少運(yùn)營(yíng)大神，不時(shí)會(huì)分享一些運(yùn)營(yíng)技巧，更有一些資源收藏愛(ài)好者不時(shí)分享一些優(yōu)質(zhì)的學(xué)習(xí)資料。
現(xiàn)在可以掃碼進(jìn)群，備注【加群】。 ( 群完全免費(fèi)，不廣告不賣課！)
