前幾天，有朋友咨詢自己的網(wǎng)站內(nèi)容被惡意抓取，展示在別人的網(wǎng)站上，該怎么辦？今天我們就講一下如何從Google中刪除網(wǎng)址，從Google中刪除網(wǎng)址的方法有很多種，但沒有一種方法是萬能的。這取決于你的當前的情況。使用錯誤的方法有時不僅會導致頁面未按預期從索引中刪除，而且可能對SEO產(chǎn)生負面影響。為了幫助你快速確定哪種刪除方法最適合你，我們制作了一個流程圖，以便你可以跳到你最需要的部分。
如何檢查URL是否已編入索引
我們通常檢查內(nèi)容是否被索引的做法是使用site:在Google中搜索。site:搜索可用于查看網(wǎng)站的頁面，但如果你的頁面顯示在搜索結果中，這也并不能說明你的頁面被索引或沒有被索引。site:搜索可能只是顯示Google已知的頁面。并不意味著這些頁面有資格在其他搜索詞的SERP中參與排名。例如，site:搜索仍然可以顯示重定向或規(guī)范化到另一個頁面的頁面。當你請求訪問特定網(wǎng)站時，Google可能會顯示該域名下的頁面，以及其他域名下的內(nèi)容、標題和說明。以moz.com為例，它以前是seomoz.org。當你查詢指向moz.com上的頁面時，會在SERP中顯示moz.com，而查詢site:seomoz.org將在SERP中顯示seomoz.org。不了解這個重要區(qū)別可能會導致SEO犯錯誤，例如主動阻止URL或從舊域名索引中刪除URL，導致阻止諸如PageRank等信號的傳遞。我見過很多域名遷移的案例，人們認為他們在遷移過程出了問題，因為這些頁面仍然顯示site:old-domain.com搜索，然后嘗試“修復”問題導致損害了網(wǎng)站。更好的檢查索引的方法是使用Google Search Console中的索引覆蓋率報告，或針對單個URL使用URL檢查工具。這些工具會告訴你某個頁面是否已編入索引，并提供有關Google如何處理該頁面的附加信息。如果你無權訪問此內(nèi)容，只需在Google中搜索你頁面的完整URL即可。
在Ahrefs，SEMrush等工具查找“熱門頁面”報告或自然關鍵字排名中找到該頁面，通常意味著我們看到它在正常搜索查詢中排名，并且很好地表明該頁面已被索引。請注意，當我們看到這些頁面時，它們已被索引，但此時這個頁面可能已經(jīng)改變了。如果特定URL存在問題并且需要從索引中刪除，請按照本文開頭的流程圖查找正確的刪除方法，然后跳轉到下面的相應部分。
刪除方法?1：刪除內(nèi)容
如果你刪除頁面并提供404（未找到）或410（消失）狀態(tài)代碼，則在重新抓取頁面后不久，該頁面將從索引中刪除。在刪除之前，該頁面可能仍會顯示在搜索結果中。即使頁面本身不再可用，頁面的緩存版本也可能暫時可用。
- 我需要整合鏈接信號。?請參閱規(guī)范化部分。
- 我需要該頁面可供用戶使用。?查看noindex或限制訪問部分是否適合你的情況。
刪除方法?2：Noindex
Noindex?Robots?meta標記或X-Robots-Tag標頭可以告訴搜索引擎從索引中刪除頁面。Noindex?Robots?meta標記適用于頁面，而X-Robots-Tag標頭適用于頁面和其他文件類型（例如PDF）。為了讓這些標簽可見，搜索引擎需要能夠抓取頁面，因此請確保它們沒有在robots.txt中被阻止。另請注意，從索引中刪除頁面可能會阻止鏈接等其他信號的合并。Noindex?Robots?meta標記的示例：
<meta name="robots" content="noindex">
Noindex?X-Robots-Tag標頭中的示例：
HTTP/1.1 200 OKX-Robots-Tag: noindex
關于Robots?meta標記或X-Robots-Tag標頭的介紹和用法，請查看：https://developers.google.com/search/docs/crawling-indexing/robots-meta-tag?hl=zh-cn
- 我需要整合鏈接等信號。?請參閱規(guī)范化部分。
刪除方法?3：限制訪問
如果你希望某些用戶可以訪問該頁面，但搜索引擎不能訪問該頁面，那么你可能需要以下三個方式之一：
這種類型的設置最適合內(nèi)部網(wǎng)絡、僅限會員的內(nèi)容或暫存、測試或開發(fā)站點等內(nèi)容。它允許一組用戶訪問該頁面，但搜索引擎無法訪問，也不會索引這些頁面。我需要立即移除。?請參閱URL刪除工具部分。在這種特殊情況下，如果你嘗試隱藏的內(nèi)容已被緩存，并且你需要防止用戶看到該內(nèi)容，你可能需要立即刪除。
刪除方法?4：URL刪除工具
谷歌給這個工具的名字有點誤導，因為它的工作方式是暫時隱藏內(nèi)容。Google仍會看到并抓取這些內(nèi)容，但這些頁面不會向用戶顯示。這種臨時效果在Google中持續(xù)六個月，而Bin 有一個類似的工具可以持續(xù)三個月。這些工具應該在最極端的情況下使用，例如安全問題、數(shù)據(jù)泄露、個人身份信息 (PII) 等。對于Google，請使用刪除工具；對于Bing，請參閱如何阻止URL部分。除此之外你仍然需要使用另一種方法使實際頁面刪除更長時間（不索引或刪除）或阻止用戶訪問內(nèi)容（如果他們?nèi)匀粨碛墟溄樱▌h除或限制訪問）。這只是為你提供了一種更快的隱藏頁面的方法，同時有時間進行刪除操作。
刪除方法?5：規(guī)范化
當你擁有頁面的多個版本并希望將鏈接等信號合并到單個版本時，你需要做的是某種形式的規(guī)范化。這主要是為了防止重復內(nèi)容?，同時將頁面的多個版本合并到單個索引URL。
- 規(guī)范標簽。指定另一個URL作為規(guī)范版本或你想要顯示的版本。如果頁面重復或非常相似，這應該沒問題。當頁面差異太大時，規(guī)范化標簽可能會被忽略，因為它是提示而不是指令。
-
重定向。重定向?qū)⒂脩艉退阉鳈C器人從一個頁面轉移到另一個頁面。301是SEO最常用的重定向，它告訴搜索引擎你希望哪個URL成為搜索結果中顯示的URL以及信號整合的到哪個URL。302或臨時重定向告訴搜索引擎你希望原始URL保留在索引中并在那里鞏固信號。
如何確定URL刪除的優(yōu)先順序
如果你有多個頁面需要從Google索引中刪除，那么應該對它們進行相應的優(yōu)先級排序。最高優(yōu)先級：這些頁面通常與安全相關或與機密數(shù)據(jù)相關。包括包含個人數(shù)據(jù) (PII)、客戶數(shù)據(jù)或?qū)Ｓ行畔⒌膬?nèi)容。中等優(yōu)先級：這通常涉及針對特定用戶組的內(nèi)容。公司內(nèi)部網(wǎng)或員工門戶、僅供會員使用的內(nèi)容以及暫存、測試或開發(fā)環(huán)境。低優(yōu)先級：這些頁面通常涉及?某種重復內(nèi)容。包括從多個URL提供的頁面、帶有參數(shù)的URL，并且還可能包括暫存、測試或開發(fā)環(huán)境。
要避免的常見錯誤
我想介紹一些我通?？吹降腻e誤刪除方法以及每種情況下會發(fā)生什么，以幫助人們理解為什么你的設置不起作用。
robots.txt中設置noindex
雖然Google曾經(jīng)在robots.txt中非正式地支持noindex，但它從來都不是官方標準，現(xiàn)在他們已經(jīng)正式刪除了關于這項的支持。許多網(wǎng)站這樣做都是錯誤的。
阻止在robots.txt中抓取
爬網(wǎng)與索引不同。即使某個頁面屏蔽Google抓取，只要你這個頁面有任何內(nèi)部或外部鏈接，Google仍然可以對這個頁面建立索引。當然谷歌不知道頁面上有什么，因為他們不會抓取到頁面里的內(nèi)容，Google只是知道這個頁面存在，甚至會根據(jù)頁面鏈接的錨文本等信號編寫標題以顯示在搜索結果中。
Nofollow
大家通常會把Nofollow與Noindex混淆，有些人會在頁面上使用它，希望頁面不會被索引。Nofollow是一個提示，雖然它過去阻止了頁面上的鏈接以及帶有nofollow屬性的單個鏈接的爬行，但現(xiàn)在情況已不再如此。如果谷歌愿意的話，現(xiàn)在可以抓取這些鏈接。Nofollow還被用于單個鏈接，阻止Google對特定頁面進行權重傳遞。同樣，這不再有效，因為Nofollow是一個提示。請注意，你可以使用Ahrefs，SEMrush等工具進行nofollow查找。由于nofollow頁面上的所有鏈接幾乎沒有意義，因此結果數(shù)應該為零或接近于零。如果有匹配結果，我強烈建議你檢查是否意外添加了nofollow指令來代替noindex，并在需要時選擇更合適的刪除方法。
Noindex?& 規(guī)范化另一個URL
這倆信號是相互矛盾的。Noindex表示從索引中刪除該頁面，規(guī)范化表示另一個頁面是應該索引的版本。這可能有助于整合頁面，因為谷歌通常會選擇忽略noindex，而是使用規(guī)范化作為主要信號。然而，這并不是一種絕對的行為。如果是這種情況，頁面將無法正確整合。請注意，你可以使用工具找到具有非自引用規(guī)范的無索引頁面，選擇更合適的刪除方法。
如果這是你的內(nèi)容但不在你擁有的網(wǎng)站上怎么辦？
如果你擁有其他網(wǎng)站上使用的內(nèi)容，你可以根據(jù)《數(shù)字千年版權法》(DMCA) 提出索賠。你可以使用Google 的版權刪除工具https://www.google.com/webmasters/tools/dmca-dashboard 執(zhí)行所謂的DMCA刪除，即要求刪除任何受版權保護的材料。
如果內(nèi)容與你有關但不在你擁有的網(wǎng)站上怎么辦？
如果你位于歐盟，根據(jù)法院關于被遺忘權的命令，你可以刪除包含你信息的內(nèi)容。你可以使用歐盟隱私刪除表https://www.google.com/webmasters/tools/legal-removal-request?complaint_type=rtbf&hl=en請求刪除個人信息。
刪除圖片
要從Google中刪除圖像，最簡單的方法是使用robots.txt。
User-agent: Googlebot-ImageDisallow: /images/dogs.jpg
User-agent: Googlebot-ImageDisallow: /
最后
如何刪除URL取決于具體情況。我們已經(jīng)討論了幾個方法，但如果你仍然困惑哪個適合你，請返回到開始時的流程圖。你還可以通過?Google 提供的法律問題排查工具來刪除內(nèi)容。鏈接如下：https://support.google.com/legal/troubleshooter/1114905?hl=en
