拒絕搜索引擎收錄網站的方法:可以在head標簽中添加內容【】,禁止搜索引擎抓取網站并顯示網頁快照。
一個新的網站建好之后,只要搜索引擎蜘蛛抓取到的、網站內容不是很差勁那么搜索引擎就很有可能收錄我們的網站,如果因為某種原因不想讓搜索引擎收錄網站,那要如何操作?下面本篇文章就來給大家講解一下。
方法一:設置 robots.txt 方法
可以利用設置robots.txt來屏蔽搜索引擎蜘蛛,那么什么是robots.txt?
搜索引擎使用spider程序自動訪問互聯網上的網頁并獲取網頁信息。spider在訪問一個網站時,會首先會檢查該網站的根域下是否有一個叫做 robots.txt的純文本文件,這個文件用于指定spider在您網站上的抓取范圍。您可以在您的網站中創建一個robots.txt,在文件中聲明該網站中不想被搜索引擎收錄的部分或者指定搜索引擎只收錄特定的部分。
請注意,僅當您的網站包含不希望被搜索引擎收錄的內容時,才需要使用robots.txt文件。如果您希望搜索引擎收錄網站上所有內容,請勿建立robots.txt文件。
如何使用robots.txt屏蔽搜索引擎蜘蛛?
搜索引擎默認的遵守 robots.txt 協議,創建 robots.txt 文本文件放至網站根目錄下,編輯代碼如下:
User-agent:?* Disallow:?/
通過以上代碼,即可告訴搜索引擎不要抓取采取收錄本網站,注意慎用如上代碼:這將禁止所有搜索引擎訪問網站的任何部分。
如果只想禁止百度收錄全站,可以編輯如下代碼:
User-agent:?Baiduspider Disallow:?/
如果只想禁止Google收錄全站,可以編輯如下代碼:
User-agent:?Googlebot Disallow:?/
方式二:設置網頁代碼方法
在網站首頁代碼
與之間,加入如下代碼,即可禁止搜索引擎抓取網站并顯示網頁快照。
<meta>
在網站首頁代碼
與之間,加入如下代碼,即可禁止百度搜索引擎抓取網站并顯示網頁快照。
<meta>
在網站首頁代碼
與之間,加入如下代碼,即可禁止谷歌搜索引擎抓取網站并顯示網頁快照。
<meta>