Ⅰ 如何禁止蜘蛛抓取動態頁面
User-agent:
*
其中有些命令是禁止抓取一些不必要的內容，以免防止蜘蛛抓取過度分散，網站權重也不會過於分散，這樣有利於網路收錄，更有利於讓部分內容更得以搜索引擎的重視:
User-agent:
*
Disallow:
/wp-
Allow:
/wp-content/uploads/
Disallow:
/feed
Disallow:
/*/*/feed
Disallow:
/trackback
Disallow:
/*/*/trackback
Disallow:
/index.php/
Disallow:
/*.php$
Disallow:
/*.css$
Disallow:
/date/
Ⅱ 這是PHP里的robots.txt；我想問問Public這個文件禁止訪問可有影響網站收錄蜘蛛爬行有沒有大神知道
禁止訪問，爬蟲當然不去了，那怎麼收錄？
關鍵是你那裡有沒有需要被收錄的頁面？
如果沒有，就沒有關系，有的話，肯定不能不讓蜘蛛爬了。
Ⅲ 如何屏蔽網站蜘蛛的訪問
我的網站建好後什麼結構與內容都沒有確定好之前，我怎麼去屏蔽搜索引擎蜘蛛不來訪問我的網站，不收錄我的網站，這樣才不會給我的網站造成損失，其實這樣的問題再網路也有很多種回答，可能是由於答案太多太亂的緣故，有很多的人都找不到比較權威的回答，前面我們在文章里講到一些新手SEO推廣建站需注意的問題裡面沒有講到關於屏蔽蜘蛛的這一項，現在為大家介紹一下，總體的給大家歸納一下吧！在這里給大家介紹兩種方法，如下：一、創建robots.txt文件，並將文件放置在網站根目錄。 文件的內容如下： 1、禁止所有搜索引擎訪問網站的任何部分 User-agent: * Disallow: / 大家知道為什麼要創建一個robots.txt的文件嗎，也許有很多的都知道建立這個文件就可以屏蔽蜘蛛的訪問，不讓搜索引擎抓取到自己的網站。在這里我想告訴你的是，不管任何的搜索引擎他來到了你的網站。首先訪問的就是你的robots.txt日誌文件，當你在robots.txt里設置許可權不讓搜索引擎訪問，那麼蜘蛛也會遵守互聯網的協議進行返回，這就是為什麼我們要建立robots.txt文析的原因。 二、在模版的header.php的文件時添加一段代碼，因為蜘蛛來到你的網站是由上到下訪問的，所以剛開始訪問到的肯定是從header<頂部>開始抓取。所以如果我們在頂部里設置好屏蔽蜘蛛的訪問代碼後，蜘蛛也會跟第一條一樣遵守協議返回。屏蔽蜘蛛訪問代碼如下：<meta name=」Robots」 content=」noindex,nofollow」> 通過以上兩種方法的話，我們基本上可以屏蔽搜索引擎蜘蛛訪問到我們的網站，這樣我們就可以去安心的做好網站的結構與內容之後再開放蜘蛛的訪問。
Ⅳ 怎樣限制蜘蛛，讓它不爬頁面上我規定的鏈接
用nofollow 就可以Nofollow的寫法有以下兩種1.在meta中定義，如果在meta中定義Nofollow的話，則搜索引擎不會跟蹤該頁面的所有鏈接。語法為： 表示 禁止抓取本頁，同時禁止跟蹤本頁中的鏈接還有其他的寫法： a).index,follow：允許抓取本頁，允許跟蹤鏈接。 b).index,nofollow：允許抓取本頁，但禁止跟蹤鏈接。 c).noindex,follow：禁止抓取本頁，但允許跟蹤鏈接。 d).noindex,nofllow：禁止抓取本頁，同時禁止跟蹤本頁中的鏈接。2.在鏈接中定義nofollow，寫法為：鏈接幫手網 如果這樣寫的話，搜索引擎遇到這個外鏈的時候，則不會往下跟蹤下去。所以，對於nofollow的鏈接方式，google是不會傳遞PR的，對於nofollow的鏈接方式，對於站長來說沒有任何意義，所以大家在交換友情鏈接的時候，一定要注意對方是否以nofollow的方式鏈接你的站。 查看原帖>>
Ⅳ 怎麼阻止百度蜘蛛查詢admin php文件
在網站根目錄添加robots.txt文件試試
格式為
User-agent: *
Disallow: /admin.php
Ⅵ 怎麼屏蔽蜘蛛爬取
在網站的根目錄裡面，放入robots.txt文件，這樣就可以屏蔽蜘蛛的爬取，不過在文件裡面要放入你不想讓蜘蛛爬取的地方。詳細的內容你打開這個網址可以看到 http://help..com/question?prod_en=search&class=499
Ⅶ 怎麼讓網站所有內容全部屏蔽爬行蜘蛛
robots.txt文件是一個文本文件，使用任何一個常見的文本編輯器，比如Windows系統自帶的Notepad，就可以創建和編輯它[1]
。robots.txt是一個協議，而不是一個命令。robots.txt是搜索引擎中訪問網站的時候要查看的第一個文件。robots.txt文件告訴蜘蛛程序在伺服器上什麼文件是可以被查看的。
例1. 禁止所有搜索引擎訪問網站的任何部分
User-agent: *
Disallow: /
Ⅷ 網站怎樣屏蔽某些蜘蛛過來抓取
在伺服器根目錄，新建一個robots.txt文件，裡面添加自己不想讓蜘蛛爬取的目錄：
寫法
1.如果你站點中的所有文件，都可以讓蜘蛛爬取、收錄的話，那麼語法這樣寫:
User-agent: *Disallow:當然，如果你網站中全部的文件都可以讓搜索引擎索引的話，你也可以不管這個文件。
2.完全禁止搜索引擎來訪的Robots.txt文件寫法:
User-agent: *
Disallow: /
2.1.要禁止掉某個搜索引擎來訪的Robots.txt文件寫法:
User-agent: Googlebot
Disallow: /
3.網站中某個文件夾不希望讓搜索引擎收錄的Robots.txt文件寫法:
User-agent: *
Disallow: /admin/
Disallow: /images/
4.禁止Google抓取網站中的圖片文件:
User-agent: Googlebot
Ⅸ 怎麼禁止百度蜘蛛方法discuz搜索
在robots裡面添加
Disallow: /禁止訪問的內容
即可禁止蜘蛛
如果想禁止網路蜘蛛方法如下：
User-agent: BadBot
Disallow: /