Ⅰ 如何禁止蜘蛛抓取动态页面
User-agent:
*
其中有些命令是禁止抓取一些不必要的内容，以免防止蜘蛛抓取过度分散，网站权重也不会过于分散，这样有利于网络收录，更有利于让部分内容更得以搜索引擎的重视:
User-agent:
*
Disallow:
/wp-
Allow:
/wp-content/uploads/
Disallow:
/feed
Disallow:
/*/*/feed
Disallow:
/trackback
Disallow:
/*/*/trackback
Disallow:
/index.php/
Disallow:
/*.php$
Disallow:
/*.css$
Disallow:
/date/
Ⅱ 这是PHP里的robots.txt；我想问问Public这个文件禁止访问可有影响网站收录蜘蛛爬行有没有大神知道
禁止访问，爬虫当然不去了，那怎么收录？
关键是你那里有没有需要被收录的页面？
如果没有，就没有关系，有的话，肯定不能不让蜘蛛爬了。
Ⅲ 如何屏蔽网站蜘蛛的访问
我的网站建好后什么结构与内容都没有确定好之前，我怎么去屏蔽搜索引擎蜘蛛不来访问我的网站，不收录我的网站，这样才不会给我的网站造成损失，其实这样的问题再网络也有很多种回答，可能是由于答案太多太乱的缘故，有很多的人都找不到比较权威的回答，前面我们在文章里讲到一些新手SEO推广建站需注意的问题里面没有讲到关于屏蔽蜘蛛的这一项，现在为大家介绍一下，总体的给大家归纳一下吧！在这里给大家介绍两种方法，如下：一、创建robots.txt文件，并将文件放置在网站根目录。 文件的内容如下： 1、禁止所有搜索引擎访问网站的任何部分 User-agent: * Disallow: / 大家知道为什么要创建一个robots.txt的文件吗，也许有很多的都知道建立这个文件就可以屏蔽蜘蛛的访问，不让搜索引擎抓取到自己的网站。在这里我想告诉你的是，不管任何的搜索引擎他来到了你的网站。首先访问的就是你的robots.txt日志文件，当你在robots.txt里设置权限不让搜索引擎访问，那么蜘蛛也会遵守互联网的协议进行返回，这就是为什么我们要建立robots.txt文析的原因。 二、在模版的header.php的文件时添加一段代码，因为蜘蛛来到你的网站是由上到下访问的，所以刚开始访问到的肯定是从header<顶部>开始抓取。所以如果我们在顶部里设置好屏蔽蜘蛛的访问代码后，蜘蛛也会跟第一条一样遵守协议返回。屏蔽蜘蛛访问代码如下：<meta name=”Robots” content=”noindex,nofollow”> 通过以上两种方法的话，我们基本上可以屏蔽搜索引擎蜘蛛访问到我们的网站，这样我们就可以去安心的做好网站的结构与内容之后再开放蜘蛛的访问。
Ⅳ 怎样限制蜘蛛，让它不爬页面上我规定的链接
用nofollow 就可以Nofollow的写法有以下两种1.在meta中定义，如果在meta中定义Nofollow的话，则搜索引擎不会跟踪该页面的所有链接。语法为： 表示 禁止抓取本页，同时禁止跟踪本页中的链接还有其他的写法： a).index,follow：允许抓取本页，允许跟踪链接。 b).index,nofollow：允许抓取本页，但禁止跟踪链接。 c).noindex,follow：禁止抓取本页，但允许跟踪链接。 d).noindex,nofllow：禁止抓取本页，同时禁止跟踪本页中的链接。2.在链接中定义nofollow，写法为：链接帮手网 如果这样写的话，搜索引擎遇到这个外链的时候，则不会往下跟踪下去。所以，对于nofollow的链接方式，google是不会传递PR的，对于nofollow的链接方式，对于站长来说没有任何意义，所以大家在交换友情链接的时候，一定要注意对方是否以nofollow的方式链接你的站。 查看原帖>>
Ⅳ 怎么阻止百度蜘蛛查询admin php文件
在网站根目录添加robots.txt文件试试
格式为
User-agent: *
Disallow: /admin.php
Ⅵ 怎么屏蔽蜘蛛爬取
在网站的根目录里面，放入robots.txt文件，这样就可以屏蔽蜘蛛的爬取，不过在文件里面要放入你不想让蜘蛛爬取的地方。详细的内容你打开这个网址可以看到 http://help..com/question?prod_en=search&class=499
Ⅶ 怎么让网站所有内容全部屏蔽爬行蜘蛛
robots.txt文件是一个文本文件，使用任何一个常见的文本编辑器，比如Windows系统自带的Notepad，就可以创建和编辑它[1]
。robots.txt是一个协议，而不是一个命令。robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。
例1. 禁止所有搜索引擎访问网站的任何部分
User-agent: *
Disallow: /
Ⅷ 网站怎样屏蔽某些蜘蛛过来抓取
在服务器根目录，新建一个robots.txt文件，里面添加自己不想让蜘蛛爬取的目录：
写法
1.如果你站点中的所有文件，都可以让蜘蛛爬取、收录的话，那么语法这样写:
User-agent: *Disallow:当然，如果你网站中全部的文件都可以让搜索引擎索引的话，你也可以不管这个文件。
2.完全禁止搜索引擎来访的Robots.txt文件写法:
User-agent: *
Disallow: /
2.1.要禁止掉某个搜索引擎来访的Robots.txt文件写法:
User-agent: Googlebot
Disallow: /
3.网站中某个文件夹不希望让搜索引擎收录的Robots.txt文件写法:
User-agent: *
Disallow: /admin/
Disallow: /images/
4.禁止Google抓取网站中的图片文件:
User-agent: Googlebot
Ⅸ 怎么禁止百度蜘蛛方法discuz搜索
在robots里面添加
Disallow: /禁止访问的内容
即可禁止蜘蛛
如果想禁止网络蜘蛛方法如下：
User-agent: BadBot
Disallow: /