㈠ 怎么查看蜘蛛有没有来过网站
网站服务器上有个logfile文件夹，里面的文件就是记录你网站访问记录的，你看到spider 就表明网络蜘蛛来过了，还包括网络蜘蛛来的时间信息！还可以通过网络站长工具里有蜘蛛的访问统计。
㈡ 服务器对网站有多少影响 网站为什么看不到蜘蛛
你要检查服务器稳定性够不够高，网站内容质量够不够高，蜘蛛并不是什么时间都会来访你的网站，只有你的网站打开时间够快，而且不断产生新有价值的网页，蜘蛛才会加快对你网站的抓取频率。通过日志文件，便可以看到蜘蛛来访你网站的记录，是爬行了还是被抓取成功了。
㈢ 怎么看服务器网站日志分析是否被蜘蛛爬取
看网站日志是否有搜索引擎的蜘蛛来网站抓取过，看返回的状态码是200还是其他，如果返回200说明抓取成功，如果返回404说明页面错误，或者页面不存在，就需要做301永久重定向或者302暂时重定向。
一般抓取成功后被搜索引擎放出来的时间也会晚点，一般谷歌机器人放出来的比较快，最快可秒杀，但是网络反应就慢了，最快也要一周左右，不过11月份网络算法调整后，放出来的速度还是很快的。
㈣ 怎样查看蜘蛛是不是来抓取你的网站了
首先，去网站的空间后台下载服务器日志。然后，通过分析日志就可以看到网络蜘蛛是否来抓取过你的网站。最后，根据蜘蛛的抓取频率、时间来改善网站获得更好的排名~
㈤ 怎么查看蜘蛛抓取情况
网络用于抓取网页的程序叫做Baispider - 网络蜘蛛，我们查看网站被网络抓取的情况主要是分析，网站日志里网络蜘蛛Baispider的活跃性：抓取频率，返回的HTTP状态码。
查看日志的方式：
过FTP，在网站根目录找到一个日志文件，文件名一般包含log，下载解压里面的记事本，这即是网站的日志，记录了网站被访问和操作的情况。因为各个服务器和主机的情况不同，不同的主机日志功能记录的内容不同，有的甚至没有日志功能。
日志内容如下：
61.135.168.22 - - [11/Jan/2009:04:02:45 +0800] "GET /bbs/thread-7303-1-1.html HTTP/1.1" 200 8450 "-" "Baispider+(+http://www..com/search/spider.htm)"
分析：
/bbs/thread-7303-1-1.html 代表，抓取/bbs/thread-7303-1-1.html 这个页面。
200 代表成功抓取。
8450 代表抓取了8450个字节。
如果你的日志里格式不是如此，则代表日志格式设置不同。
很多日志里可以看到 200 0 0和200 0 64 则都代表正常抓取。
抓取频率是通过查看每日的日志里网络蜘蛛抓取次数来获知。抓取频率并没有一个规范的时间表或频率数字，我们一般通过多日的日志对比来判断。当然，我们希望网络蜘蛛每日抓取的次数越多越好。
让蜘蛛经常光临
文章需要经常更新
蜘蛛就和一个人一样，想要吸引它，必须要有最新鲜的内容。如果都是一些老旧的内容，谁还会还看呢？每天或者数天一篇新的原创文章能够很好地勾引蜘蛛，同时也能够让更多的访客来你的网站上留下足迹。
页面简洁，保证打开速度
一个干净、简洁的页面能够比一个满是广告、无用信息的页面更页面更能够吸引用户，这对于蜘蛛也是。越少的需要抓取的内容，越快的打开速度，能够保证蜘蛛的高效率抓取，蜘蛛来访的频率也会越高。
内部链接结构良好，无死链和大量重复链
蜘蛛的爬行除了抓取页面，还通过页面上的链接进行“行走”。如果正好步入了一个死链，正如同步入深渊一般，蜘蛛可能需要一段时间之后才能继续抓取。同样的，如果有大量的重复链接，一直爬到这个页面上去，蜘蛛就会认为这个页面没有太大的意义，甚至会停止爬行。
为蜘蛛指路——建设网站地图
网站地图就好比是一个指向标，唯有清晰明了的指向标才能指引蜘蛛的去向。方便快捷的道路也会勾引来更多的蜘蛛。
每个页面都有完整的meta标签
拥有完整的meta标签可以更快地告诉蜘蛛这个页面里有什么，提高蜘蛛的抓取效率。这主要包括keywords（关键词）和description（描述），如果想让meta更完美，可以加上generator（作者）、robots（蜘蛛）、right（版权）等等。
确保服务器能够正常运作，避免宕机
在建网站之前，就要考虑好选择一个稳定的服务器，宁可多花点钱，也不要贪小便宜。稳定的运作能够使蜘蛛更好地进行抓取并不中断，还能容纳下更多勾引来的蜘蛛。
确保服务器返回信息正常
千万不要限制服务器返回信息，这对于蜘蛛来说很重要。一旦无法获取到正确的返回信息，蜘蛛将会迷失方向。
监测蜘蛛的爬行
可以利用日志知道蜘蛛正在抓取哪些页面，知己知彼，方能根据蜘蛛的喜好对页面进行调整，以勾引来更多的蜘蛛。
利用Google管理员工具查看爬行速度
可以利用Google专门为站长提供的管理员工具对蜘蛛的爬行速度进行查看，合理分配资源，以达到更高的抓取速度和勾引更多的蜘蛛。
增加网站的外链
这一条和第三点相类似，因为蜘蛛的通过链接爬行。别的网站上也有蜘蛛，就可以想办法将蜘蛛勾引过来，这办法就是在网站上发外链。
㈥ 网站一直没有蜘蛛来爬，能不能帮我看下到底问题在哪
您好！
遇到这样的问题，情况只可能俩种：
一、你屏蔽蜘蛛了
我们屏蔽了蜘蛛，蜘蛛当然不可能来抓取我们的网站拉。
1.首先我们要检测自己的网站robots.txt文件，看看文件的书写是否正确，是否有大小写混乱的情况出现，是否建站初期的时候有屏蔽所有蜘蛛的爬行的指令忘记修改了。正常情况下robots.txt检测的事情就直接交给站长工具检查就可以了
2.服务器商是否屏蔽了蜘蛛的爬行。别认为这事不可能，当初主机屋，就误把网络蜘蛛当成黑客攻击给屏蔽了，不懂导致多少人被K站。如果是主机商屏蔽了蜘蛛的爬行尽早换主机吧，时间等不起。
二、你被蜘蛛屏蔽了
1.查看自己的域名以前的主人，看看域名以前是否做了违法的站点。如果是的话那么蜘蛛不爬是完全有道理的，就好比Maas以前论坛那个域名以前是做liuhecai站的。至今搜狗和谷歌蜘蛛压根没来过。
2.查看下自己同服务器的站点，是否有非常严重违规的作弊行为，若有的话，搜索引擎很有可能屏蔽整条IP的站点，为了自己的网站发展健康还是选择独立IP的服务器吧。
如果发现自己网站的爬行日志压根没出现蜘蛛来访，那么我们就应该考虑自己的站点是否出现以上的情况，应该及时的清理。然后向相关的搜索引擎提交，或者利用高质量的外链引导蜘蛛爬行。
㈦ 怎样查看网站服务器是否阻挡搜索蜘蛛
一般的网站是没有这个设置的，查看网站的robots.txt文件就可以了。
淘宝的就是全面屏蔽网络的。
--------------------
一般服务器不能，只有在网站里面设置才可以的。再说这样的服务器谁要啊。
㈧ 如何查看自己网站是否有蜘蛛来过
什么是spider？
spider是网络搜索引擎的一个自动程序。它的作用是访问互联网上的html网页，建立索引数据库，使用户能在网络搜索引擎中搜索到您网站的网页。
spider对一个网站服务器造成的访问压力如何？
spider会自动根据服务器的负载能力调节访问密度。在连续访问一段时间后，spider会暂停一会，以防止增大服务器的访问压力。所以在一般情况下，spider对您网站的服务器不会造成过大压力。
为什么spider不停的抓取我的网站？
对于您网站上新产生的或者持续更新的页面，spider会持续抓取。此外，您也可以检查网站访问日志中spider的访问是否正常，以防止有人恶意冒充spider来频繁抓取您的网站。 如果您发现spider非正常抓取您的网站，请反馈至[email protected]，并请尽量给出spider对贵站的访问日志，以便于我们跟踪处理。
我不想我的网站被spider访问，我该怎么做？
spider遵守互联网robots协议。您可以利用robots.txt文件完全禁止spider访问您的网站，或者禁止spider访问您网站上的部分文件。 注意：禁止spider访问您的网站，将使您的网站上的网页，在网络搜索引擎以及所有网络提供搜索引擎服务的搜索引擎中无法被搜索到。
关于robots.txt的写作方法，请参看我们的介绍：robots.txt写作方法
为什么我的网站已经加了robots.txt，还能在网络搜索出来？
因为搜索引擎索引数据库的更新需要时间。虽然spider已经停止访问您网站上的网页，但网络搜索引擎数据库中已经建立的网页索引信息，可能需要二至四周才会清除。 另外也请检查您的robots配置是否正确。
网络蜘蛛在robots.txt中的名字是什么？
“spider”全部为小写字母。
spider多长时间之后会重新抓取我的网页？
网络搜索引擎每周更新，网页视重要性有不同的更新率，频率在几天至一月之间，spider会重新访问和更新一个网页。
知道了什么是网络蜘蛛，那么怎么才能知道蜘蛛是否来过你的站？这个可以从你服务器或者虚拟主机的日志中看出来，比如我用的虚拟主机的完整使用日志中有这样的记录：
220.181.38.198 - - [11/Nov/2007:04:28:29 +0800] "GET / HTTP/1.1" 200 61083 "-" "Baispider+(+http://www..com/search/spider.htm)"这就说明网络蜘蛛来过我的站了，如果你还想知道有没有其它搜索引擎的蜘蛛来过你的站，你可以在日志文件中搜索“spider”这个词，或者搜索蜘蛛的IP，我的就查到sogou也来过我的站，IIS日志与Apache的日志是一样的，都可以查到。
各类蜘蛛IP收集，不一定完全准确。
序号 IP 注释
1 202.106.186.* 163蜘蛛
2 202.108.36.* 163蜘蛛
3 202.108.44.* 163蜘蛛
4 202.108.45.* 163蜘蛛
5 202.108.5.* 163蜘蛛
6 202.108.9.* 163蜘蛛
7 220.181.12.* 163蜘蛛
8 220.181.13.* 163蜘蛛
9 220.181.14.* 163蜘蛛
10 220.181.15.* 163蜘蛛
11 220.181.28.* 163蜘蛛
12 220.181.31.* 163蜘蛛
13 222.185.245.* 163蜘蛛
14 202.165.100.* 3721蜘蛛
15 220.181.19.* 网络蜘蛛
16 159.226.50.* 网络蜘蛛
17 202.108.11.* 网络蜘蛛
18 202.108.22.* 网络蜘蛛
19 202.108.23.* 网络蜘蛛
20 202.108.249.* 网络蜘蛛
21 202.108.250.* 网络蜘蛛
22 61.135.145.* 网络蜘蛛
23 61.135.146.* 网络蜘蛛
24 64.124.85.* become.com
25 61.151.243.* china蜘蛛
26 202.165.96.* gais.cs.ccu.e.tw
27 216.239.33.* google蜘蛛
28 216.239.35.* google蜘蛛
29 216.239.37.* google蜘蛛
30 216.239.39.* google蜘蛛
31 216.239.51.* google蜘蛛
32 216.239.53.* google蜘蛛
33 216.239.55.* google蜘蛛
34 216.239.57.* google蜘蛛
35 216.239.59.* google蜘蛛
36 64.233.161.* google蜘蛛
37 64.233.189.* google蜘蛛
38 66.102.11.* google蜘蛛
39 66.102.7.* google蜘蛛
40 66.102.9.* google蜘蛛
41 66.249.64.* google蜘蛛
42 66.249.65.* google蜘蛛
43 66.249.66.* google蜘蛛
44 66.249.71.* google蜘蛛
45 66.249.72.* google蜘蛛
46 72.14.207.* google蜘蛛
47 61.135.152.* iask蜘蛛
48 65.54.188.* msn蜘蛛
49 65.54.225.* msn蜘蛛
50 65.54.226.* msn蜘蛛
51 65.54.228.* msn蜘蛛
52 65.54.229.* msn蜘蛛
53 207.46.98.* msn蜘蛛
54 207.68.157.* msn蜘蛛
55 194.224.199.* noxtrumbot
56 220.181.8.* Outfox
57 221.239.209.* Outfox
58 217.212.224.* psbot
59 219.133.40.* QQ蜘蛛
60 202.96.170.* QQ蜘蛛
61 202.104.129.* QQ蜘蛛
62 61.135.157.* QQ蜘蛛
63 219.142.118.* sina蜘蛛
64 219.142.78.* sina蜘蛛
65 61.135.132.* sohu蜘蛛
66 220.181.26.* sohu蜘蛛
220.181.19.*
67 61.135.158.* tom蜘蛛
68 66.196.90.* yahoo蜘蛛
69 66.196.91.* yahoo蜘蛛
70 68.142.249.* yahoo蜘蛛
71 68.142.250.* yahoo蜘蛛
72 68.142.251.* yahoo蜘蛛
73 202.165.102.* yahoo中国蜘蛛
74 202.160.178.* yahoo中国蜘蛛
75 202.160.179.* yahoo中国蜘蛛
76 202.160.180.* yahoo中国蜘蛛
77 202.160.181.* yahoo中国蜘蛛
78 202.160.183.* yahoo中国蜘蛛
79 72.30.101.* yahoo蜘蛛
80 72.30.102.* yahoo蜘蛛
81 72.30.103.* yahoo蜘蛛
82 72.30.104.* yahoo蜘蛛
83 72.30.107.* yahoo蜘蛛
84 72.30.110.* yahoo蜘蛛
85 72.30.111.* yahoo蜘蛛
86 72.30.128.* yahoo蜘蛛
87 72.30.129.* yahoo蜘蛛
88 72.30.131.* yahoo蜘蛛
89 72.30.133.* yahoo蜘蛛
90 72.30.134.* yahoo蜘蛛
91 72.30.135.* yahoo蜘蛛
92 72.30.216.* yahoo蜘蛛
93 72.30.226.* yahoo蜘蛛
94 72.30.252.* yahoo蜘蛛
95 72.30.97.* yahoo蜘蛛
96 72.30.98.* yahoo蜘蛛
97 72.30.99.* yahoo蜘蛛
98 74.6.74.* yahoo蜘蛛
99 202.108.4.* 中搜蜘蛛
100 202.108.4.* 中搜蜘蛛
101 202.108.33.* 中搜蜘蛛
102 202.96.51.* 中搜蜘蛛
103 219.142.53.* 中搜蜘蛛
㈨ 怎么查看网站被百度蜘蛛抓取的情况
网络用于抓取网页的程序叫做Baispider - 网络蜘蛛，我们查看网站被网络抓取的情况主要是分析，网站日志里网络蜘蛛Baispider的活跃性：抓取频率，返回的HTTP状态码。
查看日志的方式：
通过FTP，在网站根目录找到一个日志文件，文件名一般包含log，下载解压里面的记事本，这即是网站的日志，记录了网站被访问和操作的情况。
因为各个服务器和主机的情况不同，不同的主机日志功能记录的内容不同，有的甚至没有日志功能。
日志内容如下：
61.135.168.22 - - [11/Jan/2009:04:02:45 +0800] "GET /bbs/thread-7303-1-1.html HTTP/1.1" 200 8450 "-" "Baispider+(+http://www..com/search/spider.htm)"
分析：
GET /bbs/thread-7303-1-1.html 代表，抓取/bbs/thread-7303-1-1.html 这个页面。
200 代表成功抓取。
8450 代表抓取了8450个字节。
如果你的日志里格式不是如此，则代表日志格式设置不同。
很多日志里可以看到 200 0 0和200 0 64 则都代表正常抓取。
抓取频率是通过查看每日的日志里网络蜘蛛抓取次数来获知。抓取频率并没有一个规范的时间表或频率数字，我们一般通过多日的日志对比来判断。当然，我们希望网络蜘蛛每日抓取的次数越多越好。
㈩ 请教,怎么样检测,服务器是不是屏蔽了蜘蛛的IP呢
一、网络设置的问题 这种原因比较多出现在需要手动指定IP、网关、DNS服务器联网方式下，及使用代理服务器上网的。仔细检查计算机的网络设置。 二、DNS服务器的问题 当IE无法浏览网页时，可先尝试用IP地址来访问，如用 Bbs.winzheng.com 的 ，如果可以访问，那么应该是DNS的问题，造成DNS的问题可能是连网时获取DNS出错或DNS服务器本身问题，这时你可以手动指定DNS服务（地址可以是你当地ISP提供的DNS服务器地址，也可以用其它地方可正常使用DNS服务器地址。）在网络的属性里进行，（控制面板—网络和拔号连接—本地连接—右键属性—TCP/IP协议—属性—使用下面的DNS服务器地址）。不同的ISP有不同的DNS地址。有时候则是路由器或网卡的问题，无法与ISP的DNS服务连接，这种情况的话，可把路由器关一会再开，或者重新设置路由器。还有一种可能，是本地DNS缓存出现了问题。为了提高网站访问速度，系统会自动将已经访问过并获取IP地址的网站存入本地的DNS缓存里，一旦再对这个网站进行访问，则不再通过DNS服务器而直接从本地DNS缓存取出该网站的IP地址进行访问。所以，如果本地DNS缓存出现了问题，会导致网站无法访问。可以在“运行”中执行ipconfig /flushdns来重建本地DNS缓存。 三、IE浏览器本身的问题 当IE浏览器本身出现故障时，自然会影响到浏览了；或者IE被恶意修改破坏也会导致无法浏览网页。这时可以尝试用“黄山IE修复专家”来修复（建议到安全模式下修复），或者重新IE（如重装IE遇到无法重新的问题，可参考：附一解决无法重装IE） 四、网络防火墙的问题 如果网络防火墙设置不当，如安全等级过高、不小心把IE放进了阻止访问列表、错误的防火墙策略等，可尝试检查策略、降低防火墙安全等级或直接关掉试试是否恢复正常。 五、网络协议和网卡驱动的问题 IE无法浏览，有可能是网络协议（特别是TCP/IP协议）或网卡驱动损坏导致，可尝试重新网卡驱动和网络协议。 六、HOSTS文件的问题 HOSTS文件被修改，也会导致浏览的不正常，解决方法当然是清空HOSTS文件里的内容。 七、系统文件的问题 当与IE有关的系统文件被更换或损坏时，会影响到IE正常的使用，这时可使用SFC命令修复一下，WIN98系统可在“运行”中执行SFC，然后执行扫描；WIN2000/XP/2003则在“运行”中执行sfc /scannow尝试修复。 其中当只有IE无法浏览网页，而QQ可以上时，则往往由于winsock.dll、wsock32.dll或wsock.vxd（VXD只在WIN9X系统下存在）等文件损坏或丢失造成，Winsock是构成TCP/IP协议的重要组成部分，一般要重装TCP/IP协议。但xp开始集成TCP/IP协议，所以不能像98那样简单卸载后重装，可以使用 netsh 命令重置 TCP/IP协议，使其恢复到初次安装操作系统时的状态。具体操作如下： 点击“开始 运行”，在运行对话框中输入“CMD”命令，弹出命令提示符窗口，接着输入“netsh int ip reset c:\resetlog.txt”命令后会回车即可，其中“resetlog.txt”文件是用来记录命令执行结果的日志文件，该参数选项必须指定，这里指定的日志文件的完整路径是“c:\resetlog.txt”。执行此命令后的结果与删除并重新安装 TCP/IP 协议的效果相同。 小提示：netsh命令是一个基于命令行的脚本编写工具，你可以使用此命令配置和监视Windows 系统，此外它还提供了交互式网络外壳程序接口，netsh命令的使用格式请参看帮助文件（在令提示符窗口中输入“netsh/?”即可）。 第二个解决方法是修复以上文件，WIN9X使用SFC重新提取以上文件，WIN2000/XP/2003使用sfc /scannow命令修复文件,当用sfc /scannow无法修复时，可试试网上发布的专门针对这个问题的修复工具WinSockFix. 八、杀毒软件的实时监控问题 这倒不是经常见，但有时的确跟实时监控有关，因为现在杀毒软件的实时监控都添加了对网页内容的监控。举一个实例：KV2005就会在个别的机子上会导致IE无法浏览网页（不少朋友遇到过），其具体表现是只要打开网页监控，一开机上网