㈠ 免费网站抓取工具有哪些抓包工具
‘壹’ 免费的网页抓图工具,能抓整个网页版面的。
我最常用的就两个,一个最方便,一个可以把整个网页全部抓下来(而不是屏幕显示部分)
一个你下载一个“考拉宝”工具条,非常方便,视频、FLASH、图片、网页都很好
另一个,不用工具,直接使用“绿色浏览器”,只需要另存为图片格式就可以了
http://www.5igb.com/
‘贰’ 有哪些抓包工具
第五名:TCPDump(网络类)
根据白帽子黑客抓包工具的使用率,将TCPmp排在第五的位置。
第一名:BurpSuite (web 报文)
BurpSuite是现在Web安全渗透的必备工具。
它是一个集成平台,平台中汇集了可以用来攻击web应用的工具,这些工具有很多接口,共享一个扩展性比较强的框架。
‘叁’ mac 电脑有哪些网页的抓取工具
mac 网页抓取工具:celery,腾讯码农,伪全栈工程师。
以celery为例来说明:
Celery介绍
celery(芹菜)是一个异步任务队列/基于分布式消息传递的作业队列。
它侧重于实时操作,但对调度支持也很好。
celery用于生产系统每天处理数以百万计的任务。
celery是用Python编写的,但该协议可以在任何语言实现。它也可以用其他语言通过webhooks实现。
目前已知有php/ruby/nodejs的实现
安装Celery
#安装celery $ pip install celery #安装时区的模块,不然会有时间慢8小时的问题 $ pip install pytz
创建一个简单“任务”(Task)
在这个教程里,我们将创建一个简单的“任务”(Task) —— 把两个数加起来。通常,我们在 Python 的模块中定义“任务”。
按照惯例,我们将调用模块 file:tasks.py,看起来会像这个样子:
file:tasks.py
from celery.task import task @task def add(x, y): return x + y
此时, @task 装饰器实际上创建了一个继承自 :class:~celery.task.base.Task 的“类”(class)。除非需要修改“任务类”的缺省行为,否则我们推荐只通过装饰器定义“任务”(这是我们推崇的最佳实践)。
seealso: 关于创建任务和任务类的完整文档可以在 ../userguide/tasks 中找到。
配置
Celery 使用一个配置模块来进行配置。这个模块缺省北命名为 :file:celeryconfig.py。
为了能被 import,这个配置模块要么存在于当前目录,要么包含在 Python 路径中。
同时,你可以通过使用环境变量 CELERY_CONFIG_MODULE 来随意修改这个配置文件的名字。
现在来让我们创建配置文件 celeryconfig.py.
配置如何连接 broker(例子中我们使用 RabbitMQ): BROKER_URL = "amqp:''guest:guest@localhost :5672''"
定义用于存储元数据(metadata)和返回值(return values)的后端: CELERY_RESULT_BACKEND = "amqp"
AMQP 后端缺省是非持久化的,你只能取一次结果(一条消息)。
可以阅读 :ref:conf-result-backend 了解可以使用的后端清单和相关参数。
最后,我们列出 worker 需要 import 的模块,包括你的任务。
我们只有一个刚开始添加的任务模块 :file:tasks.py::
CELERY_IMPORTS = ("tasks", )
这就行了。
你还有更多的选项可以使用,例如:你期望使用多少个进程来并行处理(:setting:CELERY_CONCURRENCY 设置),或者使用持久化的结果保存后端。可以阅读 :ref:configuration 查看更多的选项。
note:
你可以也使用 $ celery -A tasks worker --loglevel=info
运行 worker 服务器
为了方便测试,我们将在前台运行 worker 服务器,这样我们就能在终端上看到 celery 上发生的事情:
$ celeryd --loglevel=INFO
在生产环境中,也许你希望将 worker 在后台以守护进程的方式运行。如果你希望这么做,你可以利用平台或者类似于 supervisord_ (查阅 :ref:daemonizing 以获得更多信息) 的工具来实现。
可以通过下列命令行获得完整的命令参数清单:
$ celeryd --help
supervisord: [[http://supervisord.org]]
执行任务(task)
我们通过调用 class 类的 ~celery.task.base.Task.delay 方法执行任务。
~celery.task.base.Task.apply_async 方法一个非常方便的方法,通过这个方法我们可以充分控制控制任务执行的参数(参见 :ref:guide-executing)。
>>> from tasks import add >>> add.delay(4, 4)
此时,任务已经被发送到了消息 broker。直到有 worker 服务器取走并执行了这个任务,否则 Broker 将一直保存这个消息。
现在就可以使用任务返回类 ~celery.result.AsyncResult 来查看 worker 的日志,看看到底发生了什么。如果配置了一个结果存储类 ~celery.result.AsyncResult 来保存任务状态,任务执行完毕可获得返回值;任务执行失败则可获得异常/回调等信息。
‘肆’ 网页图片抓取,抓取淘宝图片的工具有哪些
比如固乔电商图片助手,就能抓取淘宝上的宝贝图片了。
‘伍’ 求好用的数据抓取软件,各种格式的网页都能抓取的。
我最近买了一套数据抓取软件powercap,加密网站数据也能抓,也是别人推荐的,有试用版本的,你可以先试试。
‘陆’ 抓取网页数据工具用什么工具可以批量抓取网页的数据呢
可以用数据采集器软件,比如八爪鱼采集器,操作简单、功能强大,支持云采集、定时采集、api接口。网页上公开的数据几乎都可以采集下来。
‘柒’ 谁用过免费的数据抓取工具请推荐个谢谢啦
都不知道你想抓去什么。
flash媒体流可用迅雷抓取
网站探测可用flahsget资源探测器
FLV视频抓取可用flvSTQ
音频视频地址探测可用“影音神探”
数据包封包可用FPE
还有很多,不知道你抓哪个,你先弄清你要抓什么数据,然后再提问吧。或者可以网络我,Q我。名字都叫甜心经营。
㈡ php 百度 知道数据采集
问题其实不难,自己都能写。给你几个思路吧:
1.在网络知道中,输入linux,然后会出现列表。复制浏览器地址栏内容。
然后翻页,在复制地址栏内容,看看有什么不同,不同之处,就是你要循环分页的i值。
当然这个是笨方法。
2.使用php的file或者file_get_contents函数,获取链接URL的内容。
3.通过php正则表达式,获取你需要的3个字段内容。
4.写入数据库。
需要注意的是,网络知道有可能做了防抓取的功能,你刚一抓几个页面,可能会被禁止。
建议也就抓10页数据。
其实不难,你肯定写的出来。 还有,网上应该有很多抓取工具,你找找看,然后将抓下来的数据
在做分析。写入数据库。
㈢ 在php中wget怎么用,急,在线等。
在php中,wget还是用到的比较多的,因为有时候会抓一下资源或者图片等等,这个时候file_get_contents就不大好用了,而且wget可以设置抓取的次数,时间等等,这些都是file_get_contents所不具备的,具体wget的参数我就不说了,网上多的是,估计你也不是想问这个。就只说一下php如果用wget,其实很简单,wget是shell命令,php如果想要调用直接用exec()函数就好了。
exec("wget -i xxxxx xxxxx");