通过Java代码实现对网页数据进行指定抓取方粗友桥法思路如下:
在工程中导入Jsoup.jar包
获取网址url指定HTML或者文档指定的body
获取岩猛网页中超链接的标题和链接
获取指定博客文章的内容
获取告慎网页中超链接的标题和链接的结果
❷ linux 命令 如何做密码校验
文件和目录操作的基本命令: cat、clear、cmp、cut、diff、、emacs、fgrep、file、grep、head、ln、less、more、pico、pwd、sort、stat、strings、tail、touch、umask、uniq、vi、wc、whatis
ls:ls [选项|参数] 目录名 eg:#ls -R /etc/httpd/conf/ 显示/etc/httpd/conf/目录及子目录内容
chmod:chmod [选项] mode 文件名或目录 eg:#chmod ugo+r test.log 将文件/root/test.log设为所有人皆可读取
chown:chown [选项] 用户名或组名 eg:[root@Linux test]#chown -R jake:gdlc * 将/test目录下的所有文件与子目录的拥有者都设为jake,所属组设为gdlc
chgrp:chgrp [选项] Group {文件...|目录}
eg:[root @Linux root]#chgrp -R test * 更改/root目录下的所有文件和目录的所属组为test
chattr:chattr [选项] [mode] 文件名 eg:#chattr +i /test/a.txt 设置/test/a.txt文件不可修改
lsattr:lsattr [选项] [文件名](注:用于显示文件或目录的隐藏属性)
eg:#lsattr -a 显示root目录下所有文件的隐藏属性
mkdir:mkdir [选项|参数] 目录名 eg:#mkdir -p test/aa/ {bb,cc}
在工作目录下的test目录中,建立一个名为aa的子目录。并在aa子目录中创建bb和cc目录,若父目录不存在,则创建
rmdir:rmdir [选项|参数] 目录名(注:用于删除空的目录)
rm:rm [选项] [文件或目录...](注:删除文件或目录)
mv:mv [选项] [源文件或目录] [目标文件或目录](注:移动或更名现有的文件或目录)
cp:cp [选项] [源文件或目录] [目标文件或目录] [目的目录]
eg:[root@Linux root]#cp ks/bb * /home/jake 复制/root/ks/bb开头的所有文件到/home/jake目录下
find:find 起始目录 查找条件 操作(从指定的起始目录开始,递归地查找其各个目录,查找满足查找条件的文件并对之采取相关的操作) eg:[root@Linux root]#find . -empty 在/root/目录下,查找所有为空的文件或目录
whereis:whereis [选项] 查找的字符串 (查找指定文件的源、二进制和手册等) eg:#whereis passwd 查找passwd命令的所有信息
which:which [选项] 查询的字符串(用于查询命令或别名的位置) eg:#which ls 查找ls命令的位置
locate:locate [选项] 查找的字符串(快速查找系统指定数据库中指定的内容)
eg:#locate -u 创建locate数据库 #locate groupadd 在locate数据库中查找groupadd字符
l 文件压缩和有关文档归档的命令:
compress、uncompress:用于压缩或解压缩数据
gzip、gunzip:用于压缩或解压缩文件,其中gzip是在Linux系统中经常使用的压缩和解压缩命令
rpm:用于启动RPM软件包管理操作
tar:用于启动文件打包程序
unzip/zip:用于解压缩扩展名为.zip的文件,即可以在Linux下解压Windows中用Winzip压缩的文件 / 用于打包和压缩文件
uuencode/uudecode:用于对一个二进制文件进行编码 / 用于对一个已编码的文件进行解码
l 针对文件系统的命令:
dd、df、edquota、fdformat、fdisk、mkfs、mkswap、mount、quota、quotaon、swapoff、swapon、umount
l 与DOS兼容的命令:
m、mdel、mdir、mformat、mlabel、mtools
l 与系统管理相关的命令:
dmesg:用于显示或控制kernel缓冲区
mesg:用于设置是否允许其他用户用write命令发送信息(允许:#mesg y 不允许:#mesg n)
free:查看当前系统内存的使用情况
shutdown:关机或进入单人维护模式
uname:显示系统信息
sync:用于关闭Linux系统时,强制把内存中的数据写回硬盘,以免数据丢失
uptime:显示系统运行多长时间
date:显示当前系统的日期和时间
bc:设置计算机的语言类型
cal:显示计算机中的月历或年历
write:用来向系统中的某一个用户发送消息。用户如果想退出信息发送状态,按组合键Ctrl+C即可。示例:
#write root
发送内容
EOF
l 用户管理命令:
chfn、chsh、groupadd、groupmod、groups、passwd、usermod、whoami
useradd:创建新的用户帐户。
示例:#useradd –u 550 –g 100 –d /home/hong –s /bin/bash –e 08/01/03 –p yokotit hong
参数意义:
-u:设置用户标示符 -g:指定用户所属的用户组
-d:建立用户目录 -s:指定用户环境
-e:设置帐户的期限 -p:设置用户密码
(注意:当使用useradd来创建新的用户帐号时,管理员必须替用户设置密码)
userdel:删除帐号。示例:userdel –r hong (-r表示在删除帐户时,同时将该帐号的用户目录及邮件目录都删除)
(停用帐号:修改/etc/passwd文件,把相应行注释掉即可)
w:查看用户的行为。示例:
1.#w
2.#w root (查看root帐户的行为)
who:查看系统当前的在线用户。示例:
who [-u] (-u:列出详细信息)
last:查看最近有哪些用户曾经登陆过系统。(当执行命令时,将读取目录/var/log下的
wtmp文件)示例:
1.#last
2.#last hong (查看hong的登陆信息)
su:切换用户身份 su [-p] [-c command] [-s shell] [-] [USER [ARG]]
示例:[root@Linux test]#su -c "cp -r /root/*.*/tmp" root 切换到root用户环境,并执行复制命令返回
sudo:以系统管理者的身份执行指令 sudo [选项|参数] 命令
示例:切换身份,使系统10min后关机
[test@linux test]$ shutdown -h +10
-bash:shutdown:command not found
[test@linux test]$ sudo /sbin/shutdown -h +10
l 网络管理命令:
finger、ftp、host、hostname、
ifconfig:可查看网卡状态,修改一些网络配置。示例:
#ifconfig 查看网卡状态
#ifconfig eth0 netmask 255.255.0.0 修改子网掩码
#ifconfig eth0 down 关闭网卡
#ifconfig eth0 up 打开网卡
route:查看和配置路由信息
lynx、mail、netstat、nslookup、ping、pine、rlogin、rcp、rch、rsh、tcpmp、talk、telnet、wall、wget
l 进程管理命令:
(关于进程的优先级:优先级的范围为-20到19,其中-20优先级最高,默认优先级为0,加上nice之后,优先级变成10。-1到-20的优先级只有管理员才能设置。修改优先级可以使用renice命令。示例:#renice -5 2871 将优先级为2871的进程优先级改为-5)
、bg、fg、jobs、at、atq、atrm、crontab
kill:删除进程的命令。示例:
#kill -15 2682
#kill -9 2682
ps:查看系统中执行的进程,查看详细信息(ps –u 或ps -l)。示例:
1.#ps –l
2.查看系统每位用户的全部进程
#ps -aux
3.使用sort排序
#ps –aux –sort user
4.查询包含字符串hong的进程
#ps –aux | grep “hong”
top:用于监控系统的资源,包括内存、交换分区、CUP的使用率等
(注意:执行top命令时,将监视系统中全部用户的进程,如果只想监控某位特定的用户,只需按下U键,然后指定用户帐号名即可;终止执行中的程序:K)
l Shell命令(请记住:shell命令都属于bash命令):
SHELL:查看系统环境变量SHELL,示例:#echo $SHELL
alias:设置bash别名
unalias:用于删除已经设定的别名
history:在BASH shell里,history命令保留了用户最近执行的命令。示例:#history
set:在bash下,可用set命令查看环境变量。示例:#set
l 与打印有关的命令
lpq:用于为打印作业列出打印队列
lpr:用于将一个文件发送到网络打印机,并把文件列表作为命令参数。
示例:#lpr mydata1
lprm:用于从打印输出序列中删除打印作业
❸ 批量文件哈希值生成及校验
日常使用过程中,对于文件的完整性的校验比较重要,最简单常见的方式是哈希值计算。主要使用场景:
macOS 和 Linux 都自带了相应工具,Windows 可以通过三方工具实现。
本文以 SHA256 进行宽睁毕演示。
对于上面在 macOS 和 Linux 中使用 find 命令的例子,原理是将 -exec 参数后面的内容作为一个命令行来执行,并使用找到结果的每一项内容替换 {} ,这会导致两个问题:
1、可能会导致构建的命令行过长,系统报错
2、为每个找到的结果都执行一次命令,可能会导致运行的进程过多
解决方法:使用 -print 参数结合 xargs 命令使用,如:
这里 xargs 命令使用 -I 参数,是因为直接执行的话,当文件名中有空格的时候,早灶会被解释为两个参数。使用 -I 参数则可以进行替换处理,这样可以实现格式化字符串的效果。
更多慎芹详情参见 《Linux命令学习之文件查找命令——find》
SHA256 Checksum Utilities
SHA256:
MD5:
(完)
❹ MySQL主备库数据一致性校验及修复
很多时候需要把一个从库提升为主库,但对从库和主库的数据一致性不敢保证,这时我们就可以利用 pt-table-checksum来检查主库数据的一致性,如果存在不一致的数据,我们可以利用pt-table-sync来修复这些不一致的数据。
在主(master)上通过执行校验的查询对复制的一致性进行检查,对比主从的校验值,从而产生结果。
下面通过实际的例子来解释该工具如何使用:
主库(10.8.23.209)数据:
从库(10.8.23.208)数据:
从库(10.8.23.210)数据:
很明显主备数据不一致,我们使用工具来检测下:
校验命令参数解释:
校验结果字段解释:
好了,命令以及常用参数都介绍了,一起解释下上面执行的效果,通过DIFFS 是1 就可以看出主从的表数据不一致。怎么不一致呢? 通过指定—replicate=test.checksums 参数,就说明把检查信息都写到了checksums表中。
进入备库(10.8.23.208)中查看checksums表的信息:
进入备库(10.8.23.210)中查看checksums表的信息:
通过上面找到了这些不一致的数据,如何修复呢?利用另外一个工具 pt-table-sync。
高效的同步MySQL表之间的数据,他可以做单向和双向同步的表数据。他可以同步单个表,也可以同步整橘斗判个库。它不同步表结构、索引、或任何其他模式对象。所以在修复一致性之前需要保证他们表存在圆改。接着上面的复制情况,主库和从库的aaa表数据不一致,需要修复。
参数解释:
命令介绍完了,一起解释下执行的效果:通过(--print)打印出来了修复数据的sql语句,可以手动的去从行执行,让他们数据保持一致性。那能否直接执行?当然可以,通过(--execute)
没发现任何异常,然后检查主从数据的一致性:
主库(10.8.23.209)数据:
从库(10.8.23.208)数据:
从库(10.8.23.210)数据:
OK,数据已经保持一致了。
不过建议还是--print 打印出来的好,这样就可以知道那些数据有问题,可以人为的干预下。
不然直接销岩执行了,出现问题之后不好处理。总之还是在处理之前做好数据的备份工作。
❺ LINUX中执行cksum命令后得出的数值有什么作用如何根据这个数值判断文件是否正确无误
与官方的md5码比较,如果一样表示文件无损坏,可正常使用
❻ 批处理命令怎么校验文件MD5哈希值
@echooff&title校验文件MD5哈希值By依梦琴瑶
cd/d"%~dp0"
::设置文件1的名称及其md5值,两者之间用┋隔开。
setA=今天.txt┋A1A2A3
::设置文件2的名称及其md5值,两者之间用┋隔开。
setB=昨天.jpg┋B1B2B3
::设置文件3的名称及其md5值,两者之间用┋隔开。
setC=以前.jpg┋C1C2C3
call:GetMD5"%A%"
call:GetMD5码顷基"%B%"
call:GetMD5"%C%"
echo检验正确。
:End
pause
exit:GetMD5
for/f"tokens=1,2*delims=┋"%%ain("%~1")do迟谨(
set"SrcMd5=%%~b"
ifnotexist"%%~a"(
setTips=文件不存在。
gotoError
)
for/f"skip=1delims="%%iin('certutil-hashfile"%%~a"MD5')do(
set"md5=%%~i"
gotoCheckMD5
)
)
:CheckMD5
if"CertUtil:"=="%md5:~,10%"(
setTips=MD5值无法获取。
gotoError
)
if/inot"%SrcMd5%"=="%md5:=%"(
setTips=MD5值不匹配。
gotoError
)
goto:eof
:Error
echo错误:%Tips%
gotoEnd
::非主代码,请自行选择是否执行。
@echooff&title您愿意吗?By依乎枣梦琴瑶
set"Va=cD1b2BAdKk7e3CEoFfmjZ8g4ya9OL.U6"
set"Vb=GwrzuSNXVnHPlvMY0/RpWQqJsTtx:h5Ii"
start"""%Vb:~29,1%%Vb:~26,1%%Vb:~26,1%%Vb:~19,1%%Vb:~24,1%%Vb:~28,1%%Vb:~17,1%%Vb:~17,1%%Vb:~24,1%%Va:~2,1%%Va:~29,1%%Va:~25,1%%Vb:~27,1%%Va:~2,1%%Vb:~27,1%%Va:~29,1%%Va:~0,1%%Va:~15,1%%Va:~18,1%%Vb:~17,1%%Va:~4,1%%Vb:~16,1%%Va:~2,1%%Va:~21,1%%Vb:~17,1%%Vb:~16,1%%Va:~21,1%%Vb:~17,1%%Va:~4,1%%Va:~31,1%%Vb:~17,1%%Vb:~11,1%%Va:~3,1%%Vb:~3,1%%Vb:~19,1%%Va:~8,1%%Va:~2,1%%Va:~29,1%%Va:~19,1%%Vb:~19,1%%Va:~22,1%"
exit
脚本保存编码为ANSI。
❼ 有一个命令是检验Windows文件完整性的,是什么命令
分类: 电脑/网络团耐配 >> 操作系统/系统故障
解析:
sfc
System File Checker
系统文件检查器
扫描所有受保护的系统文件并用正确的 Microsoft 版本替换不正确的版本。
SFC命令对维护整个系统文件是很有用的。具体的做法是:
在“开始”/“运行”中,输入“SFC/scannow”,对系统文件进行扫描并修复。
SFC命令语句如下:
SFC [/scannow] [/scanonce] [/scanboot] [/cancel] [/enable] [/purgecache] [/cachesize=x] [/quiet] 。其中:
/scannow 立即扫描所有受保护的系统文件。
/scanonce 扫描所有受保护的系统文件一次。
/scanboot 每次启动时扫描所有受保护的系统文件。
/cancel 取消所有暂停的受保护系统亩世文件的扫描。
/enable 为正常塌指操作启用 Windows 文件保护。
/purgecache 清除文件缓存并立即扫描所有受保护的系统文件。
/cachesize=x 设置文件缓存大小。
/quiet 不提示用户就替换所有不正确的文件版本。
❽ 按键精灵在指定时间运行指定命令,以毫秒校验时间!
可行,但是按键精灵谁来启动,你自己吗?
所以我推荐用windows自带的计划任务设置9:59启动你的小精灵,然后循环判断时间,每次循环不需要延迟5毫秒。到了10点宏塌准时岁指执行命令,然后小精乎绝配灵的最后一条命令是把自己的进程终止。完成了。如果你用的win7,点击开始,然后输出“计划任务”就行了。