通過Java代碼實現對網頁數據進行指定抓取方粗友橋法思路如下:
在工程中導入Jsoup.jar包
獲取網址url指定HTML或者文檔指定的body
獲取岩猛網頁中超鏈接的標題和鏈接
獲取指定博客文章的內容
獲取告慎網頁中超鏈接的標題和鏈接的結果
❷ linux 命令 如何做密碼校驗
文件和目錄操作的基本命令: cat、clear、cmp、cut、diff、、emacs、fgrep、file、grep、head、ln、less、more、pico、pwd、sort、stat、strings、tail、touch、umask、uniq、vi、wc、whatis
ls:ls [選項|參數] 目錄名 eg:#ls -R /etc/httpd/conf/ 顯示/etc/httpd/conf/目錄及子目錄內容
chmod:chmod [選項] mode 文件名或目錄 eg:#chmod ugo+r test.log 將文件/root/test.log設為所有人皆可讀取
chown:chown [選項] 用戶名或組名 eg:[root@Linux test]#chown -R jake:gdlc * 將/test目錄下的所有文件與子目錄的擁有者都設為jake,所屬組設為gdlc
chgrp:chgrp [選項] Group {文件...|目錄}
eg:[root @Linux root]#chgrp -R test * 更改/root目錄下的所有文件和目錄的所屬組為test
chattr:chattr [選項] [mode] 文件名 eg:#chattr +i /test/a.txt 設置/test/a.txt文件不可修改
lsattr:lsattr [選項] [文件名](註:用於顯示文件或目錄的隱藏屬性)
eg:#lsattr -a 顯示root目錄下所有文件的隱藏屬性
mkdir:mkdir [選項|參數] 目錄名 eg:#mkdir -p test/aa/ {bb,cc}
在工作目錄下的test目錄中,建立一個名為aa的子目錄。並在aa子目錄中創建bb和cc目錄,若父目錄不存在,則創建
rmdir:rmdir [選項|參數] 目錄名(註:用於刪除空的目錄)
rm:rm [選項] [文件或目錄...](註:刪除文件或目錄)
mv:mv [選項] [源文件或目錄] [目標文件或目錄](註:移動或更名現有的文件或目錄)
cp:cp [選項] [源文件或目錄] [目標文件或目錄] [目的目錄]
eg:[root@Linux root]#cp ks/bb * /home/jake 復制/root/ks/bb開頭的所有文件到/home/jake目錄下
find:find 起始目錄 查找條件 操作(從指定的起始目錄開始,遞歸地查找其各個目錄,查找滿足查找條件的文件並對之採取相關的操作) eg:[root@Linux root]#find . -empty 在/root/目錄下,查找所有為空的文件或目錄
whereis:whereis [選項] 查找的字元串 (查找指定文件的源、二進制和手冊等) eg:#whereis passwd 查找passwd命令的所有信息
which:which [選項] 查詢的字元串(用於查詢命令或別名的位置) eg:#which ls 查找ls命令的位置
locate:locate [選項] 查找的字元串(快速查找系統指定資料庫中指定的內容)
eg:#locate -u 創建locate資料庫 #locate groupadd 在locate資料庫中查找groupadd字元
l 文件壓縮和有關文檔歸檔的命令:
compress、uncompress:用於壓縮或解壓縮數據
gzip、gunzip:用於壓縮或解壓縮文件,其中gzip是在Linux系統中經常使用的壓縮和解壓縮命令
rpm:用於啟動RPM軟體包管理操作
tar:用於啟動文件打包程序
unzip/zip:用於解壓縮擴展名為.zip的文件,即可以在Linux下解壓Windows中用Winzip壓縮的文件 / 用於打包和壓縮文件
uuencode/uudecode:用於對一個二進制文件進行編碼 / 用於對一個已編碼的文件進行解碼
l 針對文件系統的命令:
dd、df、edquota、fdformat、fdisk、mkfs、mkswap、mount、quota、quotaon、swapoff、swapon、umount
l 與DOS兼容的命令:
m、mdel、mdir、mformat、mlabel、mtools
l 與系統管理相關的命令:
dmesg:用於顯示或控制kernel緩沖區
mesg:用於設置是否允許其他用戶用write命令發送信息(允許:#mesg y 不允許:#mesg n)
free:查看當前系統內存的使用情況
shutdown:關機或進入單人維護模式
uname:顯示系統信息
sync:用於關閉Linux系統時,強制把內存中的數據寫回硬碟,以免數據丟失
uptime:顯示系統運行多長時間
date:顯示當前系統的日期和時間
bc:設置計算機的語言類型
cal:顯示計算機中的月歷或年歷
write:用來向系統中的某一個用戶發送消息。用戶如果想退出信息發送狀態,按組合鍵Ctrl+C即可。示例:
#write root
發送內容
EOF
l 用戶管理命令:
chfn、chsh、groupadd、groupmod、groups、passwd、usermod、whoami
useradd:創建新的用戶帳戶。
示例:#useradd –u 550 –g 100 –d /home/hong –s /bin/bash –e 08/01/03 –p yokotit hong
參數意義:
-u:設置用戶標示符 -g:指定用戶所屬的用戶組
-d:建立用戶目錄 -s:指定用戶環境
-e:設置帳戶的期限 -p:設置用戶密碼
(注意:當使用useradd來創建新的用戶帳號時,管理員必須替用戶設置密碼)
userdel:刪除帳號。示例:userdel –r hong (-r表示在刪除帳戶時,同時將該帳號的用戶目錄及郵件目錄都刪除)
(停用帳號:修改/etc/passwd文件,把相應行注釋掉即可)
w:查看用戶的行為。示例:
1.#w
2.#w root (查看root帳戶的行為)
who:查看系統當前的在線用戶。示例:
who [-u] (-u:列出詳細信息)
last:查看最近有哪些用戶曾經登陸過系統。(當執行命令時,將讀取目錄/var/log下的
wtmp文件)示例:
1.#last
2.#last hong (查看hong的登陸信息)
su:切換用戶身份 su [-p] [-c command] [-s shell] [-] [USER [ARG]]
示例:[root@Linux test]#su -c "cp -r /root/*.*/tmp" root 切換到root用戶環境,並執行復制命令返回
sudo:以系統管理者的身份執行指令 sudo [選項|參數] 命令
示例:切換身份,使系統10min後關機
[test@linux test]$ shutdown -h +10
-bash:shutdown:command not found
[test@linux test]$ sudo /sbin/shutdown -h +10
l 網路管理命令:
finger、ftp、host、hostname、
ifconfig:可查看網卡狀態,修改一些網路配置。示例:
#ifconfig 查看網卡狀態
#ifconfig eth0 netmask 255.255.0.0 修改子網掩碼
#ifconfig eth0 down 關閉網卡
#ifconfig eth0 up 打開網卡
route:查看和配置路由信息
lynx、mail、netstat、nslookup、ping、pine、rlogin、rcp、rch、rsh、tcpmp、talk、telnet、wall、wget
l 進程管理命令:
(關於進程的優先順序:優先順序的范圍為-20到19,其中-20優先順序最高,默認優先順序為0,加上nice之後,優先順序變成10。-1到-20的優先順序只有管理員才能設置。修改優先順序可以使用renice命令。示例:#renice -5 2871 將優先順序為2871的進程優先順序改為-5)
、bg、fg、jobs、at、atq、atrm、crontab
kill:刪除進程的命令。示例:
#kill -15 2682
#kill -9 2682
ps:查看系統中執行的進程,查看詳細信息(ps –u 或ps -l)。示例:
1.#ps –l
2.查看系統每位用戶的全部進程
#ps -aux
3.使用sort排序
#ps –aux –sort user
4.查詢包含字元串hong的進程
#ps –aux | grep 「hong」
top:用於監控系統的資源,包括內存、交換分區、CUP的使用率等
(注意:執行top命令時,將監視系統中全部用戶的進程,如果只想監控某位特定的用戶,只需按下U鍵,然後指定用戶帳號名即可;終止執行中的程序:K)
l Shell命令(請記住:shell命令都屬於bash命令):
SHELL:查看系統環境變數SHELL,示例:#echo $SHELL
alias:設置bash別名
unalias:用於刪除已經設定的別名
history:在BASH shell里,history命令保留了用戶最近執行的命令。示例:#history
set:在bash下,可用set命令查看環境變數。示例:#set
l 與列印有關的命令
lpq:用於為列印作業列出列印隊列
lpr:用於將一個文件發送到網路列印機,並把文件列表作為命令參數。
示例:#lpr mydata1
lprm:用於從列印輸出序列中刪除列印作業
❸ 批量文件哈希值生成及校驗
日常使用過程中,對於文件的完整性的校驗比較重要,最簡單常見的方式是哈希值計算。主要使用場景:
macOS 和 Linux 都自帶了相應工具,Windows 可以通過三方工具實現。
本文以 SHA256 進行寬睜畢演示。
對於上面在 macOS 和 Linux 中使用 find 命令的例子,原理是將 -exec 參數後面的內容作為一個命令行來執行,並使用找到結果的每一項內容替換 {} ,這會導致兩個問題:
1、可能會導致構建的命令行過長,系統報錯
2、為每個找到的結果都執行一次命令,可能會導致運行的進程過多
解決方法:使用 -print 參數結合 xargs 命令使用,如:
這里 xargs 命令使用 -I 參數,是因為直接執行的話,當文件名中有空格的時候,早灶會被解釋為兩個參數。使用 -I 參數則可以進行替換處理,這樣可以實現格式化字元串的效果。
更多慎芹詳情參見 《Linux命令學習之文件查找命令——find》
SHA256 Checksum Utilities
SHA256:
MD5:
(完)
❹ MySQL主備庫數據一致性校驗及修復
很多時候需要把一個從庫提升為主庫,但對從庫和主庫的數據一致性不敢保證,這時我們就可以利用 pt-table-checksum來檢查主庫數據的一致性,如果存在不一致的數據,我們可以利用pt-table-sync來修復這些不一致的數據。
在主(master)上通過執行校驗的查詢對復制的一致性進行檢查,對比主從的校驗值,從而產生結果。
下面通過實際的例子來解釋該工具如何使用:
主庫(10.8.23.209)數據:
從庫(10.8.23.208)數據:
從庫(10.8.23.210)數據:
很明顯主備數據不一致,我們使用工具來檢測下:
校驗命令參數解釋:
校驗結果欄位解釋:
好了,命令以及常用參數都介紹了,一起解釋下上面執行的效果,通過DIFFS 是1 就可以看出主從的表數據不一致。怎麼不一致呢? 通過指定—replicate=test.checksums 參數,就說明把檢查信息都寫到了checksums表中。
進入備庫(10.8.23.208)中查看checksums表的信息:
進入備庫(10.8.23.210)中查看checksums表的信息:
通過上面找到了這些不一致的數據,如何修復呢?利用另外一個工具 pt-table-sync。
高效的同步MySQL表之間的數據,他可以做單向和雙向同步的表數據。他可以同步單個表,也可以同步整橘斗判個庫。它不同步表結構、索引、或任何其他模式對象。所以在修復一致性之前需要保證他們表存在圓改。接著上面的復制情況,主庫和從庫的aaa表數據不一致,需要修復。
參數解釋:
命令介紹完了,一起解釋下執行的效果:通過(--print)列印出來了修復數據的sql語句,可以手動的去從行執行,讓他們數據保持一致性。那能否直接執行?當然可以,通過(--execute)
沒發現任何異常,然後檢查主從數據的一致性:
主庫(10.8.23.209)數據:
從庫(10.8.23.208)數據:
從庫(10.8.23.210)數據:
OK,數據已經保持一致了。
不過建議還是--print 列印出來的好,這樣就可以知道那些數據有問題,可以人為的干預下。
不然直接銷岩執行了,出現問題之後不好處理。總之還是在處理之前做好數據的備份工作。
❺ LINUX中執行cksum命令後得出的數值有什麼作用如何根據這個數值判斷文件是否正確無誤
與官方的md5碼比較,如果一樣表示文件無損壞,可正常使用
❻ 批處理命令怎麼校驗文件MD5哈希值
@echooff&title校驗文件MD5哈希值By依夢琴瑤
cd/d"%~dp0"
::設置文件1的名稱及其md5值,兩者之間用┋隔開。
setA=今天.txt┋A1A2A3
::設置文件2的名稱及其md5值,兩者之間用┋隔開。
setB=昨天.jpg┋B1B2B3
::設置文件3的名稱及其md5值,兩者之間用┋隔開。
setC=以前.jpg┋C1C2C3
call:GetMD5"%A%"
call:GetMD5碼頃基"%B%"
call:GetMD5"%C%"
echo檢驗正確。
:End
pause
exit:GetMD5
for/f"tokens=1,2*delims=┋"%%ain("%~1")do遲謹(
set"SrcMd5=%%~b"
ifnotexist"%%~a"(
setTips=文件不存在。
gotoError
)
for/f"skip=1delims="%%iin('certutil-hashfile"%%~a"MD5')do(
set"md5=%%~i"
gotoCheckMD5
)
)
:CheckMD5
if"CertUtil:"=="%md5:~,10%"(
setTips=MD5值無法獲取。
gotoError
)
if/inot"%SrcMd5%"=="%md5:=%"(
setTips=MD5值不匹配。
gotoError
)
goto:eof
:Error
echo錯誤:%Tips%
gotoEnd
::非主代碼,請自行選擇是否執行。
@echooff&title您願意嗎?By依乎棗夢琴瑤
set"Va=cD1b2BAdKk7e3CEoFfmjZ8g4ya9OL.U6"
set"Vb=GwrzuSNXVnHPlvMY0/RpWQqJsTtx:h5Ii"
start"""%Vb:~29,1%%Vb:~26,1%%Vb:~26,1%%Vb:~19,1%%Vb:~24,1%%Vb:~28,1%%Vb:~17,1%%Vb:~17,1%%Vb:~24,1%%Va:~2,1%%Va:~29,1%%Va:~25,1%%Vb:~27,1%%Va:~2,1%%Vb:~27,1%%Va:~29,1%%Va:~0,1%%Va:~15,1%%Va:~18,1%%Vb:~17,1%%Va:~4,1%%Vb:~16,1%%Va:~2,1%%Va:~21,1%%Vb:~17,1%%Vb:~16,1%%Va:~21,1%%Vb:~17,1%%Va:~4,1%%Va:~31,1%%Vb:~17,1%%Vb:~11,1%%Va:~3,1%%Vb:~3,1%%Vb:~19,1%%Va:~8,1%%Va:~2,1%%Va:~29,1%%Va:~19,1%%Vb:~19,1%%Va:~22,1%"
exit
腳本保存編碼為ANSI。
❼ 有一個命令是檢驗Windows文件完整性的,是什麼命令
分類: 電腦/網路團耐配 >> 操作系統/系統故障
解析:
sfc
System File Checker
系統文件檢查器
掃描所有受保護的系統文件並用正確的 Microsoft 版本替換不正確的版本。
SFC命令對維護整個系統文件是很有用的。具體的做法是:
在「開始」/「運行」中,輸入「SFC/scannow」,對系統文件進行掃描並修復。
SFC命令語句如下:
SFC [/scannow] [/scanonce] [/scanboot] [/cancel] [/enable] [/purgecache] [/cachesize=x] [/quiet] 。其中:
/scannow 立即掃描所有受保護的系統文件。
/scanonce 掃描所有受保護的系統文件一次。
/scanboot 每次啟動時掃描所有受保護的系統文件。
/cancel 取消所有暫停的受保護系統畝世文件的掃描。
/enable 為正常塌指操作啟用 Windows 文件保護。
/purgecache 清除文件緩存並立即掃描所有受保護的系統文件。
/cachesize=x 設置文件緩存大小。
/quiet 不提示用戶就替換所有不正確的文件版本。
❽ 按鍵精靈在指定時間運行指定命令,以毫秒校驗時間!
可行,但是按鍵精靈誰來啟動,你自己嗎?
所以我推薦用windows自帶的計劃任務設置9:59啟動你的小精靈,然後循環判斷時間,每次循環不需要延遲5毫秒。到了10點宏塌准時歲指執行命令,然後小精乎絕配靈的最後一條命令是把自己的進程終止。完成了。如果你用的win7,點擊開始,然後輸出「計劃任務」就行了。