A. linux 大批量解base64 文本,最好是shell 腳本
cat文本
awk找到第四列
管道引入 base64 -d 解碼內容
cat test.csv | awk 『{print$4}』 | base64 -d
就可以了
注意引號是英文的
B. 30個必知的Linux命令技巧,你都掌握了嗎
在Unix/Linux下,高效工作方式不是操作圖形頁面,而是命令行操作,命令行意味著更容易自動化。使用過Linux系統的朋友應該都知道它的命令行強大之處。話說回來了,以下這些命令使用技巧你又知道多少呢?
1、Vim自動添加註釋及智能換行
# vi ~/.vimrc set autoindentset tabstop=4set shiftwidth=4function AddTitle()call setline(1,"#!/bin/bash")call append(1,"#====================================================")call append(2,"# Author: lizhenliang")call append(3,"# Create Date: " . strftime("%Y-%m-%d"))call append(4,"# Description: ")call append(5,"#====================================================")endfmap <F4> :call AddTitle()<cr>
打開文件後,按F4就會自動添加註釋,省了不少時間:
2、查找並刪除/data這個目錄7天前創建的文件
# find /data -ctime +7 -exec rm -rf {} \;# find /data -ctime +7 | xargs rm -rf
3、tar命令壓縮排除某個目錄
# tar zcvf data.tar.gz /data --exclude=tmp #--exclude參數為不包含某個目錄或文件,後面也可以跟多個
4、查看tar包存檔文件,不解壓
# tar tf data.tar.gz #t是列出存檔文件目錄,f是指定存檔文件
5、使用stat命令查看一個文件的屬性
訪問時間(Access)、修改時間(modify)、狀態改變時間(Change)stat index.phpAccess: 2018-05-10 02:37:44.169014602 -0500Modify: 2018-05-09 10:53:14.395999032 -0400Change: 2018-05-09 10:53:38.855999002 -0400
6、批量解壓tar.gz
方法1:# find . -name "*.tar.gz" -exec tar zxf {} \;方法2:# for tar in *.tar.gz; do tar zxvf $tar; done方法3:# ls *.tar.gz | xargs -i tar zxvf {}
7、篩除出文件中的注釋和空格
方法1:# grep -v "^#" httpd.conf |grep -v "^$"方法2:# sed -e 『/^$/d』 -e 『/^#/d』 httpd.conf > http.conf或者# sed -e '/^#/d;/^$/d' #-e 執行多條sed命令方法3:# awk '/^[^#]/|/"^$"' httpd.conf 或者# awk '!/^#|^$/' httpd.conf
8、篩選/etc/passwd文件中所有的用戶
方法1:# cat /etc/passwd |cut -d: -f1方法2:# awk -F ":" '{print $1}' /etc/passwd
9、iptables網站跳轉
先開啟路由轉發:echo "1" > /proc/sys/net/ipv4/ip_forward #臨時生效內網訪問外網(SNAT):iptables –t nat -A POSTROUTING -s [內網IP或網段] -j SNAT --to [公網IP]#內網伺服器要指向防火牆內網IP為網關公網訪問內網(DNAT)(公網埠映射內網埠):iptables –t nat -A PREROUTING -d [對外IP] -p tcp --dport [對外埠] -j DNAT --to [內網IP:內網埠]#內網伺服器要配置防火牆內網IP為網關,否則數據包回不來。另外,這里不用配置SNAT,因為系統服務會根據數據包來源再返回去。
10、iptables將本機80埠轉發到本地8080埠
# iptables -t nat -A PREROUTING -p tcp --dport 80 -j REDIRECT --to-ports 8080
11、find命令查找文件並復制到/opt目錄
方法1:# find /etc -name httpd.conf -exec cp -rf {} /opt/ \;: #-exec執行後面命令,{}代表前面輸出的結果,\;結束命令方法2:# find /etc -name httpd.conf |xargs -i cp {} /opt #-i表示輸出的結果由{}代替
12、查看根目錄下大於1G的文件
# find / -size +1024M 默認單位是b,可以使用其他單位如,C、K、M
13、查看伺服器IP連接數
# netstat -tun | awk '{print $5}' | cut -d: -f1 |sort | uniq -c | sort -n -tun:-tu是顯示tcp和udp連接,n是以IP地址顯示cut -d:-f1:cut是一個選擇性顯示一行的內容命令,-d指定:為分隔符,-f1顯示分隔符後的第一個欄位。uniq -c:報告或刪除文中的重復行,-c在輸出行前面加上出現的次數sort -n:根據不同類型進行排序,默認排序是升序,-r參數改為降序,-n是根據數值的大小進行排序
14、插入一行到391行,包括特殊符號"/"
# sed -i "391 s/^/AddType application\/x-httpd-php .php .html/" httpd.conf
15、列出nginx日誌訪問最多的10個IP
方法1:# awk '{print $1}' access.log |sort |uniq -c|sort -nr |head -n 10sort :排序uniq -c:合並重復行,並記錄重復次數sort -nr :按照數字進行降序排序方法2:# awk '{a[$1]++}END{for(v in a)print v,a[v] |"sort -k2 -nr |head -10"}' access.log
16、顯示nginx日誌一天訪問量最多的前10位IP
# awk '$4>="[16/May/2017:00:00:01" && $4<="[16/May/2017:23:59:59"' access_test.log |sort |uniq -c |sort-nr |head -n 10# awk '$4>="[16/Oct/2017:00:00:01" && $4<="[16/Oct/2017:23:59:59"{a[$1]++}END{for(i in a){print a[i],i|"sort -k1 -nr |head -n 10"}}' access.log
17、獲取當前時間前一分鍾日誌訪問量
# date=`date +%d/%b/%Y:%H:%M --date="-1 minute"` ; awk -vd=$date '$0~d{c++}END{print c}' access.log# date=`date +%d/%b/%Y:%H:%M --date="-1 minute"`; awk -vd=$date '$4>="["d":00" && $4<="["d":59"{c++}END{print c}' access.log # grep `date +%d/%b/%Y:%H:%M --date="-1 minute"` access.log |awk 'END{print NR}'# start_time=`date +%d/%b/%Y:%H:%M:%S --date="-5 minute"`;end_time=`date +%d/%b/%Y:%H:%M:%S`;awk -vstart_time="[$start_time" -vend_time="[$end_time" '$4>=start_time && $4<=end_time{count++}END{print count}' access.log
18、找出1-255之間的整數
方法1:# ifconfig |grep -o '[0-9]\+' #+號匹配前一個字元一次或多次方法2:# ifconfig |egrep -o '\<([1-9]|[1-9][0-9]|1[0-9][0-9]|2[0-4][0-9]|25[0-5])\>'
19、找出IP地址
# ifconfig |grep -o '[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}' #-o只顯示匹配字元
20、給文檔增加開頭和結尾說明信息
# awk 『BEGIN{print "開頭顯示信息"}{print $1,$NF} END{print "結尾顯示信息"}』/etc/passwd# awk 'BEGIN{printf " date ip\n------------------\n"} {print $3,$4} END{printf "------------------\nend...\n"}' /var/log/messages date ip------------------03:13:01 localhost10:51:45 localhost------------------end...
21、查看網路狀態命令
# netstat -antp #查看所有網路連接# netstat -lntp #只查看監聽的埠信息# lsof -p pid #查看進程打開的文件句柄# lsof -i:80 #查看埠被哪個進程佔用
22、生成8位隨機字元串
方法1:# echo $RANDOM |md5sum |cut -c 1-8方法2:# openssl rand -base64 4方法3:# cat /proc/sys/kernel/random/uuid | cut -c 1-8
23、while死循環
while true; do #條件精確等於真,也可以直接用條件[ "1" == "1" ],條件一直為真ping -c 2 www..comdone
24.awk格式化輸出
將文本列進行左對齊或右對齊。
左對齊:# awk '{printf "%-15s %-10s %-20s\n",$1,$2,$3}' test.txt右對齊:# awk '{printf "%15s %10s %20s\n",$1,$2,$3}' test.txt
25.整數運算保留小數點
方法1:# echo 'scale=2; 10/3;'|bc #scale參數代表取小數點位數方法2:# awk BEGIN'{printf "%.2f\n",10/3}'
26.數字求和
# cat a.txt10235356方法1:#!/bin/bashwhile read num;dosum=`expr $sum + $num`done < a.txtecho $sum方法2:# cat a.txt |awk '{sum+=$1}END{print sum}'
27、判斷是否為數字(字元串判斷也如此)
# [[ $num =~ ^[0-9]+$ ]] && echo yes || echo no #[[]]比[]更加通用,支持模式匹配=~和字元串比較使用通配符`^ $:從開始到結束是數字才滿足條件=~:一個操作符,表示左邊是否滿足右邊(作為一個模式)正則表達式
28、刪除換行符並將空格替換別的字元
# cat a.txt |xargs echo -n |sed 's/[ ]/|/g' #-n 不換行# cat a.txt |tr -d '\n' #刪除換行符
29、查看文本中20至30行內容(總共100行)
方法1:# awk '{if(NR > 20 && NR < 31) print $0}' test.txt方法2:# sed -n '20,30p' test.txt 方法3:# head -30 test.txt |tail
30、文本中兩列位置替換
# cat a.txt60.35.1.15 www..com45.46.26.85 www.sina.com.cn# awk '{print $2"\t"$1}' a.txt
C. Linux命令行生成隨機密碼的方法有哪些
生成一個隨機密碼
對於下面的任何一種方法,你可以通過簡單的修改來生成特定長度的密碼,或者只使用其輸出結果的前N位。希望你正在使用一些類似於LastPass的密碼管理器,這樣你就不用自己記住這些隨機生成的密碼了。
1. 這種方法使用SHA演算法來加密日期,並輸出結果的前32個字元:
Shell
1
date +%s | sha256sum | base64 | head -c 32 ; echo
2. 這種方法使用內嵌的/dev/urandom,並過濾掉那些日常不怎麼使用的字元。這里也只輸出結果的前32個字元:
Shell
1
< /dev/urandom tr -dc _A-Z-a-z-0-9 | head -c${1:-32};echo;
3. 這種方法使用openssl的隨機函數。如果你的系統也許沒有安裝openssl,你可以嘗試其它九種方法或自己安裝openssl。
Shell
1
openssl rand -base64 32
4. 這種方法類似於之前的urandom,但它是反向工作的。Bash的功能是非常強大的!
1
tr -cd '[:alnum:]' < /dev/urandom | fold -w30 | head -n1
5. 這種方法使用string命令,它從一個文件中輸出可列印的字元串:
Shell
1
strings /dev/urandom | grep -o '[[:alnum:]]' | head -n 30 | tr -d '\n'; echo
6. 這是使用urandom的一個更簡單的版本:
Shell
1
< /dev/urandom tr -dc _A-Z-a-z-0-9 | head -c6
7. 這種方法使用非常有用的dd命令:
Shell
1
dd if=/dev/urandom bs=1 count=32 2>/dev/null | base64 -w 0 | rev | cut -b 2- | rev
8. 你甚至可以生成一個只用左手便可以輸入的密碼:
Shell
1
</dev/urandom tr -dc '12345!@#$%' | head -c8; echo ""
9. 如果每次都使用上述某種方法,那更好的辦法是將它保存為函數。如果這樣做了,那麼在首次運行命令之後,你便可以在任何時間只使用randpw就可以生成隨機密碼。或許你可以把它保存到你的~/.bashrc文件裡面。
Shell
1
randpw(){ < /dev/urandom tr -dc _A-Z-a-z-0-9 | head -c${1:-16};echo;}
10. 最後這種生成隨機密碼的方法是最簡單的。它同樣也可以在安裝了Cygwin的Windows下面運行。在Mac OS X下或許也可以運行。我敢肯定會有人抱怨這種方法生成的密碼沒有其它方法來的隨機。但實際上如果你使用它生成的全部字元串作為密碼,那這個密碼就足夠隨機了。
Shell
1
date | md5sum
是的,這種方法也極其好記。