A. Linux三劍客(sed)-編輯匹配到的文本
sed編輯器是一行一行的處理文件,正在處理的內容存放在模式空間(緩沖區)中,處理完畢後按照選項的規定進行輸出或文件的修改。
sed主要用來自動編輯一個或多個文件;簡化文件的反復操作,用於非交互編譯文件。
可以使用一個簡單的數字,或是一個行號范圍
注意:p的動作是:列印匹配行。
1. 原始文件:
2. sed的默認動作
(1)sed的默認動作是列印文件中的所有行。
3. 列印特定行
(1)因為sed命令默認列印文件中所有行。所以第三行會被列印兩遍。那如何只列印第三行呢?使用【-n】命令,只列印匹配的行。
(2)使用【-n】命令,只列印匹配到的行
(3)列印[n,m]行
(4)列印包含模式的行
(5)列印包含模式和指定行號之間的行
(6)包含模式和包含模式之間的行
(7) {}執行多個命令(command),使用;隔開。=是顯示文件行的行號。p是列印匹配行
(8)!取反操作
(9)q命令:第一個模式匹配完成後退出或立即退出,使用該命令列印前5行
(1)使用[]進行正則匹配
(2)其他的正則表達式
(1)列印出以#開頭的行,然後用!進行反選,則表示過濾掉以#開頭的行,不會過濾掉空格。
(2)匹配以#開頭的行,進行取反,則列印出非#開頭的行,然後其結果在對空格開頭的行進行取反。即 過濾掉以#開頭的行和以空格開頭的行。 {}表示在定位行執行的命令組。
(3)sed支持對單個文件實現不同的操作,每個操作用-e參數。定位到執行的行後,使用d命令,直接刪除匹配到的行。
需要注意的是,對源文件的添加要使用【-i】參數。
s:使用替換模式替換相應模式
(1)在匹配行前面替換字元,使用【s】命令。
(2)在所有行開頭替換元素【s】
(3)在所有行的末尾替換元素
(4)指定行,進行替換操作
(5)【&】符號代表的是匹配到的字元。在匹配到字元後,可以使用&代替。
(6)在匹配到行前面添加一行,使用【i】的命令
(7)在匹配行的後面添加一行,使用【a】命令
(8)當添加多行時,使用 來轉義
(9)@代表的是【地址定界符】,一般由三個組成,定界符可以是/,$,#等特殊字元,此命令表示,匹配特定字元的行進行替換。
(10)使用命令【g】修改全文中出現的匹配字元。
(11)若後面接數字之後在接g,表示匹配的行中,第幾次出現。就替換,2g表示替換行中第二次出現。
(1)刪除以非#號開頭的行,即顯示以#號開頭的行。
(2)刪除第一行
(3)刪除最後一行
(4)刪除指定的行區間
(5)刪除包含特定單詞的行
本文參考:
sed命令詳解
B. Linux裡面sed和awk命令哪個重要
你好很高興回答您的問題:
既然接觸到了三劍客的sed和awk,對Linux應該是有些認知了吧.下面基於這個給您介紹下.
Linux的秘籍三劍客 grep,sed,awk是Linux命令,甚至是shell編程部分的核心技術.
掌握與數量可以加速處理文本速度.
grep擅長過濾與正則
sed擅長替換與增刪改查
awk擅長統計計算與取行取列
快收下下面的寶典修煉吧.
C. Linux命令之sed-替換字元串
1. sed -i 's/CANCEL_TIME/CANCEL_RECV_TIME/g' csv2drds-TF_B_PAYLOG_D.json
---指定文件替換,將文件中的CANCEL_TIME替換成CANCEL_RECV_TIME;
2. sed -i 's/CANCEL_TIME/CANCEL_RECV_TIME/g' `grep CANCEL_TIME -rl ./*TF_B_PAYLOG_D*.json`
---批量文件替換,遞歸查找含CANCEL_TIME的文件,將所有文件中的CANCEL_TIME替換成CANCEL_RECV_TIME;
3. sed -i 's/\/tmp\/ditagent\/TF_B_PAYLOG_D.csv/\/vdata\/datapre\/281\/'"$filename"'/g' $jsonname
---帶/的字元串替換,將/tmp/ditagent/TF_B_PAYLOG_D.csv替換成/vdata/datapre/281/'"$filename"'
4. sed -i 's/^/beginstring&/g' *.txt
---在所有行首添加字元串;
5. sed -i 's/$/&endstring/g' *.txt
---在所有行末添加字元串
6. sed -i '2s/原字元串/替換字元串/g' *.txt
---替換第2行
7. sed -i '$s/原字元串/替換字元串/g' *.txt
---替換最後一行
8. sed -i '2,5s/原字元串/替換字元串/g' *.txt
---替換2到5行
9. sed -i '2,$s/原字元串/替換字元串/g' *.txt
---替換2到最後一行
10. sed 's/\x80/|/g' test.dat |iconv -f gbk -t utf-8 > testutf8.dat
---把test.dat中的歐元符號替換成豎線,再將文件gbk格式轉成utf8
-i選項是直接在文件中替換,不在終端輸出;
-r選項是所給的path中的目錄遞歸查找;
-l選項是輸出所有匹配到oldstring的文件;
s/表示替換
/g表示全局替換
D. Linux中的sed是什麼意思呢,簡單解釋一下啊
Sed是一項Linux指令,全稱是Stream
EDitor,功能同awk類似,差別在於,sed簡單,對列處理的功能要差一些,awk的功能復雜,對列處理的功能比較強大。Sed主要用於自動編輯一個或者多個文件,多用於腳本中對文件的處理。
Sed命令可以對文件進行增加、刪除、修改和查找操作,所以學好sed命令是寫自動化腳本必須的基礎之一。
E. Linux sed 之G、H、g、h使用命令詳解
1.把文本第1行讀入到內存 模式空間(pattern space),相當於放到流程水線上處理吧
2.把處理好的結果存放到另一個內存空間(hold space)相當於臨時的倉庫吧
3.輸出處理結果,循環處理第2行,覆蓋清空(pattern space)、(hold space)至最後一行
由於各種各樣的原因,比如用戶希望在某個條件下腳本中的某個命令被執行,或者希望模式空間得到保留以便下一次的處理,都有可能使得sed在處理文件的時候不按照正常的流程來進行。這個時候,sed設置了一些高級命令來滿足用戶的要求。
sed命令:
不管是大寫還是小寫g、h都是在pattern space、hold space相互拷貝
區別是 小寫代表清空原來數據,大寫是保留原來數據在後面追加新數據
案例
圖解分析過程
P:Pattern Space
H:Hold Space
藍色:Hold Space中的數據
綠色:Pattern Space中的數據
案例
參考鏈接:
https://www.cnblogs.com/fhefh/archive/2011/11/22/2259097.html
F. Linux中的sed是什麼意思呢,如何使用呢
sed命令行格式為:
sed [-nefri] 『command』 輸入文本/文件
常用選項:
-n∶取消默認的輸出,使用安靜(silent)模式。在一般 sed 的用法中,所有來自 STDIN的資料一般都會被列出到屏幕上。但如果加上 -n 參數後,則只有經過sed 特殊處理的那一行(或者動作)才會被列出來
-e∶進行多項編輯,即對輸入行應用多條sed命令時使用. 直接在指令列模式上進行 sed 的動作編輯
-f∶指定sed腳本的文件名. 直接將 sed 的動作寫在一個檔案內, -f filename 則可以執行 filename 內的sed 動作
-r∶sed 的動作支援的是延伸型正則表達式的語法。(預設是基礎正則表達式語法)
-i∶直接修改讀取的文件內容,而不是由屏幕輸出
常用命令:
a ∶ 新增, a 的後面可以接字串,而這些字串會在新的一行出現(目前的下一行)
c ∶ 取代, c 的後面可以接字串,這些字串可以取代 n1,n2 之間的行
d ∶ 刪除,因為是刪除,所以 d 後面通常不接任何內容
i ∶ 插入, i 的後面可以接字串,而這些字串會在新的一行出現(目前的上一行)
p∶ 列印,亦即將某個選擇的資料印出。通常 p 會與參數 sed -n 一起用
s∶ 取代,可以直接進行替換的工作。通常這個 s 的動作可以搭配正則表達式。例如 1,20s/old/new/g
定址
定址用於決定對哪些行進行編輯。地址的形式可以是數字、正則表達式、或二者的結合。如果沒有指定地址,sed將處理輸入文件的所有行。
地址是一個數字,則表示行號;是「$"符號,則表示最後一行。例如:
sed -n '3p' datafile
只列印第三行
只顯示指定行范圍的文件內容,例如:
# 只查看文件的第100行到第200行
sed -n '100,200p' mysql_slow_query.log
地址是逗號分隔的,那麼需要處理的地址是這兩行之間的范圍(包括這兩行在內)。范圍可以用數字、正則表達式、或二者的組合表示。例如:
sed '2,5d' datafile
#刪除第二到第五行
sed '/My/,/You/d' datafile
#刪除包含"My"的行到包含"You"的行之間的行
sed '/My/,10d' datafile
#刪除包含"My"的行到第十行的內容
舉例:(假設我們有一文件名為ab)
刪除某行
[root@localhost ruby] # sed '1d' ab #刪除第一行
[root@localhost ruby] # sed '$d' ab #刪除最後一行
[root@localhost ruby] # sed '1,2d' ab #刪除第一行到第二行
[root@localhost ruby] # sed '2,$d' ab #刪除第二行到最後一行
顯示某行
. [root@localhost ruby] # sed -n '1p' ab #顯示第一行
[root@localhost ruby] # sed -n '$p' ab #顯示最後一行
[root@localhost ruby] # sed -n '1,2p' ab #顯示第一行到第二行
[root@localhost ruby] # sed -n '2,$p' ab #顯示第二行到最後一行
使用模式進行查詢
[root@localhost ruby] # sed -n '/ruby/p' ab #查詢包括關鍵字ruby所在所有行
[root@localhost ruby] # sed -n '/\$/p' ab #查詢包括關鍵字$所在所有行,使用反斜線\屏蔽特殊含義
增加一行或多行字元串
[root@localhost ruby]# cat ab
Hello!
ruby is me,welcome to my blog.
end
[root@localhost ruby] # sed '1a drink tea' ab #第一行後增加字元串"drink tea"
Hello!
drink tea
ruby is me,welcome to my blog.
end
[root@localhost ruby] # sed '1,3a drink tea' ab #第一行到第三行後增加字元串"drink tea"
Hello!
drink tea
ruby is me,welcome to my blog.
drink tea
end
drink tea
[root@localhost ruby] # sed '1a drink tea\nor coffee' ab #第一行後增加多行,使用換行符\n
Hello!
drink tea
or coffee
ruby is me,welcome to my blog.
end
代替一行或多行
[root@localhost ruby] # sed '1c Hi' ab #第一行代替為Hi
Hi
ruby is me,welcome to my blog.
end
[root@localhost ruby] # sed '1,2c Hi' ab #第一行到第二行代替為Hi
Hi
end
替換一行中的某部分
格式:sed 's/要替換的字元串/新的字元串/g' (要替換的字元串可以用正則表達式)
[root@localhost ruby] # sed -n '/ruby/p' ab | sed 's/ruby/bird/g' #替換ruby為bird
[root@localhost ruby] # sed -n '/ruby/p' ab | sed 's/ruby//g' #刪除ruby
插入
[root@localhost ruby] # sed -i '$a bye' ab #在文件ab中最後一行直接輸入"bye"
[root@localhost ruby]# cat ab
Hello!
ruby is me,welcome to my blog.
end
bye
替換:
-e是編輯命令,用於sed執行多個編輯任務的情況下。在下一行開始編輯前,所有的編輯動作將應用到模式緩沖區中的行上。
sed -e '1,10d' -e 's/My/Your/g' datafile
#選項-e用於進行多重編輯。第一重編輯刪除第1-3行。第二重編輯將出現的所有My替換為Your。因為是逐行進行這兩項編輯(即這兩個命令都在模式空間的當前行上執行),所以編輯命令的順序會影響結果。
# 替換兩個或多個空格為一個空格
sed 's/[ ][ ]*/ /g' file_name
# 替換兩個或多個空格為分隔符:
sed 's/[ ][ ]*/:/g' file_name
# 如果空格與tab共存時用下面的命令進行替換
# 替換成空格
sed 's/[[:space:]][[:space:]]*/ /g' filename
# 替換成分隔符:
sed 's/[[:space:]][[:space:]]*/:/g' filename
==============
sed命令的調用:
在命令行鍵入命令;將sed命令插入腳本文件,然後調用sed;將sed命令插入腳本文件,並使sed腳本可執行
sed [option] sed命令 輸入文件 在命令行使用sed命令,實際命令要加單引號
sed [option] -f sed腳本文件 輸入文件 使用sed腳本文件
sed腳本文件 [option] 輸入文件 第一行具有sed命令解釋器的sed腳本文件
option如下:
n 不列印; sed不寫編輯行到標准輸出,預設為列印所有行(編輯和未編輯),p命令可以用來列印編輯行
c 下一命令是編輯命令,使用多項編輯時加入此選項
f 如果正在調用sed腳本文件,使用此選項,此選項通知sed一個腳本文件支持所用的sed命令,如
sed -f myscript.sed input_file 這里myscript.sed即為支持sed命令的文件
使用重定向文件即可保存sed的輸出
使用sed在文本中定位文本的方式:
x x為一行號,比如1
x,y 表示行號范圍從x到y,如2,5表示從第2行到第5行
/pattern/ 查詢包含模式的行,如/disk/或/[a-z]/
/pattern/pattern/ 查詢包含兩個模式的行,如/disk/disks/
/pattern/,x 在給定行號上查詢包含模式的行,如/disk/,3
x,/pattern/ 通過行號和模式查詢匹配行,如 3,/disk/
x,y! 查詢不包含指定行號x和y的行
基本sed編輯命令:
p 列印匹配行 c/ 用新文本替換定位文本
= 顯示文件行號 s 使用替換模式替換相應模式
a/ 在定位行號後附加新文本信息 r 從另一個文本中讀文本
i/ 在定位行號後插入新文本信息 w 寫文本到一個文件
d 刪除定位行 q 第一個模式匹配完成後退出或立即退出
l 顯示與八進制ASCII代碼等價的控制字元 y 傳送字元
n 從另一個文本中讀文本下一行,並附加在下一行 {} 在定位行執行的命令組
g 將模式2粘貼到/pattern n/
基本sed編程舉例:
使用p(rint)顯示行: sed -n '2p' temp.txt 只顯示第2行,使用選項n
列印范圍: sed -n '1,3p' temp.txt 列印第1行到第3行
列印模式: sed -n '/movie/'p temp.txt 列印含movie的行
使用模式和行號查詢: sed -n '3,/movie/'p temp.txt 只在第3行查找movie並列印
顯示整個文件: sed -n '1,$'p temp.txt $為最後一行
任意字元: sed -n '/.*ing/'p temp.txt 注意是.*ing,而不是*ing
列印行號: sed -e '/music/=' temp.txt
附加文本:(創建sed腳本文件)chmod u+x script.sed,運行時./script.sed temp.txt
#!/bin/sed -f
/name1/ a/ #a/表示此處換行添加文本
HERE ADD NEW LINE. #添加的文本內容
插入文本: /name1/ a/ 改成 4 i/ 4表示行號,i插入
修改文本: /name1/ a/ 改成 /name1/ c/ 將修改整行,c修改
刪除文本: sed '1d' temp.txt 或者 sed '1,4d' temp.txt
替換文本: sed 's/source/OKSTR/' temp.txt 將source替換成OKSTR
sed 's//$//g' temp.txt 將文本中所有的$符號全部刪除
sed 's/source/OKSTR/w temp2.txt' temp.txt 將替換後的記錄寫入文件temp2.txt
替換修改字元串: sed 's/source/"ADD BEFORE" &/p' temp.txt
結果將在source字元串前面加上"ADD BEFORE",這里的&表示找到的source字元並保存
sed結果寫入到文件: sed '1,2 w temp2.txt' temp.txt
sed '/name/ w temp2.txt' temp.txt
從文件中讀文本: sed '/name/r temp2.txt' temp.txt
在每列最後加文本: sed 's/[0-9]*/& Pass/g' temp.txt
從shell向sed傳值: echo $NAME | sed "s/go/$REP/g" 注意需要使用雙引號
快速一行命令:
's//.$//g' 刪除以句點結尾行
'-e /abcd/d' 刪除包含abcd的行
's/[][][]*/[]/g' 刪除一個以上空格,用一個空格代替
's/^[][]*//g' 刪除行首空格
's//.[][]*/[]/g' 刪除句號後跟兩個或更多的空格,用一個空格代替
'/^$/d' 刪除空行
's/^.//g' 刪除第一個字元,區別 's//.//g'刪除所有的句點
's/COL/(.../)//g' 刪除緊跟COL的後三個字母
's/^////g' 刪除路徑中第一個/
///////////////////////////////////////////////////////////////////////
、使用句點匹配單字元 句點「.」可以匹配任意單字元。「.」可以匹配字元串頭,也可以是中間任意字元。假定正在過濾一個文本文件,對於一個有1 0個字元的腳本集,要求前4個字元之後為X C,匹配操作如下:. . . .X C. . . .
2、在行首以^匹配字元串或字元序列 ^只允許在一行的開始匹配字元或單詞。在行首第4個字元為1,匹配操作表示為:^ . . . 1
3、在行尾以$匹配字元串或字元 可以說$與^正相反,它在行尾匹配字元串或字元, $符號放在匹配單詞後。如果在行尾匹配單詞j e t 0 1,操作如下:j e t 0 1 $ 如果只返回包含一個字元的行,操作如下:^ . $
4、使用*匹配字元串中的單字元或其重復序列 使用此特殊字元匹配任意字元或字元串的重復多次表達式。
5、使用/屏蔽一個特殊字元的含義 有時需要查找一些字元或字元串,而它們包含了系統指定為特殊字元的一個字元。如果要在正則表達式中匹配以* . p a s結尾的所有文件,可做如下操作:/ * / . p a s
6、使用[]匹配一個范圍或集合 使用[ ]匹配特定字元串或字元串集,可以用逗號將括弧內要匹配的不同字元串分開,但並不強制要求這樣做(一些系統提倡在復雜的表達式中使用逗號),這樣做可以增 加模式的可讀性。使用「 -」表示一個字元串范圍,表明字元串范圍從「 -」左邊字元開始,到「 -」右邊字元結束。假定要匹配任意一個數字,可以使用:[ 0 1 2 3 4 5 6 7 8 9 ] 要匹配任意字母,則使用:[ A - Z a - z ]表明從A - Z、a - z的字母範圍。
7、使用/{/}匹配模式結果出現的次數 使用*可匹配所有匹配結果任意次,但如果只要指定次數,就應使用/ { / },此模式有三種形式,即:
pattern/{n/} 匹配模式出現n次。
pattern/{n,/} 匹配模式出現最少n次。
pattern/{n,m} 匹配模式出現n到m次之間,n , m為0 - 2 5 5中任意整數。
匹配字母A出現兩次,並以B結尾,操作如下:A / { 2 / } B匹配值為A A B 匹配A至少4次,使用:A / { 4 , / } B
===============
替換單引號為空:
可以這樣寫:
sed 's/'"'"'//g'
sed 's/'\''//g'
G. Linux裡面sed -e命令作用是什麼
sed -e是可以在同一行內執行多條命令,而不加-e則不可以