⑴ linux系統下如何使用AWK正則表達式
awk 正則有幾種使用方法
直接當做條件 awk '/正則/{執行語句}' file 表示只對能夠匹配正則的行執行後面的語句, !/正則/ 則是不匹配時執行
對某個列進行判斷 awk '$1 ~ /正則/{執行語句}' file 表示第一列如果匹配正則,對該行進行處理。也可以用 ~! 或 !~ 表示不匹配時進行處理。 第一種情況相當於 $0 ~ /正則/
分隔符使用正則, 在awk的-F參數後可以直接使用正則表達式 表示能夠匹配的都當做分隔符;awk中設置 其他分隔符 如FS、RS等也可以使用正則
字元串函數中使用正則。 如split(s,a,fs) 在fs上將s分成序列a,其中fs就可以用正則;幾個替換函數gensub(a,b,c[,d])等也可以包含正則表達式,例如:
gensub(/123/,"x",1,$1)替換$1中 第一次匹配到的123為字元x,返回值為$1替換後的內容,且$1的內容並沒有改變
等等
⑵ 關於Linux中正則表達式的小問題
echo abcd123 | sed 's/\([a-z]*\).*/\U\1/'
\(..\)
保存匹配的字元,如s/\(love\)able/\1rs,loveable被替換成lovers
上例中\1就是指前面的\([a-z]*\)
\U 是轉換成大寫
這樣就明白了,\U\1指 [a-z]*全部轉成大寫。
invalid reference \1 on `s' command's RHS
「s」命令的RHS非法引用\1,
RHS應該是指右邊,LHS指左邊。沒注意過這個單詞。呵呵。
⑶ 在linux終端中 怎樣利用正則表達式 進行文本內容的替換
一般用sed命令
例如
sed 's/test/mytest/g' 1.txt > 2.txt
⑷ Linux下的shell編程 如何替換文件中的內容
可以這樣做:
方法1:sed -i 's/被替換的內容/要替換成的內容/' file
方法2:sed 's/被替換的內容/要替換成的內容/g' file > file.out;mv file.out file。
(4)linux正則替換擴展閱讀:
Shell編程的常用技巧:
一、自動補齊:在linux中對於命令或路徑,可以TAB鍵進行自動補全,以下事項需要注意:
1、只存在一個該輸入字元開頭的命令或路徑,此時自動補全;
2、存在多個該輸入字元開頭的命令或路徑,此時第一次點擊TAB鍵無效,此時再次點擊TAB會羅列出所有該字元開頭的命令或路徑,繼續輸入直到僅僅剩一個時自動補全;
3、如果命令已經是完整的,TAB鍵則是本來的移動功能;而路徑的話要看命令自身的行為決定後續動作。
二、歷史命令
1、history命令可以顯示歷史執行過的命令;
2、使用!+序號執行該序號對應的命令;
3、使用!+字元執行該字元開頭的最後一次執行的指令。
三、命令別名
1、實現別名:alias ddd="df -Th";
2、刪除別名:unalias ddd;
3、顯示所有別名命令列表:alias;
4、存放位置:~/.bashrc (加入該文件後,重啟後不會消失)。
四、重定向
1、重定向標准輸入:< 命令接收輸入的途徑由鍵盤改為文件;
2、重定向標准輸出:> 將命令的執行結果輸出到指定文件,而不是直接顯示到屏幕;
3、重定向標准輸出:>> 將命令的執行結果追加輸出到指定文件;
4、重定向標准錯誤:2> 清除指定文件的內容,並把標准錯誤信息保存到指定文件;
5、重定向標准錯誤:2>> 標准錯誤信息追加到指定文件;
6、重定向標准輸出和標准錯誤:&> 將標准輸出、標准錯誤信息全部保存到指定文件,而不是直接顯示在屏幕上。
⑸ 關於linux 里sed的用法與正則表達式
題主你好,
這道題的關鍵點在於:
" [a]* 表示匹配0個或多個a "
" 多個a "好理解,但" 0個a "可能就是你不理解的地方,說白了" 0個a "匹配的是位置而並不是某個字元, " 0個a "故名思議嘛:
" 沒有a的地方 "
-------------------
下來咱看一下問題里所描述的:
echo aabbabbaab | sed 's/[a]*/x/g'
上面的代碼共發生了6次匹配,我把每一次的匹配都記錄下來了:
你可以這樣去記: 像這種" [x]* "匹配0個或多個x字元的正則你可以理解為:
" 字元替換+位置替換 " 的合體, 即匹配上字元了就將相應的字元給替換了,沒有匹配上字元的,就把相應的位置給替換了,而位置替換用位置插入去想更好理解一些
希望對題主有幫助,上面是我的理解,不一定完全正確,如果不對也請指正,如果有需要交流的,歡迎追問
⑹ linux 中 ^[^abc] 正則表達式什麼意思
^代錶行首,$代錶行尾
1、^[a-z]匹配以小寫字母開頭的字元串
2、[^a-z] 不包含小寫字母的字元匹配
3、^[^a-z] 開頭不包含小寫字母的字元匹配
⑺ linux正則表達式
sed 's/#.*$//g' 把#開頭的行替換成空行
sed '/^$/d' 把空行刪掉
s是替換
g是指替換掉所有符合條件的
d是刪除
^行的開頭
$行的結尾
.除 "\n" 之外的任何單個字元
*前面的子表達式零次或多次
⑻ linux 刪除0位元組和替換0位元組文件的腳本怎麼寫
Linux系統信息存放在文件里,文件與普通的公務文件類似。每個文件都有自己的名字、內容、存放地址及其它一些管理信息,如文件的用戶、文件的大小等。文件可以是一封信、一個通訊錄,或者是程序的源語句、程序的數據,甚至可以包括可執行的程序和其它非正文內容。 Linux文件系統具有良好的結構,系統提供了很多文件處理程序。這里主要介紹常用的文件處理命令。
file
1.作用
file通過探測文件內容判斷文件類型,使用許可權是所有用戶。
2.格式
file [options] 文件名
3.[options]主要參數
-v:在標准輸出後顯示版本信息,並且退出。
-z:探測壓縮過的文件類型。
-L:允許符合連接。
-f name:從文件namefile中讀取要分析的文件名列表。
4.簡單說明
使用file命令可以知道某個文件究竟是二進制(ELF格式)的可執行文件, 還是Shell Script文件,或者是其它的什麼格式。file能識別的文件類型有目錄、Shell腳本、英文文本、二進制可執行文件、C語言源文件、文本文件、DOS的可執行文件。
5.應用實例
如果我們看到一個沒有後綴的文件grap,可以使用下面命令:
$ file grap
grap: English text
此時系統顯示這是一個英文文本文件。需要說明的是,file命令不能探測包括圖形、音頻、視頻等多媒體文件類型。
mkdir
1.作用
mkdir命令的作用是建立名稱為dirname的子目錄,與MS DOS下的md命令類似,它的使用許可權是所有用戶。
2.格式
mkdir [options] 目錄名
3.[options]主要參數
-m, --mode=模式:設定許可權<模式>,與chmod類似。
-p, --parents:需要時創建上層目錄;如果目錄早已存在,則不當作錯誤。
-v, --verbose:每次創建新目錄都顯示信息。
--version:顯示版本信息後離開。
4.應用實例
在進行目錄創建時可以設置目錄的許可權,此時使用的參數是「-m」。假設要創建的目錄名是「tsk」,讓所有用戶都有rwx(即讀、寫、執行的許可權),那麼可以使用以下命令:
$ mkdir -m 777 tsk
grep
1.作用
grep命令可以指定文件中搜索特定的內容,並將含有這些內容的行標准輸出。grep全稱是Global Regular Expression Print,表示全局正則表達式版本,它的使用許可權是所有用戶。
2.格式
grep [options]
3.主要參數
[options]主要參數:
-c:只輸出匹配行的計數。
-I:不區分大小寫(只適用於單字元)。
-h:查詢多文件時不顯示文件名。
-l:查詢多文件時只輸出包含匹配字元的文件名。
-n:顯示匹配行及行號。
-s:不顯示不存在或無匹配文本的錯誤信息。
-v:顯示不包含匹配文本的所有行。
pattern正則表達式主要參數:
\\:忽略正則表達式中特殊字元的原有含義。
^:匹配正則表達式的開始行。
$: 匹配正則表達式的結束行。
\\<:從匹配正則表達式的行開始。
\\>:到匹配正則表達式的行結束。
[ ]:單個字元,如[A]即A符合要求 。
[ - ]:范圍,如[A-Z],即A、B、C一直到Z都符合要求 。
。:所有的單個字元。
* :有字元,長度可以為0。
正則表達式是Linux/Unix系統中非常重要的概念。正則表達式(也稱為「regex」或「regexp」)是一個可以描述一類字元串的模式(Pattern)。如果一個字元串可以用某個正則表達式來描述,我們就說這個字元和該正則表達式匹配(Match)。這和DOS中用戶可以使用通配符 「*」代表任意字元類似。在Linux系統上,正則表達式通常被用來查找文本的模式,以及對文本執行「搜索-替換」操作和其它功能。
4.應用實例
查詢DNS服務是日常工作之一,這意味著要維護覆蓋不同網路的大量IP地址。有時IP地址會超過2000個。如果要查看nnn.nnn網路地址,但是卻忘了第二部分中的其餘部分,只知到有兩個句點,例如nnn nn..。要抽取其中所有nnn.nnn IP地址,使用[0-9 ]\\\\.[0-0\\\\。含義是任意數字出現3次,後跟句點,接著是任意數字出現3次,後跟句點。
$grep '[0-9 ]\\\\.[0-0\\\\' ipfile
補充說明,grep家族還包括fgrep和egrep。fgrep是fix grep,允許查找字元串而不是一個模式;egrep是擴展grep,支持基本及擴展的正則表達式,但不支持\\q模式范圍的應用及與之相對應的一些更加規范的模式。
dd
1.作用
dd命令用來復制文件,並根據參數將數據轉換和格式化。
2.格式
dd [options]
3.[opitions]主要參數
bs=位元組:強迫 ibs=<位元組>及obs=<位元組>。
cbs=位元組:每次轉換指定的<位元組>。
conv=關鍵字:根據以逗號分隔的關鍵字表示的方式來轉換文件。
count=塊數目:只復制指定<塊數目>的輸入數據。
ibs=位元組:每次讀取指定的<位元組>。
if=文件:讀取<文件>內容,而非標准輸入的數據。
obs=位元組:每次寫入指定的<位元組>。
of=文件:將數據寫入<文件>,而不在標准輸出顯示。
seek=塊數目:先略過以obs為單位的指定<塊數目>的輸出數據。
skip=塊數目:先略過以ibs為單位的指定<塊數目>的輸入數據。
4.應用實例
dd命令常常用來製作Linux啟動盤。先找一個可引導內核,令它的根設備指向正確的根分區,然後使用dd命令將其寫入軟盤:
$ rdev vmlinuz /dev/hda
$dd if=vmlinuz of=/dev/fd0
上面代碼說明,使用rdev命令將可引導內核vmlinuz中的根設備指向/dev/hda,請把「hda」換成自己的根分區,接下來用dd命令將該內核寫入軟盤。
find
1.作用
find命令的作用是在目錄中搜索文件,它的使用許可權是所有用戶。
2.格式
find [path][option*][**pression]
path指定目錄路徑,系統從這里開始沿著目錄樹向下查找文件。它是一個路徑列表,相互用空格分離,如果不寫path,那麼默認為當前目錄。
3.主要參數
[options]參數:
-depth:使用深度級別的查找過程方式,在某層指定目錄中優先查找文件內容。
-maxdepth levels:表示至多查找到開始目錄的第level層子目錄。level是一個非負數,如果level是0的話表示僅在當前目錄中查找。
-mindepth levels:表示至少查找到開始目錄的第level層子目錄。
-mount:不在其它文件系統(如Msdos、Vfat等)的目錄和文件中查找。
-version:列印版本。
[expression]是匹配表達式,是find命令接受的表達式,find命令的所有操作都是針對表達式的。它的參數非常多,這里只介紹一些常用的參數。
—name:支持統配符*和?。
-atime n:搜索在過去n天讀取過的文件。
-ctime n:搜索在過去n天修改過的文件。
-group grpoupname:搜索所有組為grpoupname的文件。
-user 用戶名:搜索所有文件屬主為用戶名(ID或名稱)的文件。
-size n:搜索文件大小是n個block的文件。
-print:輸出搜索結果,並且列印。
4.應用技巧
find命令查找文件的幾種方法:
(1)根據文件名查找
例如,我們想要查找一個文件名是lilo.conf的文件,可以使用如下命令:
find / -name lilo.conf
find命令後的「/」表示搜索整個硬碟。
(2)快速查找文件
根據文件名查找文件會遇到一個實際問題,就是要花費相當長的一段時間,特別是大型Linux文件系統和大容量硬碟文件放在很深的子目錄中時。如果我們知道了這個文件存放在某個目錄中,那麼只要在這個目錄中往下尋找就能節省很多時間。比如smb.conf文件,從它的文件後綴「.conf」可以判斷這是一個配置文件,那麼它應該在/etc目錄內,此時可以使用下面命令:
find /etc -name smb.conf
這樣,使用「快速查找文件」方式可以縮短時間。
(3)根據部分文件名查找方法
有時我們知道只某個文件包含有abvd這4個字,那麼要查找系統中所有包含有這4個字元的文件可以輸入下面命令:
find / -name '*abvd*'
輸入這個命令以後,Linux系統會將在/目錄中查找所有的包含有abvd這4個字元的文件(其中*是通配符),比如abvdrmyz等符合條件的文件都能顯示出來。
(4) 使用混合查找方式查找文件
find命令可以使用混合查找的方法,例如,我們想在/etc目錄中查找大於500000位元組,並且在24小時內修改的某個文件,則可以使用-and (與)把兩個查找參數鏈接起來組合成一個混合的查找方式。
find /etc -size +500000c -and -mtime +1
mv
1.作用
mv命令用來為文件或目錄改名,或者將文件由一個目錄移入另一個目錄中,它的使用許可權是所有用戶。該命令如同DOS命令中的ren和move的組合。
2.格式
mv[options] 源文件或目錄 目標文件或目錄
3.[options]主要參數
-i:交互方式操作。如果mv操作將導致對已存在的目標文件的覆蓋,此時系統詢問是否重寫,要求用戶回答「y」或「n」,這樣可以避免誤覆蓋文件。
-f:禁止交互操作。mv操作要覆蓋某個已有的目標文件時不給任何指示,指定此參數後i參數將不再起作用。
4.應用實例
(1)將/usr/cbu中的所有文件移到當前目錄(用「.」表示)中:
$ mv /usr/cbu/ * .
(2)將文件cjh.txt重命名為wjz.txt:
$ mv cjh.txt wjz.txt
ls
1.作用
ls命令用於顯示目錄內容,類似DOS下的dir命令,它的使用許可權是所有用戶。
2.格式
ls [options][filename]
3.options主要參數
-a, --all:不隱藏任何以「.」 字元開始的項目。
-A, --almost-all:列出除了「 . 」及 「.. 」以外的任何項目。
--author:印出每個文件著作者。
-b, --escape:以八進制溢出序列表示不可列印的字元。
--block-size=大小:塊以指定<大小>的位元組為單位。
-B, --ignore-backups:不列出任何以 ~ 字元結束的項目。
-f:不進行排序,-aU參數生效,-lst參數失效。
-F, --classify:加上文件類型的指示符號 (*/=@| 其中一個)。
-g:like -l, but do not list owner。
-G, --no-group:inhibit display of group information。
-i, --inode:列出每個文件的inode號。
-I, --ignore=樣式:不印出任何符合Shell萬用字元<樣式>的項目。
-k:即--block-size=1K。
-l:使用較長格式列出信息。
-L, --dereference:當顯示符號鏈接的文件信息時,顯示符號鏈接所指示的對象,而並非符號鏈接本身的信息。
-m:所有項目以逗號分隔,並填滿整行行寬。
-n, --numeric-uid-gid:類似-l,但列出UID及GID號。
-N, --literal:列出未經處理的項目名稱,例如不特別處理控制字元。
-p, --file-type:加上文件類型的指示符號 (/=@| 其中一個)。
-Q, --quote-name:將項目名稱括上雙引號。
-r, --reverse:依相反次序排列。
-R, --recursive:同時列出所有子目錄層。
-s, --size:以塊大小為序。
4.應用舉例
ls命令是Linux系統使用頻率最多的命令,它的參數也是Linux命令中最多的。使用ls命令時會有幾種不同的顏色,其中藍色表示是目錄,綠色表示是可執行文件,紅色表示是壓縮文件,淺藍色表示是鏈接文件,加粗的黑色表示符號鏈接,灰色表示是其它格式文件。ls最常使用的是ls- l,見圖1所示。
圖1 使用ls-l命令
文件類型開頭是由10個字元構成的字元串。其中第一個字元表示文件類型,它可以是下述類型之一:-(普通文件)、d(目錄)、l(符號鏈接)、b(塊設備文件)、c(字元設備文件)。後面的9個字元表示文件的訪問許可權,分為3組,每組3位。第一組表示文件屬主的許可權,第二組表示同組用戶的許可權,第三組表示其他用戶的許可權。每一組的三個字元分別表示對文件的讀(r)、寫(w)和執行許可權(x)。對於目錄,表示進入許可權。s表示當文件被執行時,把該文件的 UID或GID賦予執行進程的UID(用戶ID)或GID(組 ID)。t表示設置標志位(留在內存,不被換出)。如果該文件是目錄,那麼在該目錄中的文件只能被超級用戶、目錄擁有者或文件屬主刪除。如果它是可執行文件,那麼在該文件執行後,指向其正文段的指針仍留在內存。這樣再次執行它時,系統就能更快地裝入該文件。接著顯示的是文件大小、生成時間、文件或命令名稱。
diff
1.作用
diff命令用於兩個文件之間的比較,並指出兩者的不同,它的使用許可權是所有用戶。
2.格式
diff [options] 源文件 目標文件
3.[options]主要參數
-a:將所有文件當作文本文件來處理。
-b:忽略空格造成的不同。
-B:忽略空行造成的不同。
-c:使用綱要輸出格式。
-H:利用試探法加速對大文件的搜索。
-I:忽略大小寫的變化。
-n --rcs:輸出RCS格式。
cmp
1.作用
cmp(「compare」的縮寫)命令用來簡要指出兩個文件是否存在差異,它的使用許可權是所有用戶。
2.格式
cmp[options] 文件名
3.[options]主要參數
-l: 將位元組以十進制的方式輸出,並方便將兩個文件中不同的以八進制的方式輸出。
cat
1.作用
cat(「concatenate」的縮寫)命令用於連接並顯示指定的一個和多個文件的有關信息,它的使用許可權是所有用戶。
2.格式
cat [options] 文件1 文件2……
3.[options]主要參數
-n:由第一行開始對所有輸出的行數編號。
-b:和-n相似,只不過對於空白行不編號。
-s:當遇到有連續兩行以上的空白行時,就代換為一行的空白行。
4.應用舉例
(1)cat命令一個最簡單的用處是顯示文本文件的內容。例如,我們想在命令行看一下README文件的內容,可以使用命令:
$ cat README
(2)有時需要將幾個文件處理成一個文件,並將這種處理的結果保存到一個單獨的輸出文件。cat命令在其輸入上接受一個或多個文件,並將它們作為一個單獨的文件列印到它的輸出。例如,把README和INSTALL的文件內容加上行號(空白行不加)之後,將內容附加到一個新文本文件File1 中:
$ cat README INSTALL File1
(3)cat還有一個重要的功能就是可以對行進行編號,見圖2所示。這種功能對於程序文檔的編制,以及法律和科學文檔的編制很方便,列印在左邊的行號使得參考文檔的某一部分變得容易,這些在編程、科學研究、業務報告甚至是立法工作中都是非常重要的。
圖2 使用cat命令/etc/named.conf文件進行編號
對行進行編號功能有-b(只能對非空白行進行編號)和-n(可以對所有行進行編號)兩個參數:
$ cat -b /etc/named.conf
ln
1.作用
ln命令用來在文件之間創建鏈接,它的使用許可權是所有用戶。
2.格式
ln [options] 源文件 [鏈接名]
3.參數
-f:鏈結時先將源文件刪除。
-d:允許系統管理者硬鏈結自己的目錄。
-s:進行軟鏈結(Symbolic Link)。
-b:將在鏈結時會被覆蓋或刪除的文件進行備份。
鏈接有兩種,一種被稱為硬鏈接(Hard Link),另一種被稱為符號鏈接(Symbolic Link)。默認情況下,ln命令產生硬鏈接。
硬連接指通過索引節點來進行的連接。在Linux的文件系統中,保存在磁碟分區中的文件不管是什麼類型都給它分配一個編號,稱為索引節點號(Inode Index)。在Linux中,多個文件名指向同一索引節點是存在的。一般這種連接就是硬連接。硬連接的作用是允許一個文件擁有多個有效路徑名,這樣用戶就可以建立硬連接到重要文件,以防止「誤刪」的功能。其原因如上所述,因為對應該目錄的索引節點有一個以上的連接。只刪除一個連接並不影響索引節點本身和其它的連接,只有當最後一個連接被刪除後,文件的數據塊及目錄的連接才會被釋放。也就是說,文件才會被真正刪除。
與硬連接相對應,Lnux系統中還存在另一種連接,稱為符號連接(Symbilc Link),也叫軟連接。軟鏈接文件有點類似於Windows的快捷方式。它實際上是特殊文件的一種。在符號連接中,文件實際上是一個文本文件,其中包含的有另一文件的位置信息。
動手聯系
上面我們介紹了Linux文件處理命令,下面介紹幾個實例,大家可以動手練習一下剛才講過的命令。
1.利用符號鏈接快速訪問關鍵目錄
符號鏈接是一個非常實用的功能。假設有一些目錄或文件需要頻繁使用,但由於Linux的文件和目錄結構等原因,這個文件或目錄在很深的子目錄中。比如, Apache Web伺服器文檔位於系統的/usr/local/httpd/htdocs中,並且不想每次都要從主目錄進入這樣一個長的路徑之中(實際上,這個路徑也非常不容易記憶)。
為了解決這個問題,可以在主目錄中創建一個符號鏈接,這樣在需要進入該目錄時,只需進入這個鏈接即可。
為了能方便地進入Web伺服器(/usr/local/httpd/htdocs)文檔所在的目錄,在主目錄下可以使用以下命令:
$ ln -s /usr/local/httpd/htdocs gg
這樣每次進入gg目錄就可訪問Web伺服器的文檔,以後如果不再訪問Web伺服器的文檔時,刪除gg即可,而真正的Web伺服器的文檔並沒有刪除。
2.使用dd命令將init.rd格式的root.ram內容導入內存
dd if=/dev/fd0 of=floppy.fd
dd if=root.ram of=/dev/ram0 #
3.grep命令系統調用
grep是Linux/Unix中使用最廣泛的命令之一,許多Linux系統內部都可以調用它。
(1)如果要查詢目錄列表中的目錄,方法如下:
$ ls -l | grep '∧d'
(2)如果在一個目錄中查詢不包含目錄的所有文件,方法如下:
$ ls -l | grep '∧[∧d]'
(3)用find命令調用grep,如所有C源代碼中的「Chinput」,方法如下:
$find /ZhXwin -name *.c -exec grep -q -s Chinput {} \\;-print