Linux下詳解xargs命令并對比與管道的區(qū)別

為什么要用xargs，問題的來源

在工作中經(jīng)常會(huì)接觸到xargs命令，特別是在別人寫的腳本里面也經(jīng)常會(huì)遇到，但是卻很容易與管道搞混淆，本篇會(huì)詳細(xì)講解到底什么是xargs命令，為什么要用xargs命令以及與管道的區(qū)別。為什么要用xargs呢，我們知道，linux命令可以從兩個(gè)地方讀取要處理的內(nèi)容，一個(gè)是通過命令行參數(shù)，一個(gè)是標(biāo)準(zhǔn)輸入。例如cat、grep就是這樣的命令，舉個(gè)例子：

echo?'main'?|?cat?test.cpp

這種情況下cat會(huì)輸出test.cpp的內(nèi)容，而不是’main’字符串，如果test.cpp不存在則cat命令報(bào)告該文件不存在，并不會(huì)嘗試從標(biāo)準(zhǔn)輸入中讀取。echo ‘main’ | 會(huì)通過管道將 echo 的標(biāo)準(zhǔn)輸出(也就是字符串’main’)導(dǎo)入到 cat 的標(biāo)準(zhǔn)輸入，也就是說此時(shí)cat的標(biāo)準(zhǔn)輸入中是有內(nèi)容的，其內(nèi)容就是字符串’main’但是上面的內(nèi)容中cat不會(huì)從它的標(biāo)準(zhǔn)輸入中讀入要處理的內(nèi)容。(注:標(biāo)準(zhǔn)輸入是有一個(gè)緩沖區(qū)的，就像我們在程序中使用scanf函數(shù)從標(biāo)準(zhǔn)輸入中讀取一樣，實(shí)際上是從標(biāo)準(zhǔn)輸入的緩沖區(qū)中讀取的)。其實(shí)基本上linux的命令中很多的命令的設(shè)計(jì)是先從命令行參數(shù)中獲取參數(shù)，然后從標(biāo)準(zhǔn)輸入中讀取，反映在程序上，命令行參數(shù)是通過main函數(shù)的 int main(int argc,char*argv[]) 函數(shù)參數(shù)獲得的，而標(biāo)準(zhǔn)輸入則是通過標(biāo)準(zhǔn)輸入函數(shù)例如C語言中的scanf讀取到的。他們獲取的地方是不一樣的。例如：

echo?'main'?|?cat

這條命令會(huì)中cat會(huì)從其標(biāo)準(zhǔn)輸入中讀取內(nèi)容并處理，也就是會(huì)輸出 ‘main’ 字符串。echo命令將其標(biāo)準(zhǔn)輸出的內(nèi)容 ‘main’ 通過管道定向到 cat 的標(biāo)準(zhǔn)輸出中。

cat

如果僅僅輸入cat并回車，則該程序會(huì)等待輸入，我們需要從鍵盤輸入要處理的內(nèi)容給cat，此時(shí)cat也是從標(biāo)準(zhǔn)輸入中得到要處理的內(nèi)容的，因?yàn)槲覀兊腸at命令行中也沒有指定要處理的文件名。大多數(shù)命令有一個(gè)參數(shù) ?– ?如果直接在命令的最后指定 – ?則表示從標(biāo)準(zhǔn)輸入中讀取，

例如：

echo?'main'?|?cat?-

這樣也是可行的，會(huì)顯示 ‘main’ 字符串，同樣輸入 cat – 直接回車與輸入 cat 直接回車的效果也一樣，但是如果這樣呢：

echo?'main'?|?cat?test.cpp?-

同時(shí)指定test.cpp 和 – 參數(shù)，此時(shí)cat程序還是會(huì)顯示test.cpp的內(nèi)容。但是有一個(gè)程序的策略則不同，它是grep，例如：

echo?'main'?|?grep?'main'?test.cpp?-

該命令的輸出結(jié)果是:

test.cpp:int?main()  (standard?input):main

此時(shí)grep會(huì)同時(shí)處理標(biāo)準(zhǔn)輸入和文件test.cpp中的內(nèi)容，也就是說會(huì)在標(biāo)準(zhǔn)輸入中搜索 ‘main’ 也會(huì)在文件 test.cpp (該文件名從grep命令行參數(shù)中獲得)中搜索 ‘main’。也就是說當(dāng)命令行中 test.cpp 和 – 兩個(gè)參數(shù)同時(shí)存在的時(shí)候，不同的程序處理不同。我們看到了cat與grep處理就不同。但是有一點(diǎn)是一樣的 ?首先在命令行中查找要處理的內(nèi)容的來源(是從文件還是從標(biāo)準(zhǔn)輸入，還是都有)，如果在命令行中找不到與要處理的內(nèi)容的來源相關(guān)的參數(shù)則默認(rèn)從標(biāo)準(zhǔn)

輸入中讀取要處理的內(nèi)容了。

另外很多程序是不處理標(biāo)準(zhǔn)輸入的，例如 kill , rm 這些程序如果命令行參數(shù)中沒有指定要處理的內(nèi)容則不會(huì)默認(rèn)從標(biāo)準(zhǔn)輸入中讀取。所以：

echo?'516'?|?kill

這種命里是不能執(zhí)行的。

echo?'test'?|?rm?-f

這種也是沒有效果的。

這兩個(gè)命令只接受命令行參數(shù)中指定的處理內(nèi)容，不從標(biāo)準(zhǔn)輸入中獲取處理內(nèi)容。想想也很正常，kill 是結(jié)束進(jìn)程，rm是刪除文件，如果要結(jié)束的進(jìn)程pid和要?jiǎng)h除的文件名需要

從標(biāo)準(zhǔn)輸入中讀取，這個(gè)也很怪異吧。 但是像 cat與grep這些文字處理工具從標(biāo)準(zhǔn)輸入中讀取待處理的內(nèi)容則很自然。

但是有時(shí)候我們的腳本卻需要 echo ‘516’ | kill 這樣的效果，例如 ps -ef | grep ‘ddd’ | kill 這樣的效果，篩選出符合某條件的進(jìn)程pid然后結(jié)束。這種需求對于我們來說是理所當(dāng)然而且是很常見的，那么應(yīng)該怎樣達(dá)到這樣的效果呢。有幾個(gè)解決辦法：

1. 通過

kill?`ps?-ef?|?grep?'ddd'`

這種形式，這個(gè)時(shí)候?qū)嶋H上等同于拼接字符串得到的命令，其效果類似于 ?kill $pid

2.

for?procid?in?$(ps?-aux?|?grep?"some?search"?|?awk?'{print?$2}');?do?kill?-9?$procid;?done

其實(shí)與第一種原理一樣，只不過需要多次kill的時(shí)候是循環(huán)處理的，每次處理一個(gè)

3.

?ps?-ef?|?grep?'ddd'?|?xargs?kill

OK，使用了xargs命令，鋪墊了這么久終于鋪到了主題上。xargs命令可以通過管道接受字符串，并將接收到的字符串通過空格分割成許多參數(shù)(默認(rèn)情況下是通過空格分割) 然后將參數(shù)傳遞給其后面的命令，作為后面命令的命令行參數(shù)

xargs是什么，與管道有什么不同

xargs與管道有什么不同呢，這是兩個(gè)很容易混淆的東西，看了上面的xargs的例子還是有點(diǎn)云里霧里的話，我們來看下面的例子弄清楚為什么需要xargs：

echo ‘–help’ | cat?

輸出：

–help

echo ‘–help’ | xargs cat?

輸出：

Usage: cat [OPTION]… [FILE]…

Concatenate FILE(s), or standard input, to standard output.

?-A, –show-all ? equivalent to -vET

?-b, –number-nonblank number nonempty output lines

?-e ? ? ?equivalent to -vE

?-E, –show-ends ? display $ at end of each line

?-n, –number ? ?number all output lines

?-s, –squeeze-blank ?suppress repeated empty output lines

?-t ? ? ?equivalent to -vT

?-T, –show-tabs ? display TAB characters as ^I

?-u ? ? ?(ignored)

?-v, –show-nonprinting use ^ and M- notation, except for LFD and TAB

? –help ?display this help and exit

? –version output version information and exit

可以看到 echo ‘–help’ | cat ? 該命令輸出的是echo的內(nèi)容，也就是說將echo的內(nèi)容當(dāng)作cat處理的文件內(nèi)容了，實(shí)際上就是echo命令的輸出通過管道定向到cat的輸入了。然后cat從其標(biāo)準(zhǔn)輸入中讀取待處理的文本內(nèi)容。這等價(jià)于在test.txt文件中有一行字符 ‘–help’ 然后運(yùn)行 ?cat test.txt 的效果。

而 echo ‘–help’ | xargs cat 等價(jià)于 cat –help 什么意思呢，就是xargs將其接受的字符串 –help 做成cat的一個(gè)命令參數(shù)來運(yùn)行cat命令，同樣 ?echo ‘test.c test.cpp’ | xargs cat 等價(jià)于 cat test.c test.cpp 此時(shí)會(huì)將test.c和test.cpp的內(nèi)容都顯示出來。

xargs的一些有用的選項(xiàng)

相信到這里應(yīng)該都知道xargs的作用了，那么我們看看xargs還有一些有用的選項(xiàng)：

1. -d 選項(xiàng)

默認(rèn)情況下xargs將其標(biāo)準(zhǔn)輸入中的內(nèi)容以空白(包括空格、Tab、回車換行等)分割成多個(gè)之后當(dāng)作命令行參數(shù)傳遞給其后面的命令，并運(yùn)行之，我們可以使用 -d 命令指定分隔符，例如：

echo?'11@22@33'?|?xargs?echo

輸出：

11@22@33

默認(rèn)情況下以空白分割，那么11@22@33這個(gè)字符串中沒有空白，所以實(shí)際上等價(jià)于 echo 11@22@33 其中字符串 ’11@22@33′ 被當(dāng)作echo命令的一個(gè)命令行參數(shù)

echo?'11@22@33'?|?xargs?-d?'@'?echo

輸出：

11?22?33

指定以@符號(hào)分割參數(shù)，所以等價(jià)于 echo 11 22 33 相當(dāng)于給echo傳遞了3個(gè)參數(shù)，分別是11、22、33

2. -p 選項(xiàng)

使用該選項(xiàng)之后xargs并不會(huì)馬上執(zhí)行其后面的命令，而是輸出即將要執(zhí)行的完整的命令(包括命令以及傳遞給命令的命令行參數(shù))，詢問是否執(zhí)行，輸入 y 才繼續(xù)執(zhí)行，否則不執(zhí)行。這種方式可以清楚的看到執(zhí)行的命令是什么樣子，也就是xargs傳遞給命令的參數(shù)是什么，例如：

echo?'11@22@33'?|?xargs?-p?-d?'@'?echo

輸出：

echo?11?22?33

??…y ? ? ?==>這里詢問是否執(zhí)行命令 echo 11 22 33 輸入y并回車，則顯示執(zhí)行結(jié)果，否則不執(zhí)行

?11 22 33 ? ==>執(zhí)行結(jié)果

3. -n 選項(xiàng)

該選項(xiàng)表示將xargs生成的命令行參數(shù)，每次傳遞幾個(gè)參數(shù)給其后面的命令執(zhí)行，例如如果xargs從標(biāo)準(zhǔn)輸入中讀入內(nèi)容，然后以分隔符分割之后生成的命令行參數(shù)有10個(gè)，使用 -n 3 之后表示一次傳遞給xargs后面的命令是3個(gè)參數(shù)，因?yàn)橐还灿?0個(gè)參數(shù)，所以要執(zhí)行4次，才能將參數(shù)用完。例如：

echo?'11@22@33@44@55@66@77@88@99@00'?|?xargs?-d?'@'?-n?3?echo

輸出結(jié)果：

11?22?33  44?55?66  77?88?99  00

等價(jià)于：

echo 11 22 33

echo 44 55 66

echo 77 88 99

echo 00

實(shí)際上運(yùn)行了4次，每次傳遞3個(gè)參數(shù)，最后還剩一個(gè)，就直接傳遞一個(gè)參數(shù)。

4. -E 選項(xiàng)，有的系統(tǒng)的xargs版本可能是-e ?eof-str

該選項(xiàng)指定一個(gè)字符串，當(dāng)xargs解析出多個(gè)命令行參數(shù)的時(shí)候，如果搜索到-e指定的命令行參數(shù)，則只會(huì)將-e指定的命令行參數(shù)之前的參數(shù)(不包括-e指定的這個(gè)參數(shù))傳遞給xargs后面的命令

echo?'11?22?33'?|?xargs?-E?'33'?echo

輸出：

11?22

可以看到正常情況下有3個(gè)命令行參數(shù) 11、22、33 由于使用了-E ’33’ 表示在將命令行參數(shù) 33 之前的參數(shù)傳遞給執(zhí)行的命令，33本身不傳遞。等價(jià)于 echo 11 22 這里-E實(shí)際上有搜索的作用，表示只取xargs讀到的命令行參數(shù)前面的某些部分給命令執(zhí)行。

注意：-E只有在xargs不指定-d的時(shí)候有效，如果指定了-d則不起作用，而不管-d指定的是什么字符，空格也不行。

echo ’11 22 33′ | xargs -d ‘ ‘ -E ’33’ echo => 輸出 11 22 33

echo ’11@22@33@44@55@66@77@88@99@00 aa 33 bb’ | xargs -E ’33’ -d ‘@’ -p echo => 輸出 11 22 33 44 55 66 77 88 99 00 aa 33 bb

## -0 選項(xiàng)表示以 ‘