linux批量操作時(shí)提示Argument list too long解決方法

第一種情況:
在實(shí)際使用過(guò)程中,若一個(gè)目錄下文件或文件夾太多,在執(zhí)行“*” 命令時(shí) 會(huì)提示Argument list too long,如rm -rf /tmp/*命令下。
解決方案:
ls | xargs n 10 rm rf ls
SSH執(zhí)行以上命令,輸出所有的文件名(用空格分割) xargs就是將ls的輸出,每10個(gè)為一組(以空格為分隔符),作為rm rf的參數(shù) 也就是說(shuō)將所有文件名10個(gè)為一組,由rm rf刪除。
第二種情況:
rm、cp、mv是unix下面常用到的檔案處理指令,當(dāng)我們需要?jiǎng)h除大量的log檔案,如果檔案數(shù)太多就會(huì)出現(xiàn)此訊息【/bin/rm: Argument list too long】
解決方式如下:
例如要?jiǎng)h除 /tmp/*.log
則執(zhí)行【ls /tmp/*.log | xargs rm -f】這樣就可以蘿^__^,其他cp,mv同理!
第三種情況:
今日需要?jiǎng)h除/tmp目錄下的所有文件,文件數(shù)量比較多。
ls -lt /tmp | wc -l 385412
使用 rm *
后,系統(tǒng)提示錯(cuò)誤 Argument list too long
原因是在linux下,試圖傳太多參數(shù)給一個(gè)系統(tǒng)命令(ls *; cp *; rm *; cat *; etc..)時(shí),就會(huì)出現(xiàn) Argument list too long錯(cuò)誤。
解決方法如下:
使用find -exec 遍歷,然后執(zhí)行刪除便可。
sudo find /tmp -type f -exec rm {} \;
在linux中刪除大量文件時(shí),直接用rm會(huì)出現(xiàn):-bash: /bin/rm: 參數(shù)列表過(guò)長(zhǎng),的錯(cuò)誤。
這時(shí)可以用find命令來(lái)結(jié)合使用。
例:
1、rm * -rf 改為:
find . -name "*" | xargs rm -rf '*' 就行了。
2、rm test* -rf 改為:
find . -name "test*" | xargs rm -rf "test*"
mv時(shí)報(bào)參數(shù)列表過(guò)長(zhǎng),
for i in *.m;do mv $i ${i%.m};done
于是求助于google,探索過(guò)程就省略了,直接說(shuō)解決方法吧:
ls dir1 | xargs -t -I {} mv {} dir2/{}
這里的一對(duì)大括號(hào)是原文給的例子里用的,后來(lái)看了參數(shù)的用法,其實(shí)那對(duì)大括號(hào)是可以用任意字符串替換的,比如:
ls dir1 | xargs -t -I asdf mv asdf dir2/asdf
效果和大括號(hào)那一版是完全一樣的,就是看起來(lái)有點(diǎn)兒不嚴(yán)肅。
需要說(shuō)明的是,上面xargs的第二個(gè)參數(shù),是大寫(xiě)的i,讀作”愛(ài)“的那個(gè)字母,不是小寫(xiě)的L。至于參數(shù)的含義嘛,我忘了。
Linux下 報(bào)錯(cuò)“命令參數(shù)列表過(guò)長(zhǎng)”,在用mv命令一次移動(dòng)3萬(wàn)多個(gè)文件時(shí)失敗了,原始命令類似這樣:”mv $(ls dir1) dir2“。錯(cuò)誤提示的中心思想是:”你這參數(shù)也太TM多了吧“。
按照LZ想法大概可以這么做:find /dir1/ -maxdepth 1 | xargs -i mv {} /dir2/
如果參數(shù)過(guò)長(zhǎng),使用tar比較簡(jiǎn)單
tar -C /dir1/ -cf - . | tar -xf - -C /dir2/
于是求助于google,探索過(guò)程就省略了,直接說(shuō)解決方法吧:
ls dir1 | xargs -t -I {} mv {} dir2/{}
這里的一對(duì)大括號(hào)是原文給的例子里用的,后來(lái)看了參數(shù)的用法,其實(shí)那對(duì)大括號(hào)是可以用任意字符串替換的,比如:
ls dir1 | xargs -t -I asdf mv asdf dir2/asdf
效果和大括號(hào)那一版是完全一樣的,就是看起來(lái)有點(diǎn)兒不嚴(yán)肅。
需要說(shuō)明的是,上面xargs的第二個(gè)參數(shù),是大寫(xiě)的i,讀作”愛(ài)“的那個(gè)字母,不是小寫(xiě)的L。至于參數(shù)的含義嘛,我忘了。
另外4種方法
作為一個(gè)linux用戶/系統(tǒng)管理員, 有些時(shí)候你會(huì)遇到以下錯(cuò)誤提示:
[user@localhost foo]$ mv * ../foo2
bash: /bin/mv: Argument list too long
“Argument list too long”參數(shù)列表過(guò)長(zhǎng)錯(cuò)誤經(jīng)常發(fā)生在用戶在一行簡(jiǎn)單命令中提供了過(guò)多的參數(shù)而導(dǎo)致,經(jīng)常在ls *, cp *, rm * 等中出現(xiàn)。
根據(jù)問(wèn)題的原因以下提供了四種方法,可以根據(jù)自己的情況酌情選用
方法1 : 將文件群手動(dòng)劃分為比較小的組合
e.g 1:
[user@localhost foo]$ mv [a-l]* ../foo2
[user@localhost foo]$ mv [m-z]* ../foo2
這是最基本的方法,只是簡(jiǎn)單的使參數(shù)數(shù)量符合要求,這種方法應(yīng)用范圍有限,只適用于文件列表中的名字分布比較均勻,另外這也是個(gè)初級(jí)用戶可以考慮的解決方案,不過(guò)需要很多重復(fù)命令和對(duì)文件名分布的觀察與猜測(cè)。
方法2 : 使用find命令
e.g 2:
[user@localhost foo]$ find $foo -type f -name '*' -exec mv {}$foo2/. \;
方法2通過(guò)find命令,將文件清單輸出到mv命令,使其一次處理一個(gè),這樣就完全避免了過(guò)量參數(shù)的存在,另外通過(guò)不同的參數(shù),可以指定除了名稱以外的時(shí)間戳,權(quán)限,以及inode等匹配模式。
方法2的缺點(diǎn)在于比較耗費(fèi)時(shí)間。
方法3 : 創(chuàng)建shell函數(shù)
e.g 3.1:
function huge_mv ()
{whileread line1; do
mv foo/$line1 ../foo2
done
}
ls -1 foo/ | huge_mv
寫(xiě)一個(gè)shell函數(shù)并不涉及到某種程度的復(fù)雜性, 這種方法比方法1和方法2相比更加靈活。
下面我們來(lái)擴(kuò)展一下例3.1 :
e.g 3.2:
function huge_mv () {whileread line1; do md5sum foo/$line1 >> ~/md5sums ls -l foo/$line1 >> ~/backup_list mv foo/$line1 ../foo2 done } ls -1 foo/ | huge_mv
相比例3.1,例3.2生成了文件的md校驗(yàn)散列文件和名字備份,符合給自己留條后路的哲學(xué)。
另外可以根據(jù)自己的需要無(wú)限制的擴(kuò)展功能。
方法4 : 終極解決方案,重新編譯內(nèi)核
首先使用這個(gè)方案之前要謹(jǐn)慎,因?yàn)樯婕暗叫薷膬?nèi)核源代碼,在生產(chǎn)環(huán)境中還是要斟酌一下并做好測(cè)試。
另外,這個(gè)方法是從根本上解決的,一勞永逸的
這也是開(kāi)放源碼的好處之一
首先在內(nèi)核源碼中找到 include/linux/binfmts.h文件 ,搜索到以下字段:
/*
* MAX_ARG_PAGES defines the number of pages allocated for arguments
* and envelope for the new program. 32 should suffice, this gives
* a maximum env+arg of 128kB w/4KB pages!
*/
#define MAX_ARG_PAGES 32
修改 MAX_ARG_PAGES數(shù)值為 64 或者更高即可完善的解決參數(shù)受限問(wèn)題。
然后 重新編譯并啟用新內(nèi)核即可。
相關(guān)文章
Fedora Linux 42 穩(wěn)定版發(fā)布: 帶來(lái)大量新功能和軟件更新
Fedora 42昨日發(fā)布,這是 Red Hat 贊助開(kāi)發(fā)的杰出前沿 Linux 發(fā)行版的最新版,包含大量新功能和軟件更新,使其成為 2025 年上半年發(fā)布的一款出色的 Linux 操作系統(tǒng)之一,內(nèi)2025-04-16如何在Linux查看硬盤信息? 查看Linux硬盤大小類型和硬件信息的5種方法
使用Linux系統(tǒng)的過(guò)程中,查看和了解硬盤信息是非常重要的工作,尤其是對(duì)于系統(tǒng)管理員而言,那么在Linux系統(tǒng)中如何查看硬盤信息?以下是具體內(nèi)容介紹2025-03-12如何在 Linux 中查看 CPU 詳細(xì)信息? 3招輕松查看CPU型號(hào)、核心數(shù)和溫度
在日常運(yùn)維工作中,獲取 CPU 信息是系統(tǒng)運(yùn)維管理員常見(jiàn)的工作內(nèi)容,無(wú)論是為了性能調(diào)優(yōu)、硬件升級(jí)還是僅僅滿足好奇心2025-03-11什么是 Arch Linux? 獨(dú)樹(shù)一幟的Arch Linux發(fā)行版分析
Arch Linux是為簡(jiǎn)化,優(yōu)化,現(xiàn)代化,實(shí)用主義,用戶中心和多功能性而創(chuàng)建Linux發(fā)行版,究竟是什么讓 Arch 與眾不同?下面我們就來(lái)簡(jiǎn)要解讀2025-02-19如何在Linux環(huán)境下制作 Win11裝機(jī)U盤?
一直用的linux辦公,想要將筆記本電腦從 Linux 系統(tǒng)切換回 Windows 11,我們可以制作一個(gè)win11裝機(jī)u盤,詳細(xì)如下2025-02-17Rsnapshot怎么用? 基于Rsync的強(qiáng)大Linux備份工具使用指南
Rsnapshot 不僅可以備份本地文件,還能通過(guò) SSH 備份遠(yuǎn)程文件,接下來(lái)詳細(xì)介紹如何安裝、配置和使用 Rsnapshot,包括創(chuàng)建每小時(shí)、每天、每周和每月的本地備份,以及如何進(jìn)2025-02-06Linux Kernel 6.13發(fā)布:附更新內(nèi)容及新特性解讀
Linux 內(nèi)核 6.13 正式發(fā)布,新版本引入了惰性搶占支持,簡(jiǎn)化內(nèi)核搶占邏輯,通過(guò)減少與調(diào)度器相關(guān)的調(diào)用次數(shù),讓內(nèi)核在運(yùn)行時(shí)表現(xiàn)更優(yōu),從而提高效率2025-01-23五大特性引領(lǐng)創(chuàng)新! 深度操作系統(tǒng) deepin 25 Preview預(yù)覽版發(fā)布
今日,深度操作系統(tǒng)正式推出deepin 25 Preview版本,該版本集成了五大核心特性:磐石系統(tǒng)、全新DDE、Treeland窗口合成器、AI For OS以及Distrobox子系統(tǒng)2025-01-18Linux Mint Xia 22.1重磅發(fā)布: 重要更新一覽
Beta 版 Linux Mint“Xia” 22.1 發(fā)布,新版本基于 Ubuntu 24.04,內(nèi)核版本為 Linux 6.8,這次更新帶來(lái)了諸多優(yōu)化和改進(jìn),進(jìn)一步鞏固了 Mint 在 Linux 桌面操作系統(tǒng)領(lǐng)域的2025-01-16LinuxMint怎么安裝? Linux Mint22下載安裝圖文教程
Linux Mint22發(fā)布以后,有很多新功能,很多朋友想要下載并安裝,該怎么操作呢?下面我們就來(lái)看看詳細(xì)安裝指南2025-01-16