linux xargs 命令及argument list too long 的处理方法

作者:佚名 上传时间:2019-04-20 版权申诉

xargs是给命令传递参数的一个过滤器,也是组合多个命令的一个工具。它把一个数据流分割为一些足够小的块,以方便过滤器和命令进行处理。通常情况下,xargs从管道或者stdin中读取数据,但是它也能够从文件的输出中读取数据。xargs的默认命令是echo,这意味着通过管道传递给xargs的输入将会包含换行和空白,不过通过xargs的处理,换行和空白将被空格取代。

1. 当你尝试用rm 删除太多的文件,你可能得到一个错误信息:/bin/rm Argument list too long. 用xargs 去避免这个问题

find ~ -name ‘*.log’ -print0 | xargs -0 rm -f

2. 获得/etc/ 下所有*.c 结尾的文件列表,有几种不同的方法能得到相同的结果,下面的例子仅仅是示范怎么实用xargs ,在这个例子中实用 xargs将find 命令的输出传递给ls -l

# find /etc -name "*.c" | xargs ls –l

3. 假如你有一个文件包含了很多你希望下载的URL, 你能够使用xargs 下载所有链接

# cat list.txt | xargs wget –c

4. 查找所有的jpg 文件,并且压缩它

# find / -name *.jpg -type f -print | xargs tar -cvzf images.tar.gz

5. 原因是:一个文件夹下文件太多,使用rm删除就会出现/bin/rm: Argument list too long错误,当然使用别的命令也是一样的错误,像ls,chmod等。

解决方法:
1:
ls | xargs -n 10 rm -fr ls
就解决了,这句解释为:输出所有的文件名(用空格分割) xargs就是将ls的输出,每10个为一组(以空格为分隔符),作为rm -rf的参数也就是说将所有文件名10个为一组,由rm -rf删除,这样就不会超过命令行的长度了.

2:find . -maxdepth 1 -name "*.sh" -type f -exec rm -f {} \;

用 find  命令在当前目录查找,然后用exec命令执行


办法就是使用 find命令内置的 "-delete" 参数 ,使用这种方法删除文件,速度大概是 2000个文件/秒,速度比之前方法得到极大提高。当然也可以加上 "-print"参数来显示每个删除的文件。

find . -type f -delete

find . -type d -print -delete

但是我不建议加这个参数,如果你要观察删除文件的速度,我建议使用 df -i 命令来查看indoe节点的变化情况。





移动7天前的备份文件

0 0 * * * find /root/backup -mtime +3 -name "*.gz"  | xargs -I {} mv {} /opt/backup



本文转自 Tenderrain 51CTO博客,原文链接:http://blog.51cto.com/tenderrain/1916885

免责申明:文章和图片全部来源于公开网络,如有侵权,请通知删除 server@dude6.com

用户评论

wangyuchen739 2019-03-27 01:07:35

支持,写的非常详细,我想直接用Raspberry Pi设备部署,价格也不高,不知是否可行呢?

sunnygaolei 2019-03-27 01:07:35

支持,写的非常详细,我想直接用Raspberry Pi设备部署,价格也不高,不知是否可行呢?

相关推荐
linux xargs 命令argument list too long 处理方法
xargs是给命令传递参数的一个过滤器,也是组合多个命令的一个工具。它把一个数据流分割为一些足够小的块,以方便过滤器和命令进行处理。通常情况下,xargs从管道或者stdin中读取数据,但是
linux xargs 命令argument list too long 处理方法
xargs是给命令传递参数的一个过滤器,也是组合多个命令的一个工具。它把一个数据流分割为一些足够小的块,以方便过滤器和命令进行处理。通常情况下,xargs从管道或者stdin中读取数据,但是
处理aix The parameter list is too long
NULL 博文链接:https://jlins.iteye.com/blog/839575
RAR
56KB
2020-12-31 17:47
Argument list too long错误 /dev/null
1。   1>   /dev/null   表示将命令的标准输出重定向到              /dev/null 2>/dev/null
"Argument list too long": Beyond Arguments and Limitations
Four approaches to getting around argument length limitations on the command line.
argument list too long错误解决
xargs是给命令传递参数的一个过滤器,也是组合多个命令的一个工具。它把一个数据流分割为一些足够小的块,以方便过滤器和命令进行处理。通常情况下,xargs从管道或者stdin中读取数
Argument list too long”错误解决方法汇总
这篇文章是回复前几天在论坛一个朋友提出的问题,今天有空,整理了一下,发布出来,供大家参考! 当Linux下试图传递太多参数给一个系统命令(ls *; cp *; rm *; cat
Linux下执行'ls'命令时遇到'Argument list too long'错误怎么办?
当在Linux终端执行'ls'命令时,如果当前目录中包含太多文件或者文件名过长,可能会导致'Argument list too long'错误。这是由于命令行参数过多,超过了系统限制所导致的。为了解决
Linux
Linux
2023-11-13 04:34
Linuxxargs命令详解xargs与管道区别
在工作中经常会接触到xargs命令,特别是在别人写的脚本里面也经常会遇到,但是却很容易与管道搞混淆,本篇会详细讲解到底什么是xargs命令,为什么要用xargs命令以及与管道的区别,本文通过实例给大家
PDF
82KB
2020-09-21 09:40
在Shell中使用grep命令时遇到“grep: Argument list too long”错误
这个错误是由于命令行参数列表过长,超出了系统的限制导致的。当你在Shell中使用grep命令搜索一个大型目录时,可能会涉及到大量的文件,导致命令行参数列表变得非常长。这个问题可以通过使用find命令
Not applicable
Shell
2023-11-15 16:41