gnu parallel_使用GNU Parallel在Linux命令行上完成更多工作

gnu parallel

您是否曾经获得过一种有趣的感觉，那就是您的计算机并没有达到应有的速度？我曾经有这种感觉，然后我找到了GNU Parallel。

GNU Parallel是用于并行执行作业的Shell实用程序。它可以解析多个输入，从而针对数据集同时运行脚本或命令。您最终可以使用所有 CPU！

如果您曾经使用过xargs ，那么您已经知道如何使用Parallel。如果您不这样做，那么本文将教您以及许多其他用例。

并行安装GNU

您的Linux或BSD计算机上可能未预安装GNU Parallel。从您的存储库或端口集合安装它。例如，在Fedora上：

$ sudo dnf install parallel

或在NetBSD上：

# pkg_add parallel

如果其他所有方法均失败，请参考项目主页。

`从串行到并行`

顾名思义，Parallel的优势在于它并行运行作业，而不是像我们中许多人一样依次运行作业。

当对多个对象运行一个命令时，本质上是在创建队列。该命令可以处理一定数量的对象，而所有其他对象只是站着等待它们的转弯。效率低下。给定足够的数据，总会有一个队列，但是为什么不只有一个队列，却为什么不拥有很多小队列呢？

假设您有一个文件夹，其中包含要从JPEG转换为PNG的图像。有很多方法可以做到这一点。有手动的方式可以在GIMP中打开每个图像并将其导出为新格式。这通常是最糟糕的方法。这不仅费时，而且很费力。

基于此主题的外壳程序是一个非常简洁的变体：

$ convert 001.jpeg 001.png

        $ convert 002.jpeg 002.png

        $ convert 003.jpeg 003.png

        ... and so on ...

初学时这是一个绝妙的技巧，一开始它是一个巨大的进步。无需GUI和持续单击。但是它仍然是劳动密集型的。

更好的是：

$ for i in *jpeg; do convert $i $i.png ; done

至少，这可以使工作动起来，并使您腾出更多精力来做更有生产力的事情。问题是，它仍然是一个串行过程。一幅图像被转换，然后队列中的下一幅图像逐步转换，依此类推，直到清空队列。

使用并行：

$ find . -name "*jpeg" | parallel -I% --max-args 1 convert % %.png

这是两个命令的组合： find命令（收集要操作的对象）和parallel命令（对对象进行排序，并确保按需处理所有内容）。

find . -name "*jpeg" find . -name "*jpeg"查找当前目录中所有以jpeg结尾的文件。
parallel调用GNU Parallel。
-I%创建了一个占位符，称为% ，以代替任何find到并行手中。之所以使用它，是因为否则必须为find每个结果手动编写一个新命令，而这正是您要避免的事情。
--max-args 1限制Parallel从队列中请求新对象的速率。由于运行Parallel的命令仅需要一个文件，因此将速率限制为1。如果您执行的是更复杂的命令，需要两个文件（例如cat 001.txt 002.txt > new.txt ），那么您将限制速率至2。
convert % %.png是要并行运行的命令。

该命令的结果是find收集所有相关文件并将其移交给parallel ，这将启动作业并立即请求下一个内联文件。只要可以安全地启动新作业而不会损坏计算机，Parallel就会继续执行此操作。旧工作完成后，它将用新工作替换，直到处理完提供给它的所有数据为止。在使用Parallel之前，需要10分钟的时间可能只需要5或3。

多个输入

只要您熟悉find和xargs （统称为GNU Find Utilities或findutils ）， find命令就是通往Parallel的绝佳网关。它提供了一个灵活的界面，许多Linux用户已经熟悉了该界面，如果您是新手，则非常容易学习。

find命令非常简单：为find提供要搜索目录的路径以及要搜索的文件名的一部分。使用通配符将您的网络覆盖更广；在此示例中，星号表示任何内容 ，因此find查找以字符串searchterm结尾的所有文件：

$ find /path/to/directory -name "*searchterm"

默认情况下， find返回一项搜索结果，每行一项：

$ find ~/graphics -name "*jpg"

        /home/seth/graphics/001.jpg

        /home/seth/graphics/cat.jpg

        /home/seth/graphics/penguin.jpg

        /home/seth/graphics/IMG_0135.jpg

当将find的结果通过管道传递给parallel ，每一行中的每一项都被视为parallel正在仲裁的命令的一个参数。另一方面，如果您需要在一个命令中处理多个参数，则可以拆分将队列中的数据移交给parallel 。

这是一个简单的，不现实的示例，稍后我将把它变成更有用的示例。只要安装了GNU Parallel，就可以继续执行此示例。

假设您有四个文件。列出它们，每行列出一个，以查看您所拥有的确切信息：

$ echo ada > ada ; echo lovelace > lovelace

        $ echo richard > richard ; echo stallman > stallman

        $ ls -1

        ada

        lovelace

        richard

        stallman

您想将两个文件合并为一个包含两个文件内容的第三个文件。这要求Parallel可以访问两个文件，因此-I%变量在这种情况下不起作用。

Parallel的默认行为基本上是不可见的：

$ ls -1 | parallel echo

        ada

        lovelace

        richard

        stallman

现在告诉Parallel您想为每个作业获取两个对象：

$ ls -1 | parallel --max-args=2 echo

        ada lovelace

        richard stallman

现在，这些行已合并。具体来说，来自ls -1 两个结果立即全部传递给Parallel。这是完成此任务的合适参数，但实际上，它们现在实际上是一个参数：“ ada lovelace”和“ richard stallman”。您真正想要的是每个作业两个不同的参数。

幸运的是，这种技术性是由Parallel本身解析的。如果将--max-args设置为2 ，则会得到两个变量{1}和{2} ，分别代表参数的第一部分和第二部分：

$ ls -1 | parallel --max-args=2 cat {1} {2} ">" {1}_{2}.person

在此命令中，变量{1}是ada或richard（取决于您要看的工作），而变量{1} {2}是lovelace或stallman 。这些文件的内容与在引号中的重定向符号重定向（报价从猛砸抢重定向符号使并行可以使用它），并放置到所谓的新文件ada_lovelace.person和richard_stallman.person 。

$ ls -1

        ada

        ada_lovelace.person

        lovelace

        richard

        richard_stallman.person

        stallman

$ cat ada_*person ada lovelace $ cat ri*person richard stallman

如果一整天都在分析大小为数百兆字节的日志文件，那么您可能会发现并行化文本解析对您很有用；否则，这主要是说明性练习。

但是，这种处理不仅对文本解析有重要的作用。这是电影界的真实例子。考虑需要结合在一起的视频文件和音频文件的目录。

$ ls -1

        12_LS_establishing-manor.avi

        12_wildsound.flac

        14_butler-dialogue-mixed.flac

        14_MS_butler.avi

        ...and so on...

使用相同的原理，可以创建一个简单的命令，以便将文件并行组合：

$ ls -1 | parallel --max-args=2 ffmpeg -i {1} -i {2} -vcodec copy -acodec copy {1}.mkv

`蛮力力。`

所有这些花哨的输入和输出解析都不符合每个人的喜好。如果您希望使用更直接的方法，则可以在Parallel处抛出命令然后走开。

首先，在每一行上使用一个命令创建一个文本文件：

$ cat jobs2run

        bzip2 oldstuff.tar

        oggenc music.flac

        opusenc ambiance.wav

        convert bigfile.tiff small.jpeg

        ffmepg -i foo.avi -v:b 12000k foo.mp4

        xsltproc --output build/tmp.fo style/dm.xsl src/tmp.xml

        bzip2 archive.tar

然后将文件交给Parallel：

$ parallel --jobs 6 < jobs2run

现在，文件中的所有作业均以并行方式运行。如果存在的作业多于允许的作业，则Parallel会形成并维护队列，直到所有作业都运行为止。

`很多更多`

GNU Parallel是一个功能强大且灵活的工具，用例远远超出了本文的适用范围。它的手册页提供了您可以执行的非常酷的操作的示例，从通过SSH远程执行到将Bash函数合并到Parallel命令中。 YouTube上甚至有广泛的演示系列，因此您可以直接向GNU Parallel团队学习。 GNU Parallel首席维护人员还刚刚发布了该命令的官方指南，该指南可从Lulu.com获得。

GNU Parallel可以改变您的计算方式，如果不这样做，它至少会改变您的计算机计算时间。立即尝试！

翻译自: https://opensource.com/article/18/5/gnu-parallel

gnu parallel