GATK官方推荐的workflow语言-WDL
欢迎关注"生信修炼手册"!
在GATK4
的best practice
中,不再像以前那样给出每个步骤对应的代码,而是直接给出了官方使用的pipeline。这些pipeline
采用WDL
进行编写。
WDL
是一种流程编写语言,没有太多复杂的逻辑和语法,入门简单。首先看一个hello world
的例子
workflow myWorkflow {call myTask
}
task myTask {command {echo "hello world"}output {String out = read_string(stdout())}
}
对于一个WDL
脚本而言,有以下5个核心结构
workflow
task
call
command
output
每个脚本包含1个workflow
, workflow
由多个task
构成。 在workflow
中,通过call
调用对应的task
。每个task
在workflow
代码块之外单独定义。
task
代表任务,读取输入文件,执行相应命令,然后输出。command
中对应的就是执行的命令,比如一条具体的gatk的命令,output
指定task
的输出值。可以将task
理解为编程语言中的函数,每个函数读取输入的参数,执行代码,然后返回,command
对应执行的具体代码,output
对应返回值。
在WDL
中,也是可以传递参数的。task
和workflow
中的写法不同
1. task 中的参数
下面的示意图中,task 有3个输入的参数,文件类型的ref
,in
和字符串类型的id
。 在command
中,通过${ref}
这种格式访问变量的值
2. workflow 中的参数
下面的示意图中, workflow
有3个参数,文件类型的my_ref
,my_input
和字符串类型的name
。传递这3个参数给task
时,直接传变量名就可以了。
作为流程管理语言,需要对多个task
统一管理。task之间具有多种关系
1. 一对一的依赖关系
前一个task
的输出,作为后一个task
的输入
示例如下
workflow LinearChain {File firstInputcall stepA { input: in=firstInput }call stepB { input: in=stepA.out }call stepC { input: in=stepB.out }
}
task stepA {File incommand { programA I=${in} O=outputA.ext }output { File out = "outputA.ext" }
}
task stepB {File incommand { programB I=${in} O=outputB.ext }output { File out = "outputB.ext" }
}
task stepC {File incommand { programC I=${in} O=outputC.ext }output { File out = "outputC.ext" }
}
一个task
的多个输出作为下一个task
的输入
示例如下:
workflow MultiOutMultiIn {File firstInputcall stepA { input: in=firstInput }call stepB { input: in=stepA.out }call stepC { input: in1=stepB.out1, in2=stepB.out2 }
}
task stepA {File incommand { programA I=${in} O=outputA.ext }output { File out = "outputA.ext" }
}
task stepB {File incommand { programB I=${in} O1=outputB1.ext O2=outputB2.ext }output {File out1 = "outputB1.ext"File out2 = "outputB2.ext" }
}
task stepC {File in1File in2command { programB I1=${in1} I2=${in2} O=outputC.ext }output { File out = "outputC.ext" }
}
2. 多对多的依赖关系
一个task
的输出作为多个task
的输入,或者多个task
的输出作为1个task
的输入
示例如下:
workflow BranchAndMerge {File firstInputcall stepA { input: in=firstInput }call stepB { input: in=stepA.out }call stepC { input: in=stepA.out }call stepD { input: in1=stepC.out, in2=stepB.out }
}
task stepA {File incommand { programA I=${in} O=outputA.ext }output { File out = "outputA.ext" }
}
task stepB {File incommand { programB I=${in} O=outputB.ext }output { File out = "outputB.ext" }
}
task stepC {File incommand { programC I=${in} O=outputC.ext }output { File out = "outputC.ext" }
}
task stepD {File in1File in2command { programD I1=${in1} I2=${in2} O=outputD.ext }output { File out = "outputD.ext" }
}
3. 平行关系
多个task
之间完全平行,可以并行执行
示例如下:
workflow ScatterGather {Array[File] inputFilesscatter (oneFile in inputFiles) {call stepA { input: in=oneFile }}call stepB { input: files=stepA.out }
}
task stepA {File incommand { programA I=${in} O=outputA.ext }output { File out = "outputA.ext" }
}
task stepB {Array[File] filescommand { programB I=${files} O=outputB.ext }output { File out = "outputB.ext" }
}
task
和函数还是有一定的区别,函数可以在代码中多次调用,但是task
多次调用会有风险。下面的示意图中,stepA 运行两次,一次作为stepB的输入,一次作为stepC的输入。如果stepA的两次调用并行执行,当执行完之后,在传递给下一个task时,由于存在两个同名的stepA, stepB和stepC 就会无法正确接受参数。
WDL
中提供了解决方案,叫做task alias
, 为task
起一个别名,示例如下
workflow taskAlias {File firstInputFile secondInputcall stepA as firstSample { input: in=firstInput }call stepA as secondSample { input: in=secondInput }call stepB { input: in=firstSample.out }call stepC { input: in=secondSample.out }
}
task stepA {File incommand { programA I=${in} O=outputA.ext }output { File out = "outputA.ext" }
}
task stepB {File incommand { programB I=${in} O=outputB.ext }output { File out = "outputB.ext" }
}
task stepC {File incommand { programC I=${in} O=outputC.ext }output { File out = "outputC.ext" }
}
在WDL脚本中, 理论上每个task
只可以调用1次,如果希望多次调用,必须借助task alias
。
掌握以上几点,就可以理解一个wdl
脚本的整体框架了。在实际使用中,我们只要能理解整个workflow
的流向,会使用wdl
脚本就可以了。
运行wdl
脚本,需要两个文件
cromwell.jar
womtools.jar
最新版的下载链接如下:
https://github.com/broadinstitute/cromwell/releases/tag/31
第一步是得到输入参数的列表,用法如下
java -jar womtools.jar inputs myWorkflow.wdl > myWorkflow_inputs.json
用json
格式存存储,这一步得到的只是一个模板,需要编辑这个文件,将对应的参数替换成实际的参数
第二步运行脚本,用法如下
java -jar Cromwell.jar run myWorkflow.wdl —inputs myWorkflow_inputs.json
总结
WDL
是一种流程管理语言,语法简单,内置的支持并行等特征,适合编写pipeline
。运行
wdl
脚本只需两步,第一步编辑参数列表对应的json
文件,第二步直接运行即可。
扫描关注微信号,更多精彩内容等着你!
GATK官方推荐的workflow语言-WDL相关推荐
- 关于python的一些好的书籍推荐-python官方推荐30本面向初学者的书籍!你看过几本?...
现在大多数初学者学习python都是看教学视频,但是小编想说的是,如果你能把一本书籍认认真真的读完,那么比你看教学视频的效果要好的多!今天小编就来带大家看看python官方推荐的30本面向初学者的书籍 ...
- 学python买什么书好-python官方推荐30本面向初学者的书籍!你看过几本?
现在大多数初学者学习python都是看教学视频,但是小编想说的是,如果你能把一本书籍认认真真的读完,那么比你看教学视频的效果要好的多!今天小编就来带大家看看python官方推荐的30本面向初学者的书籍 ...
- (赞助5本)谷歌官方推荐的 TensorFlow 2 “豹书”来了!
TensorFlow 作为谷歌主导的开源深度学习框架,以其强大的性能和完善的生态支持,在开发者社群和工程实践中广为流行.无数AI大厂.创业公司和个人开发者们都在使用 TensorFlow 开发和部署深 ...
- Sentinel 成为 Spring Cloud 官方推荐的主流熔断降级方案
近日,Sentinel 贡献的 spring-cloud-circuitbreaker-sentinel 模块正式被Spring Cloud社区合并至 Spring Cloud Circuit Br ...
- python2还能用吗_官方推荐python3,为何还有人在用python2呢?
原标题:官方推荐python3,为何还有人在用python2呢? 不管怎么谈,老会谈到Python2.x和3.x的版本差异问题,这个差异真不是一般的大,从一个简单的print到核心库的改进都牵扯到了很 ...
- 自学python买什么书比较好-python官方推荐30本面向初学者的书籍!你看过几本?...
现在大多数初学者学习python都是看教学视频,但是小编想说的是,如果你能把一本书籍认认真真的读完,那么比你看教学视频的效果要好的多!今天小编就来带大家看看python官方推荐的30本面向初学者的书籍 ...
- 这些是 Python 官方推荐的最好书籍(推荐)
简评:Python 官方有一个推荐书单「PythonBooks.org 」,这里面涵盖了从初学到入门再到精通(并没有到放弃)的各个阶段,最好的学习书籍.小编整理了列表方便查找对应的中文版. Pytho ...
- Mac电脑常用快捷键,官方推荐
Mac电脑常用快捷键,官方推荐 在Mac开发中键盘部分可做参考,在自定义键盘快捷方式时建议不要跟以下快捷键冲突. 主键标 键盘快捷键 是否是系统快捷键 动作描述 Space Command-Space ...
- 怎样快速上手深度学习?谷歌官方推荐的 TensorFlow 2 “豹书”来了!
TensorFlow 作为谷歌主导的开源深度学习框架,以其强大的性能和完善的生态支持,在开发者社群和工程实践中广为流行. 无数AI大厂.创业公司和个人开发者们都在使用 TensorFlow 开发和部署 ...
最新文章
- 用于小型图形挖掘研究的瑞士军刀:空手道俱乐部的图表学习Python库
- c++虚函数_「C++」对象模型和虚函数
- BMP文件的读取与显示
- 2017校赛 问题 F: 懒人得多动脑
- 语法分析实验ll算法c语言,实验5LL语法分析程序的设计与实现(C语言).doc
- div没有设置高度,背景颜色却无法显示
- 【Python CheckiO 题解】Even the Last
- XMLDictionary iOS的XML处理包
- mysql 存储过程复杂查询_SQL分页存储过程 支持连接查询等复杂的SQL
- python go rpc_Python RPC 之 gRPC
- SSH客户端:Termius for Mac
- Hi3516d平台的usb功能调试记录
- 1148 - 【入门】数数小木块
- 柯西分布——正态分布的兄弟
- Unsupported class file major version 55
- vue项目的首屏优化策略
- 一元二次函数的最值计算
- 『goodman1999』SD2.0大会:达内创始人韩少云:创业就像买股票
- 2021-09-07Zone Apex 和网络服务器重定向
- 「湖南周边游」安化云台山风景区——适合亲子游的地方
热门文章
- [转]Unity3D 唤醒微信 打开微信(非微信登录、微信分享)
- android 游戏 人物控制,android游戏角色的速度控制
- 好文收录之心酸心累的老程序员出路在哪里?
- Windows系统下获取主板各区域温度的命令
- unet++代码实现
- brew安装软件出现ChecksumMismatchError: SHA256 mismatch的问题
- 深入理解计算机考研,两大福音成就计算机考研王者风范
- [sql server] sql server 2005 外围应用配置器错误 - 计算机 localhost 在网络上不存在,或无法远程配置该计算机...
- Gen8 ESXi 6.5 硬盘RDM 直通
- 利用2台2450源表进行场效应管(FET)特性测量