pipeline可视化工具（DataPipeline与Datax有什么区别）

本文目录

• DataPipeline与Datax有什么区别
• kubeflowpipeline可视化组件怎么生成
• 机器学习中的数据预处理有哪些常见/重要的工具
• WES2Neoantigen Pipeline
• 开源ETL工具与商业ETL工具对比

DataPipeline与Datax有什么区别

监控预警：

DataPipeline有可视化的过程监控，提供多样化的图表，辅助运维，故障问题可实时预警。

Datax：依赖工具日志定位故障问题，没有图形化运维界面和预警机制，需要自定义开发。

数据实时性：

DataPipeline：实时

Datax：定时

实施与售后服务：

DataPipeline：原厂实施和售后服务

Datax：阿里开源代码，需客户自动实施、开发、维护

数据清洗：

DataPipeline：围绕数据质量做轻量清洗

Datax：需要根据自身清晰规则编写清洗脚本，进行调用（DataX3.0 提供的功能）

自动断点续传

DataPipeline：支持

Datax：不支持

kubeflowpipeline可视化组件怎么生成

用开发器使用代码生成。在《kubeflow二次开发_pipeline后端在mysql数据库增加表》中我们新增了一个表。本次二次开发场景是增加一个应用管理模块，需要增加应用管理相关的表。pipelines是一个机器学习工作流的抽象概念，这个工作流可以小到函数的过程、也可以大到机器学习从数据加载、变换、清洗、特征构建、模型训练等多个环节。在kubeflow中，该组件能以ui界面的方式记录、交互、反馈实验、任务和每一次运行。

机器学习中的数据预处理有哪些常见/重要的工具

不太清楚你说的是搭建pipeline的工具还是说pipeline里面处理数据的工具，就顺道都说一下。1. pipeline工具本身一般是控制这些工具的流程，最简单的crontab就定时执行就好，但是有时候会有数据依赖的问题，比如第7步依赖第三步的两个文件以及平行的第6步的文件，这个依赖并不是线性的，而是一个图的形式。当中加上有些技术延迟比如有些数据生成失败了需要重启某些特定的步骤重新生成，这个问题就稍微复杂了。crontab一般在这时候就搞不定，需要一些专门的pipeline管理，比如 spotify/luigi · GitHub 或者 Azkaban2. 预处理文本数据本身一般用一些Linux的工具比如cut啊awk啊等等做数据筛选和清理，自己写一写python小工具做数据的简单组合比如复杂的regex规则组合，比较大的数据归类和抽象一般用Hive之类的hadoop工具都可以，里面也可以插入linux小工具和自己写的工具。工业界的数据项目多数时间要设计如何清理数据，这和学术界的玩具数据玩起来很不一样，欢迎来到真实的世界。-ITjob

WES2Neoantigen Pipeline

pVACtool是一个癌症免疫治疗工具套件，由四个工具组成，分别是pVACseq、pVACfuse、pVACvector和pVACviz。 pVACseq是一个癌症免疫疗法流程，用于从肿瘤突变中识别并优化候选的肿瘤抗原。 pVACfuse是一个用于识别通过基因融合而产生的肿瘤抗原的工具。 pVACvector是一个专门用于帮助构建基于DNA的癌症疫苗的工具。 pVACviz是一个基于浏览器的用户界面，帮助用户启动、管理、检查和可视化pVACtools过程的结果的工具。 这里只介绍pVACseq。 pvacseq是一种癌症免疫治疗流程，通过整合了肿瘤突变和表达数据（DNA-seq和RNA-seq）的癌症测序识别个体化的变异抗原。它使得癌症免疫研究通过大量的平行序列数据来预测可以引发抗肿瘤T细胞免疫的肿瘤特异性突变肽，即肿瘤抗原抗原。它被用于检查点治疗反应的研究，并被用于确定个性化癌症疫苗和adoptive T cell疗法的靶点。 pVACtools input_file VEP工具注释后的单个或多个VCF文件，该文件必须包含genotype, transcript, Wildtype protein sequence, and Downstream protein sequence 信息。 sample_name VCF文件处理过程中用到的肿瘤bam文件的文件名，处理多样本生成的VCF文件时，样本名必须包含在VCF文件#CHROM这一行。 Allele VCF文件对应的患者的HLA等位基因信息，例HLA-A*02:01。多等位输入需用逗号分隔。 {MHCflurry,MHCnuggetsI,MHCnuggetsII,NNalign,NetMHC,NetMHCIIpan,NetMHCcons,NetMHCpan,PickPocket,SMM,SMMPMBEC,SMMalign} 表位预测算法选择，多选时用空格分隔，这里需要注意的是，组里安装的不是最新版，有些算法不支持。 output_dir 输出结果存放目录 -e / --epitope-length 想要预测的表位的长度通常的长度为8，9，10，11，多选时用逗号分隔输入。 --iedb-install-directory 指定本地安装的IEDB目录，不指定将需要联网获取信息且不能大量运算。 --pass-only 过滤掉VCF文件中包含有PASS值的条目。 pvacseq run                                                                                                                                                                                                                 input_file sample_name allele                   {MHCflurry,MHCnuggetsI,MHCnuggetsII,NNalign,NetMHC,NetMHCIIpan,NetMHCcons,NetMHCpan,PickPocket,SMM,SMMPMBEC,SMMalign}                               output_dirpvacseq run -e 8,9,10,11 --iedb-install-directory /pub6/temp/pb/Software/IEDB --normal-sample-name SRR5357710 --pass-only /IJob/J33/Data/SRP102119_BC_12P22M34NSamples_WES/WESSRA/WESFastq/_AfterFASTQC_/_AfterAlign_/BAMFile/inputpreprocess/addexpression/SMC_OS_42_AddExp.vcf SRR5357744 HLA-A*02:01,HLA-B*35:01,DRB1*11:01 NNalign NetMHC NetMHCIIpan NetMHCcons NetMHCpan PickPocket SMM SMMPMBEC SMMalign /IJob/J33/Data/SRP102119_BC_12P22M34NSamples_WES/WESSRA/WESFastq/_AfterFASTQC_/_AfterAlign_/BAMFile/pvacseq_output

开源ETL工具与商业ETL工具对比

几种 ETL 工具的比较(DataPipeline，Kettle，Talend，Informatica等)

四种工具的比较主要从以下几方面进行比对：

1、成本：

软件成本包括多方面,主要包括软件产品, 售前培训, 售后咨询, 技术支持等。

开源产品本身是免费的，成本主要是培训和咨询，所以成本会一直维持在一个较低水平。

商业产品本身价格很高，但是一般会提供几次免费的咨询或支持，所以采用商用软件最初成本很高，但是逐渐下降。

手工编码最初成本不高，主要是人力成本，但后期维护的工作量会越来越大。

2、易用性：

DataPipeline： 有非常容易使用的 GUI，具有丰富的可视化监控；

Kettle： GUI+Coding；

Informatica： GUI+Coding，有GUI，但是要专门的训练；

Talend：GUI+Coding，有 GUI 图形界面但是以 Eclipse 的插件方式提供；

3、技能要求：

DataPipeline：操作简单，无技术要求；

Kettle： ETL设计, SQL, 数据建模 ；

Informatica： ETL设计, SQL, 数据建模；

Talend：需要写Java；

4、底层架构：

DataPipeline：分布式，可水平扩展；

Kettle：主从结构非高可用；

Informatica：分布式；

Talend：分布式；

5、数据实时性：

DataPipeline：支持异构数据源的实时同步，速度非常快；

Kettle：不支持实时数据同步；

Informatica：支持实时，效率较低；

Talend：支持实时处理，需要购买高级版本，价格贵；

6、技术支持：

DataPipeline：本地化原厂技术支持；

Kettle：无；

Informatica：主要在美国；

Talend：主要在美国；

7、自动断点续传：

DataPipeline：支持；

Kettle：不支持；

Informatica：不支持；

Talend：不支持；