基于Hadoop的基因组测序大数据分析平台研究

声明：基于Hadoop的基因组测序大数据分析平台研究是本人2018年的本科毕业设计课题，根据网络资源和自己的专业知识，独立完成整个流程设计、平台搭建和单元测试等工作。本系列文章是对该项目的一个整理总结和分享记录。该目录提及的系列文章可供转载，并无需通知作者，但需要在明显地方标注文章出处

开发环境介绍：通过个人便携式笔记本ThinkPad开发，内存是8GB。

操作系统：Ubuntu16

开发平台：IDEA

开发时间：2018年2月~5月

项目源码GitHub托管：https://github.com/longshilin/wgs

【目录】

摘要
1 绪论: 1.1 论文的研究背景及意义; 1.2 国内外研究现状; 1.3 论文的主要研究内容; 1.4 章节安排
2 相关技术及原理: 2.1 Hadoop相关技术和原理; 2.2 全基因组测序相关技术和处理流程; 2.3 本章小结
3 基于Hadoop基因测序数据处理关键技术的研究: 3.1 测序处理流程与MapReduce结合; 3.2 不同格式数据的访问与存储; 3.3 分析流程的完整性; 3.4 FreeMarker引擎与测序流程的模版化; 3.5 本章小结
4 基于Hadoop的平台搭建与MapReduce作业设计: 4.1 基于Hadoop的伪分布式平台搭建; 4.2 伪分布式环境的MapReduce作业构建; 4.3 基于Hadoop分布式环境搭建; 4.4 分布式环境下MapReduce作业构建; 4.5 Shell脚本执行引擎的构建; 4.6 MapReduce作业编写与整体调度; 4.7 本章小结
5 系统的测试与扩展: 5.1 MRUnit测试类编写; 5.2 Hadoop测序平台的测试; 5.3 测序平台的分析与优化; 5.4 基于Hadoop基因测序平台的扩展; 5.5 本章小结

结论
致谢
参考文献

基于Hadoop的基因组测序大数据分析平台研究相关推荐

基于Hadoop和Spark体系的大数据分析平台构建
谢谢分享! 转载:http://www.sohu.com/a/249271561_481409 随着大数据.人工智能等技术的快速发展,企业对大数据平台的需求越来越强烈,通过大数据分析技术为企业提供经营 ...
大数据分析平台有哪些主要功能
销售报表.市场调研.盈利分析--随着信息量的不断丰富,相信各大企业已经为各种业务需求存储了大量的数据,数据的规模可能达到数GB或者数TB.随着网络科技的不断发展,这些信息量可能还会达到数PB.EB甚至 ...
基于WIFI探针的商业大数据分析系统（hadoop+spark+hbase+bootstrap+echarts）
WIFI_BussinessBigDataAnalyseSystem 基于WIFI探针的商业大数据分析技术(纪念大学最后一次中软杯) 距离我参加"中国软件杯"时间已经过了半年,很多 ...
基于Tempo大数据分析平台的智慧博物馆大数据中心
一. 项目背景广义上来说,博物馆包括博物馆.文化馆.图书馆.美术馆.科技馆等各种公共服务场馆.随着"文化自信""文化强国"的国策,公共文化服务成为一个城市的综 ...
知行教育大数据分析平台之基于Spark架构
1 介绍一下你们的项目教育数仓解决的问题: 首先,受互联网+概念影响,越来越多的教育平台机构涌现,在线教育发展火热.但是由于信息的共享利用不充分,导致企业多年积累了大量数据,而因为信息孤岛的问题,一 ...
【金猿案例展】某国家级研究所——组学大数据分析平台建设
荣联科技集团案例本案例由荣联科技集团投递并参与"数据猿年度金猿策划活动--2020大数据产业创新服务企业榜单及奖项"评选. 大数据产业创新服务媒体 --聚焦数据 · 改变商业大 ...
mmTrix大数据分析平台构建实录--转
在数据分析中,有超过90%数据都是来自于非结构化数据,其中大部分的是日志,如运维.安全审计.用户访问数据以及业务数据等,但随着互联网快速的发展,数据规模也是水涨船高,从早前的GB级到现在的TB级,甚至 ...
阿里大数据分析与应用(part3)--常用的大数据分析平台
学习笔记,仅供参考,有错必纠文章目录常用的大数据分析平台什么是大数据分析平台基于Hadoop的大数据分析平台阿里云大数据平台典型阿里云大数据平台架构 MaxCompute MaxCompu ...
【转】使用Apache Kylin搭建企业级开源大数据分析平台
http://www.thebigdata.cn/JieJueFangAn/30143.html 本篇文章整理自史少锋4月23日在『1024大数据技术峰会』上的分享实录:使用Apache Kylin搭 ...

基于Hadoop的基因组测序大数据分析平台研究

项目源码GitHub托管：https://github.com/longshilin/wgs

【目录】

基于Hadoop的基因组测序大数据分析平台研究相关推荐

最新文章

热门文章