Hadoop是大数据处理的入门,通过学习hadoop我们可以了解到在实际的生成环境中使用大数据工具处理大规模数据问题。通过学习hadoop生态圈的相关知识,我们能够为更加深入学习大数据处理的相关知识提供一定的基础。大数据在电商、金融、电信、医疗、旅游等各个领域用途非常广泛,因为这些领域会有大量的数据需要处理,此时hadoop就成为了首要之选。 讲师本人之前在电商、旅游、金融等方面做软件的时候,大多采用hadoop作为基础的大数据平台之选,并且积累了一些学习hadoop相关知识的技能点,特意整理成为视频,供大家学习hadoop的相关知识。本项目所涉及到的代码全程手敲,适合有一定java、linux知识基础,并希望学习hadoop大数据处理的学员来学习该视频,当然课程中的知识点不仅仅涉及到hadoop的基础,也涉及到hadoop的一些相关自定义实现等知识,最终希望新手通过该视频对hadoop有一定的了解,也希望老手能够通过这些视频更加进一步的认识到hadoop中的一些相关知识,最后预祝每位学员成为大数据领域的一个技术能手。 1.课程研发环境 JDK版本: jdk7 开发工具:eclipse Linux版本:centos 6.0 虚拟机:Visual box Hadoop生态圈相关环境:CDH 5.3.6版本 2.内容简介 本课程从基础的环境搭建到更深入的知识学习都会有一个比较好的讲解。帮助学员快速上手hadoop生态圈的大数据处理框架的使用,使用hadoop生态圈进行一些模块化、项目功能化的开发,主要包括安装部署hadoop、hive、hbase、hue、oozie、flume等生态圈相关软件环境的搭建,并且在已搭建好的环境上进行相关知识点的讲解和功能的开发。项目/模块主要涉及到使用MR开发相关实际业务功能,包括最短路径的计算、社交好友推荐算法实现、分布式锁的实现等,这些模块可以在实际的生成环境中使用到,可以很简单的将这些模块的代码直接集成到相关实际生产环境代码中。
|