请选择 进入手机版 | 继续访问电脑版

传智播客Hadoop大数据计算视频教程 Hadoop入门到精通教程 初中高级班全套

发表于 2017-5-21 13:00:41 显示全部楼层 287 8637

传智播客Hadoop大数据计算视频教程 Hadoop入门到精通教程 初中高级班全套

传智播客Hadoop大数据计算视频教程  Hadoop入门到精通教程 初中高级班全套

传智播客Hadoop大数据计算视频教程 Hadoop入门到精通教程 初中高级班全套

传智播客Hadoop大数据计算视频教程  Hadoop入门到精通教程 初中高级班全套

传智播客Hadoop大数据计算视频教程 Hadoop入门到精通教程 初中高级班全套

传智播客Hadoop大数据计算视频教程  Hadoop入门到精通教程 初中高级班全套

传智播客Hadoop大数据计算视频教程 Hadoop入门到精通教程 初中高级班全套

传智播客Hadoop大数据计算视频教程  Hadoop入门到精通教程 初中高级班全套

传智播客Hadoop大数据计算视频教程 Hadoop入门到精通教程 初中高级班全套

传智播客Hadoop大数据计算视频教程  Hadoop入门到精通教程 初中高级班全套

传智播客Hadoop大数据计算视频教程 Hadoop入门到精通教程 初中高级班全套

传智播客Hadoop大数据计算视频教程  Hadoop入门到精通教程 初中高级班全套


课程安排:
01) Linux基础操作
本节讲解linux基础操作,主要是在命令行下进行文件系统的操作,这是hadoop学习的基础,后面的所有视频都是基于linux操作的。鉴于很多学员没有linux基础,特增加该内容。

02) 搭建伪分布实验环境
本节是最基本的课程,属于入门级别,主要讲述在linux单机上面安装hadoop的伪分布模式,在linux集群上面安装hadoop集群。对于不熟悉linux的同学, 课程中会简单的讲解常用的linux命令。这两种是必须要掌握的。通过现在的教学发现,很多同学并不能正确的配置集群环境。
知识点简单罗列:
Ø Hadoop概念、版本、历史
Ø Hadoop和核心组成介绍及hdfs、mapreduce体系结构
Ø Hadoop的集群结构
Ø Hadoop伪分布的详细安装步骤
Ø 如何通过命令行和浏览器观察hadoop

03) 介绍HDFS体系结构及shell、java操作方式
本节是对hadoop核心之一——hdfs的讲解。hdfs是所有hadoop操作的基础,属于基本的内容。对本节内容的理解直接影响以后所有课程的学习。在本节学习中,我们会讲述hdfs的体系结构,以及使用shell、java不同方式对hdfs的操作。在工作中,这两种方式都非常常用。学会了本节内容,就可以自己开发网盘应用了。在本节学习中,我们不仅对理论和操作进行讲解,也会讲解hdfs的源代码,方便部分学员以后对hadoop源码进行修改。最后,还要讲解hadoop的RPC机制,这是hadoop运行的基础,通过该节学习,我们就可以明白hadoop是怎么明白的了,就不必糊涂了,本节内容特别重要。
知识点简单罗列:
Ø Hdfs体系结构详述
Ø NameNode、DataNode、SecondaryNameNode体系结构
Ø 如果保证namenode的高可靠
Ø Datanode中block的划分原理和存储方式
Ø 如何修改namenode、datanode数据存储位置
Ø 如何使用命令行操纵hdfs
Ø 如何使用java操作hdfs
Ø 介绍rpc机制
Ø 通过查看源码,知晓hadoop是建构在rpc之上的
Ø 通过查看hdfs源码,知晓客户端是如何与Namenode通过rpc通信的

04) 介绍MapReduce体系结构及各种算法(1)
本节开始对hadoop核心之一——mapreduce的讲解。mapreduce是hadoop的核心,是以后各种框架运行的基础,这是必须掌握的。在本次讲解中,掌握mapreduce执行的详细过程,以单词计数为例,讲解mapreduce的详细执行过程。还讲解hadoop的序列化机制和数据类型,并使用自定义类型实现电信日志信息的统计。
知识点简单罗列:
Ø Mapreduce原理
Ø Mapreduce执行的八大步骤
Ø 详细讲述如何使用mapreduce实现单词计数功能
Ø 详细讲述如何覆盖Mapper功能、如何覆盖Reducer功能。在各种hadoop认证中,这是考察重点
Ø 详细讲述hadoop的自定义类型Writable接口
Ø 通过电信上网日志实例讲述如何自定义hadoop类型
Ø 通过源码讲述hadoop是如何读取hdfs文件,并且转化为键值对,供map方法调用的

05) 介绍MapReduce体系结构及各种算法(2)
本节继续讲解mapreduce,会把旧api的用法、计数器、combiner、partitioner、排序算法、分组算法等全部讲解完毕。通过这两次课程学习,学员可以把整个mapreduce的执行细节搞清楚,把各个可扩展点都搞明白。本节内容在目前市面可见的图书、视频中还没有发现如此全面的哪。
知识点简单罗列:
Ø 讲解新旧api的区别,如何使用旧api完成操作
Ø 介绍如何打包成jar,在命令行运行hadoop程序
Ø 介绍hadoop的内置计数器,以及自定义计数器
Ø 介绍了合并(combiner)概念、为什么使用、如何使用、使用时有什么限制条件
Ø 介绍了hadoop内置的分区(partitioner)概念、为什么使用、如何使用
Ø 介绍了hadoop内置的排序算法,以及如何自定义排序规则
Ø 介绍了hadoop内置的分组算法,以及如何自定义分组规则
Ø 介绍了mapreduce的常见应用场景,以及如何实现mapreduce算法

06) 介绍Hadoop集群
hadoop就业主要是两个方向:hadoop工程师和hadoop集群管理员。我们课程主要培养工程师。本节内容是面向集群管理员的,主要讲述集群管理的知识。
知识点简单罗列:
Ø 如何搭建hadoop集群
Ø 如何动态增加hadoop从节点
Ø 如何动态修改hdfs的副本数
Ø 如何使用一些常用管理命令
Ø 如何理解安全模式
Ø 如何查看日志等

07) 介绍zookeeper操作
本节内容与hadoop关系不大,只是在hbase集群安装时才用到。但是,zookeeper在分布式项目中应用较多。
知识点简单罗列:
Ø Zookeeper是什么
Ø 搭建zookeeper集群环境
Ø 如何使用命令行操作zookeeper
Ø 如何使用java操作zookeeper

08) 介绍HBase体系结构及基本操作
hbase是个好东西,在以后工作中会经常遇到,特别是电信、银行、保险等行业。本节讲解hbase的伪分布和集群的安装,讲解基本理论和各种操作。我们通过对hbase原理的讲解,让大家明白为什么hbase会这么适合大数据的实时查询。最后讲解hbase如何设计表结构,这是hbase优化的重点。
知识点简单罗列:
Ø Hbase是什么
Ø Hbase数据模型
Ø Hbase存储模型
Ø Hbase的命令行操作
Ø Hbase的java操作
Ø 如何使用mapreduce向hbase批量导入数据

09) 介绍pig操作
Pig是另一套hadoop处理大数据的方法,底层调用的是mapreduce,但是入门的门槛低,书写自由灵活,书写效率与java代码相比非常高,在企业中有较多应用。本节hadoop讲解pig的理论、操作。
知识点简单罗列:
Ø Pig是什么
Ø Pig的数据类型、操作
Ø 使用pig完成前面的电信上网日志的统计工作

10) 介绍Hive体系结构及基本操作
Hive作为hadoop领域的数据仓库,支持sql功能,类似于mysql操作,非常好用,在企业中应用非常广泛。
知识点简单罗列:
Ø Hive是什么
Ø Hive的体系结构,hive中的表在hdfs中是如何存储的
Ø 讲解如何在linux安装mysql,如何使用mysql作为hive的metastore
Ø 通过实例详细讲述hive的内部表、分区表、外部表、桶表
Ø 介绍视图
Ø 介绍hive的自定义函数

11) 介绍Sqoop操作
sqoop适用于在关系数据库与hdfs之间进行双向数据转换的,在企业中,非常常用。
知识点简单罗列:
Ø Sqoop是什么
Ø 通过实例讲解Sqoop如何把mysql中的数据导入到hdfs中
Ø 通过实例讲解Sqoop如何把hdfs中的数据导出到mysql中
Ø Sqoop如何做成job,方便以后快速执行

12) Flume操作
Flume是cloudera公布的分布式日志收集系统,是用来把各个的服务器中数据收集,统一提交到hdfs或者其他目的地,是hadoop存储数据的来源,企业中非常流行。
知识点简单罗列:
Ø Flume是什么
Ø 详细Flume的体系结构
Ø 讲述如何书写flume的agent配置信息
Ø 讲述flume如何动态监控文件夹中文件变化
Ø 讲述flume如何把数据导入到hdfs中
Ø 通过实例讲解如何通过flume动态监控日志文件变化,然后导入到hdfs中

13) 论坛日志分析项目
    该项目的数据来自于黑马程序员论坛的日志,该项目是为本课程量身定做的,非常适合我们hadoop课程学习。有的同学觉得应该介绍更多项目,其实做过几个项目后,就会发现项目的思路是相同的,只是业务不同而已。大家写过这个项目后,就对hadoop的各个框架在项目中是如何使用的,有个比较清晰的认识,对hadoop与javaEE结合有个比较清晰的认识了
购买主题 已有 52 人购买  本主题需向作者支付 50 学分 才能浏览
温馨提示:请勿恶意灌水,一次扣10学分,发现三次以上封号!
回复

使用道具 举报

阳望星空 发表于 2018-1-24 07:03:06 | 显示全部楼层
多谢分享                                          
回复

使用道具 举报

Mr.xu 发表于 2017-12-6 15:44:13 | 显示全部楼层
多谢分享                                          
回复

使用道具 举报

Mr.xu 发表于 2017-12-5 19:31:23 | 显示全部楼层
多谢分享                          
回复

使用道具 举报

力诺客服11 发表于 2017-5-21 14:22:29 | 显示全部楼层
感谢分享,收藏啦
回复

使用道具 举报

sadf 发表于 2017-5-22 10:40:28 | 显示全部楼层
感谢分享,收藏啦
回复

使用道具 举报

tzwl 发表于 2017-5-23 11:59:38 | 显示全部楼层
激动人心,无法言表,感谢句号it论坛的分享!
回复

使用道具 举报

tzwl 发表于 2017-5-23 13:48:31 | 显示全部楼层
感谢楼主分享
回复

使用道具 举报

逍遥自_a78g5 发表于 2017-5-23 13:53:49 | 显示全部楼层
谢谢分享
回复

使用道具 举报

波萝咪 发表于 2017-5-23 14:55:50 | 显示全部楼层
感謝大大分享超好課程!!
回复

使用道具 举报

tt0512 发表于 2017-5-23 15:16:34 | 显示全部楼层
谢谢分享
回复

使用道具 举报

cgh503y 发表于 2017-5-23 15:37:54 | 显示全部楼层
学习了,谢谢分享、、、
回复

使用道具 举报

fsd111111 发表于 2017-5-23 16:08:23 | 显示全部楼层
谢谢分享
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

admin

管理员

活跃度

学分

15万

积分
Ta的主页 发消息
!zhankai!

Archiver|手机版|小黑屋|句号网 ( 沪ICP备12036357号-3 )

GMT+8, 2018-7-17 03:56

Powered by Discuz! X3.4

© 2001-2020 Comsenz Inc.

打开微信扫一扫