• 参会报名
  • 会议介绍
  • 会议日程
  • 会议嘉宾
  • 参会指南
  • 邀请函下载

福建体彩36选7最新开奖 > 商务会议 > IT互联网会议 > 2019Spark及Hadoop开发员培训(5月上海班) 更新时间:2019-03-12T14:33:01

大会站点分布:
(点击可切换)
2019Spark及Hadoop开发员培训(5月上海班)
收藏3人
分享到

2019Spark及Hadoop开发员培训(5月上海班)

会议时间:2019-05-23 08:00至 2019-05-26 18:00结束

会议地点: 上海  详细地址会前通知  

会议规模:暂无

主办单位: 上海碧茂信息科技有限公司

发票类型:增值税普通发票 增值税专用发票

门票名称单价截止时间数量
会务费 包含4天参会,住宿交通与餐饮自理。 ¥7360.0 2019-05-22 17:00

会议介绍

会议内容 主办方介绍


2019Spark及Hadoop开发员培训(5月上海班)

2019Spark及Hadoop开发员培训(5月上海班)宣传图

课程描述:
学习关键概念和掌握使用最新技术和工具将数据采集到Hadoop机群并进行处理。通过学习掌握诸如Spark、Hive、Flume、Sqoop 和Impala这样的Hadoop生态系统工具和技术,Hadoop开发员将具备解决实际大数据问题和挑战的能力。本课程包含了大量的实操及编程练习来帮助学员熟悉并掌握各种工具,并最终获得在实际工作中针对特定的问题或场景来选取最佳解决工具或技术的能力。


认证编号:

CCA175。


培训内容:
通过讲师在课堂上的讲解以及实操练习,学员将学习Apache Spark及如何将其集成到整个Hadoop 生态系统中去,包括以下内容:
> 数据是如何在Hadoop 机群里进行分布式存储及处理的。
> 如何使用Sqoop 和Flume 导入数据。
> 如何使用Apache Spark 处理分布式数据。
> 如何使用Impala 及Hive 将结构化数据建模成表并进行分析查询。
> 如何根据数据使用场景来确定最佳存储格式。
> 数据存储最佳实践。


培训对象及学员基?。?/strong>
本课程适合准备报考CCA Spark 及Hadoop开发员认证考试的技术人员。虽然通过该认证考试,考生仍然需要做进一步的学习和准备,但是本课程涵盖了在该认证考试中考核的主题和知识点。
在参加完本培训后,我们建议学员参加此课程的一个后继课程:设计和创建大数据应用。


客户评价:

“通过Cloudera的培训,让我们在使用大数据核心平台Hadoop方面信心百倍地面对未来和赢得更多的挑战?!?br>—— Persado

查看更多

上海碧茂信息科技有限公司 上海碧茂信息科技有限公司

上海茂碧信息科技有限公司2006年成立于美国硅谷,由美国知名风险投资商和战略伙伴投资成立,2007年在上海成立其分公司。茂碧创始人和管理团队来自美国贝尔实验室(Bell Laboratories)、高通(Qualcomm)、诺基亚(Nokia)等国际知名通讯企业,拥有深厚的技术背景,并在通讯和移动多媒体领域获得多项国际级技术专利。公司目前拥有员工200多人,均来自国内外各大知名院校,50%的研发人员具有博士士和硕士学历。 茂碧拥有全球最为先进的移动多媒体技术,为客户在2.5G/2.75G以及 3G 移动网络上提供视音频的流畅传输和播放。我们的产品和解决方案在抗干扰能力,视音频品质和稳定性等方面远远超过传统的技术,将帮助广大手机用户随时随地享受到手机交互式多媒体的乐趣。

会议日程

(最终日程以会议现场为准)


课程介绍

Hadoop及生态系统介绍
·Apache Hadoop概述
·数据存储和摄取
·数据处理
·数据分析和探索
·其他生态系统工具
练习环境及分析应用场景介绍
编写和运行Apache Spark应用
·Spark 应用对比Spark Shell
·创建 SparkContext
·创建 Spark应用(Scala和Java)
·运行Spark应用
·Spark应用WebUl
Apache Kafka
·什么是Apache Kafka
·Apache Kafka概述
·如何扩展 Apache Kafka
·Apache Kafka机群架构
·Apache Kafka命令行工具

Apache Hadoop文件存储
·传统大规模系统的问题
·HDFS体系结构
·使用HDFS
·Apache Hadoop文件格式

配置Apache Spark应用
·配置Spark属性
·运行日志

使用Apache Flume采集实时数据
·什么是Apache Flume
·Flume基本体系结构
·Flume源
·Flume槽
·Flume通道
·Flume配置
Apache Hadoop机群上的数据处理
·YARN体系结构
·使用YARN

Apache Spark的并行处理
·回顾:机群环境里的Spark
·RDD分区
·基于文件RDD的分区
·HDFS和本地化数据
·执行并行操作
·执行阶段及任务
集成Apache Flume和Apache Kafka
·概要
·应用案例
·配置
使用Apache Sqoop导入关系数据
·Sqoop简介
·数据导入
·导入的文件选项
·数据导出
Spark持久化
·RDD演变族谱
·RDD持久化简介
·分布式持久化
Apache Spark Streaming:DStreams介绍
·Apache Spark Streaming 概述
·例子:Streaming访问计数
·DStreams
·开发Streaming应用

Apache Spark基础
·什么是Apache Spark
·使用Spark Shell
·RDDs(可恢复的分布式数据集)
·Spark里的函数式编程

Apache Spark数据处理的常见模式
·常见Spark应用案例
·迭代式算法
·机器学习
·例子:K-Means

Apache Spark Streaming:批处理
·批处理操作
·时间分片
·状态操作
·滑动窗口操作
Spark RDD
·创建RDD
·其他一般性RDD操作

DataFrames和Spark SQL
·Apache Spark SQL 和SQL Context
·创建 DataFrames
·变更及查询DataFrames
·保存DataFrames
·DataFrames和RDD
·Spark sQL 对比Impala和Hive-on-Spark
·Spark 2.x版本上的Apache Spark SQL


Apache Spark Streaming:数据源
·Streaming 数据源概述
·Apache Flume 和Apache Kafka 数据源
·例子:使用Direct模式连接Kafka数据源
结论

使用键值对RDD
·键值对RDD
·MapReduce
·其他键值对RDD操作


查看更多

会议嘉宾


即将更新,敬请期待

参会指南

会议门票


会务费:7360元/人,包含4天参会,住宿交通与餐饮自理。

查看更多

温馨提示
酒店与住宿: 为防止极端情况下活动延期或取消,建议“异地客户”与活动家客服确认参会信息后,再安排出行与住宿。
退款规则: 活动各项资源需提前采购,购票后不支持退款,可以换人参加。

活动家为本会议官方合作
报名平台,您可在线购票

会议支持:

  • 会员折扣
    该会议支持会员折扣
    具体折扣标准请参见plus会员页面
  • 会员返积分
    每消费1元累积1个会员积分。
    仅PC站支持。
  • 会员积分抵现
    根据会员等级的不同,每抵用1元可使用的积分也不一样,具体可参见PLUS会员页面。 仅PC站支持。

会议地点

部分参会单位

主办方没有公开参会单位

快捷下单

微信扫一扫
使用小程序快捷下单

邮件提醒通知

分享到微信 ×

打开微信,点击底部的“发现”,
使用“扫一扫”即可将网页分享至朋友圈。

录入信息

请录入信息,方便生成邀请函

159| 957| 314| 857| 996| 925| 189| 752| 690| 308|