Hortonworks(HDP)开发者认证-考试大纲

原文链接   译者:小村长

本项目是 Hortonworks开发者认证官方文档的中文翻译版,Hortonworks致力于打造一个全新的大数据处理平台来满足大数据处理和分析的各个使用场景,它组合了大数据平台使用的各个组件, 比如Hadoop、Hbase、Hive、Spark等等一些列的组件, 它安装方便使用便捷, 而且已经在2000节点以上的节点上商用. 本次翻译主要针对对Hortonworks感兴趣和致力于从事大数据方法开发的人员提供有价值的中文资料,希望能够对大家的工作和学习有所帮助。

由于我公司鼓励大家考Hortonworks认证(呵呵,公司出费用),于是今天简单的看了下官方考试大纲,感觉还不错,故翻译了下供大家参考学习,本次翻译并没有咬文嚼字, 而是根据我个人的理解进行翻译, 由于本人能力有限难免有些地方翻译不到位,还希望大家谅解,同时也鼓励大家去看官方文档。

基于真才实学的认证

认证概述

Hortonworks重新设计了它的开发者认证程序, 为了创建一个通过在Hortonworks(HDP)集群上亲自操作所获取的专业知识的认证体系, 而不是回答多项选择问题. HDP开发者认证考试(HDPCD)第一个比较新颖的地方是亲自实践的, 基于性能的考试, 它设计的目的面向那些工作中经常使用像 Pig, Hive, Sqoop and Flume的开发者.

认证(考试)目的

开发者认证的目的是为了给组织和公司提供一种辨别是否是一个合格的大数据应用开发者, 这种认证实在开源的HDP平台对Pig, Hive, Sqoop and Flume组件对数据的存储、运行和分析的应用.

考试描述

考试主要涉及到三个分类:

  • 数据获取
  • 数据转换
  • 数据分析

考试是在HDP2.2版本上面进行, 通过 Ambari 1.7.0来进行管理, HDP2.2包括 Pig 0.14.0, Hive 0.14.0, Sqoop 1.4.5, 和Flume 1.5.0. 每位考生都可以访问HDP 2.2 集群并在集群上进行一些列任务操作.

考试目的

浏览完成下面任务, 它包括一些指向文档和资源的连接

怎么注册

在 www.examslocal.com 网站创建一个帐号. 注册之后登陆, 选择“Schedule an Exam”, 然后进入“Search Here”输入“Hortonworks”进行搜索,然后选择Hortonworks开发者认证考试.

考试卷购买之后一年之内有效.

时间
2小时

模拟考试

Hortonworks官方提供考生的模拟考试和认证考试的环境和任务是相似的 . 点击 [Practice Exam] 下载安装开始模拟考试.

考试及格情况说明
通过 (MQC)认证的考生需要通过开源的Hortonworks数据平台中的Pig、Hive、Sqoop和Flume对数据进行提取,转换和分析

Prerequisites

想获取HDPCD认证的考生需要完成考试大纲下面的所有任务.

语言

考试语言是英文

Hortonworks大学

Hortonworks 大学是你的专业指导对于Hadoop培训和认证. 考生可以通过公开课程和非公开课程是进行学习. 课程结合通过真实的Hadoop环境演示动手试验来进行.

HDP开发者考试的目的

HDPCD考试的考试需要完成下面每项操作:

类型 任务 源(s)
数据获取 通过Hadoop Shell把本地文件上传到HDFS http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/FileSystemShell.html#put
  使用Hadoop Shell在HDFS上创建一个新的目录 http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/FileSystemShell.html#mkdir
  从一个关系型数据库中导入数据到HDFS http://sqoop.apache.org/docs/1.4.5/SqoopUserGuide.html#_literal_sqoop_import_literal
  导入关系型数据的查询结果到HDFS http://sqoop.apache.org/docs/1.4.5/SqoopUserGuide.html#_free_form_query_imports
  从一个关系型数据库中导入数据到一个新的或者已经存在的Hive表里 http://sqoop.apache.org/docs/1.4.5/SqoopUserGuide.html#_importing_data_into_hive
  从 HDFS里面插入和更新数据到关系型数据库里面 http://sqoop.apache.org/docs/1.4.5/SqoopUserGuide.html#_literal_sqoop_export_literal
   给你一个Flume配置文件,启动一个 Flume agent https://flume.apache.org/FlumeUserGuide.html#starting-an-agent
  给你一个配置好的 sink 和source, 配置一个 Flume 固定容量的内存 channel https://flume.apache.org/FlumeUserGuide.html#memory-channel
类别 任务 源(s)
数据转换 写出并执行一个pig脚本 https://pig.apache.org/docs/r0.14.0/start.html#run
   加载一个没有schema信息数据到Pig https://pig.apache.org/docs/r0.14.0/basic.html#load
  加载数据到Pig里面并关联一个schema https://pig.apache.org/docs/r0.14.0/basic.html#load
  从Hive表里面加载数据到Pig https://cwiki.apache.org/confluence/display/Hive/HCatalog+LoadStore
  通过Pig把加载的数据格式化 https://pig.apache.org/docs/r0.14.0/basic.html#foreach
  转换数据匹配一个给定的Hive schema https://pig.apache.org/docs/r0.14.0/basic.html#foreach
  对 Pig 中数据进行分组 https://pig.apache.org/docs/r0.14.0/basic.html#group
  使用Pig移除记录里面关联的空值 https://pig.apache.org/docs/r0.14.0/basic.html#filter
  把 Pig 中的数据保存到HDFS中指定目录里面 https://pig.apache.org/docs/r0.14.0/basic.html#store
  把 Pig中的数据保存到Hive表里 https://cwiki.apache.org/confluence/display/Hive/HCatalog+LoadStore
  对Pig数据进行排序输出 https://pig.apache.org/docs/r0.14.0/basic.html#order-by
  把Pig中关联重复数据移除 https://pig.apache.org/docs/r0.14.0/basic.html#distinct
  对Pig MapReduce指定reduce任务数量 https://pig.apache.org/docs/r0.14.0/perf.html#parallel
  使用Pig进行关联操作 https://pig.apache.org/docs/r0.14.0/basic.html#join-inner andhttps://pig.apache.org/docs/r0.14.0/basic.html#join-outer
  通过Pig join操作生成一个副本 https://pig.apache.org/docs/r0.14.0/perf.html#replicated-joins
   运行一个Pig 任务通过 Tez https://pig.apache.org/docs/r0.14.0/perf.html#tez-mode
  在一个Pig 脚本内,通过注册一个Jar来使用定义的函数 https://pig.apache.org/docs/r0.14.0/basic.html#register andhttps://pig.apache.org/docs/r0.14.0/udf.html#piggybank
  在Pig 脚本内, 使用定义的函数定义一个别名 https://pig.apache.org/docs/r0.14.0/basic.html#define-udfs
  在一个Pig 脚本内, 执行一个用户定义函数 https://pig.apache.org/docs/r0.14.0/basic.html#register
类型 任务 源(s)
数据分析 写并执行一个HIve查询 https://cwiki.apache.org/confluence/display/Hive/Tutorial
  定义一个内部表 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL#LanguageManualDDL-Create/Drop/TruncateTable
  定义一个扩展表 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL#LanguageManualDDL-ExternalTables
  定义一个分区表 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL#LanguageManualDDL-PartitionedTables
  定义一个桶表 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL#LanguageManualDDL-BucketedSortedTables
  通过查询数据定义一个表 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL#LanguageManualDDL-CreateTableAsSelect(CTAS)
  使用ORCFile 文件格式定义一个表 http://hortonworks.com/blog/orcfile-in-hdp-2-better-compression-better-performance/
  创建一个新的 ORCFile 表从一个非-ORCFile文件的 Hive 表 http://hortonworks.com/blog/orcfile-in-hdp-2-better-compression-better-performance/
  为Hive表指定一个存储格式 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL#LanguageManualDDL-RowFormat,StorageFormat,andSerDe
  为Hive表指定一个分隔符 http://hortonworks.com/hadoop-tutorial/using-hive-data-analysis/
  加载一个目录数据到Hive表中 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DML#LanguageManualDML-Loadingfilesintotables
  从HDFS目录中加载数据到Hive表中 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DML#LanguageManualDML-Loadingfilesintotables
  把查询的结果加载数据到Hive表中 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DML#LanguageManualDML-InsertingdataintoHiveTablesfromqueries
  加载一个压缩数据到Hive表中 https://cwiki.apache.org/confluence/display/Hive/CompressedStorage
   在Hive表中更新一行记录 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DML#LanguageManualDML-Update
  从 Hive表中删除一条数据 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DML#LanguageManualDML-Delete
  插入一条数据到 Hive 表中 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DML#LanguageManualDML-InsertingvaluesintotablesfromSQL
  对Hive表进行Join操作 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Joins
   通过Tez来执行Hive查询 http://hortonworks.com/hadoop-tutorial/supercharging-interactive-queries-hive-tez/
  使用向量化来执行 Hive 查询 http://hortonworks.com/hadoop-tutorial/supercharging-interactive-queries-hive-tez/
  输出Hive执行计划操作结果 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Explain
   对Hive进行子查询操作 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+SubQueries
  输出Hive统计、排序、交叉、多重操作的查询结果 https://issues.apache.org/jira/browse/HIVE-1402
  设置Hadoop 或Hive 配置属性通过Hive的查询结果中 https://cwiki.apache.org/confluence/display/Hive/AdminManual+Configuration#AdminManualConfiguration-ConfiguringHive

 

原创文章,转载请注明: 转载自并发编程网 – ifeve.com本文链接地址: Hortonworks(HDP)开发者认证-考试大纲

小村长

小村长

小码农 at 高伟达
关注高可用,高并发,高性能以及人工智能大数据方面
小村长

Latest posts by 小村长 (see all)

FavoriteLoading添加本文到我的收藏
  • Trackback are closed
  • Comments (0)
  1. No comments yet.

You must be logged in to post a comment.

return top