【課程名稱】

大數(shù)據開發(fā)工程師

【課程大綱】

LINUX

基本命令

常見配置文件

文件操作命令和權限

安裝軟件

Shell腳本

AWK和sed腳本

內核加載流程

Docker介紹和操作

服務器調優(yōu)項

分布式存儲

Hadoop概述

HBase背景、簡介以及系統(tǒng)架構和原理

HBase邏輯模型：行鍵、列族、timeStamp，HBase物理模型。

HBase環(huán)境搭建：偽分布式安裝、完全分布式安裝

HBase Shell 、HBase客戶端API 、HBase表結構設計

HBase之Mapreduce、HDFS數(shù)據導入HBase

HBase二級索引、WAL機制、HBase集群遷移方案、導入方案、協(xié)處理器

HBase性能調優(yōu)：JVM優(yōu)化、查詢優(yōu)化、寫優(yōu)化、配置參數(shù)優(yōu)化

Zookeeper

Zookeeper概述

Zookeeper系統(tǒng)架構

Zookeeper數(shù)據模型

Zookeeper寫數(shù)據流程

Zookeeper安裝部署

Zookeeper中shell操作

Zookeeper選舉機制

Zookeeper監(jiān)聽操作

Zookeeper 分布式鎖實踐

Zookeeper應用場景

API操作

YARN

YARN介紹

YARN系統(tǒng)架構

YARN作業(yè)提交流程

YARN三種調度策略

YARN隊列配置

YARN的Node Label機制

MapReduce

MapReduce介紹

MapReduce基礎案例

MapReduce分片

MapReduce運行流程及shuftle

MapReduce案例

MapReduce相關參數(shù)

Scala

Scala介紹

Scala基礎語法

數(shù)組和集合

泛型

隱式轉換

IO操作

Spark

Spark概述、整體架構、Spark vs Mapreduce 、Spark vs Hive 、Spark Streaming vs Storm等

Spark 環(huán)境搭建：hive搭建、kafka搭建、安裝apark

Spark 核心編程：基本工作原理、RDD彈性數(shù)據集

開發(fā)wordcount程序

Spark 創(chuàng)建RDD、各種算子操作(Transformation、Actions)、共享變量(廣播、累加)

復雜一些的Spark編程：排名、二次排序、TopN分析

Spark架構分析：寬窄依賴、基于YARN的提交模式、SparkContext原理剖析、注冊機制原理、Executor原理剖析、Task原理剖析、shuffer優(yōu)化、BlockManager原理剖析、CacheManager原理剖析、Checkpoint原理剖析等

Spark Core調優(yōu)：內存、判斷耗時、優(yōu)化數(shù)據結構、RDD與checkpoint、序列化、JVM、提高并行度、廣播共享等

SparkSql

概述、Spark SQL與DataFrame 常用操作

RDD轉換DataFrame的兩種方式：反射方式、編程方式

通用的load和save操作

數(shù)據源：Parquet數(shù)據源、JSON數(shù)據源、Hive數(shù)據源、JDBC數(shù)據源

各種復雜案例

Spark Streaming

簡介概述 與storm和spark對比、helloword

StreamingContext、DStream與Receiver

DStream基于數(shù)據源與HDFS的實時程序

DStream之Kafka數(shù)據源、Direct模式 、Transformation操作、與SparkSQL結合使用

Hive

Hive背景、介紹

Hive環(huán)境安裝：內嵌模式、獨立模式

Hive 的DDL

Hive 的 DML

Hive常見內置函數(shù)

Hive高級數(shù)據類型

Hive窗口函數(shù)

Hive自定義函數(shù)（UDF、UDAF、UDTF）

Hive 分區(qū)表、桶操作

Hive數(shù)據裝載與導出

Hive動態(tài)分區(qū)、Hive高級查詢、Hive索引、Hive視圖

Hive之IO負載策略、HIVE sql優(yōu)化、壓縮、分布式緩存

數(shù)據采集

Sqoop介紹

Sqoop導入和導出命令

Sqoop增量和全量操作

Sqoop優(yōu)化

Flume介紹

Flume離線采集、實時采集、多路采集

Flume攔截器

Flume優(yōu)化

離線數(shù)倉

某大型電商項目數(shù)據倉庫介紹

數(shù)據倉庫規(guī)范

數(shù)據粒度

數(shù)據倉庫模型以及分層

建模介紹

維度建模（維度建模和范式建模）

事實、星座模型

數(shù)據需求分析介紹

數(shù)據應用操作

數(shù)據抽取

數(shù)據清洗

數(shù)據轉化

數(shù)據加載

調度

Azkaban介紹

Azkaban系統(tǒng)結構

Azkaban定時案例

Azkaban性能優(yōu)化

【師資簡介】

大數(shù)據資深講師 張老師

8年工作經驗+教學經驗，畢業(yè)于北京航空航天大學，大數(shù)據培訓講師，在工作場景當中從開發(fā)工程師到項目經理以及架構師等等，參與過多個大型項目背景，關系型數(shù)據庫以及大數(shù)據有深入的研究，關系型數(shù)據庫Oracle理論體系結構均有非常深厚的功底以及大數(shù)據Hadoop和spark有深入的研究。

教課心得：

場景教學，學以致用，善于將復雜的技術簡單化，能引導學生更快捷的學習方式

Oracle Dba資深講師 孫老師

教學：10年工作經驗+教學經驗，畢業(yè)于山東海洋大學，Oracle培訓講師，擁有大型OLTP系統(tǒng)數(shù)據庫性能調優(yōu)、實施、咨詢經驗，數(shù)據庫崩潰災難恢復經驗。擁有多個大型項目開發(fā)、架構設計、集群經驗，并針對很多項目進行運維。

參與多家互聯(lián)網一線大廠億級流量架構設計：從架構到底層全方位涉獵。

教課心得：

課堂實戰(zhàn)均是項目中的模擬場景，以幽默風趣的方式表達出來。

【教學現(xiàn)場】

【學員心得】

經過幾個月的學習,我收獲了很多,也學到了很多,整個的學習體驗總體來說還是比較好的。并且在前幾周的比賽上,還僥幸地獲得了一等獎。

經過喬老師的悉心教導以及高老師每天提醒上課和關心我們,我在這學習的一個月很開心,并且我對 大數(shù)據 的理解又高了一個層次 ,張老師講的這些東西還是比較簡單的。張老師一直把我當做“種子選手”,我自我覺得我不是很配,我只是比大家早學了一點東西而已,等大家的基礎上去之后,我的優(yōu)勢也就沒了。所以呢,以后我要更加努力的學習、打磨技術,把自己的優(yōu)勢保持住,多跟老師以及班里的技術大佬們請教。由于這個月講的東西都比較基礎,所以挑戰(zhàn)性都比較小,調動不起斗志,希望以后的課程能夠激發(fā)我的斗志,為每天枯燥的學校課程里增添一點“樂趣”。

【機構環(huán)境】

【機構簡介】

“黑之貓”是一種文化符號，代表著神秘和智慧，在很多文化中，黑貓也代表著好運、幸運以及智慧等，象征著公司追求高品質、高效率和高智能的發(fā)展理念以及更廣闊的職業(yè)發(fā)展前景。未來，存在無限可能。

濟南黑之貓智能科技有限公司是專注于IT技術培訓公司，公司目前在北京、濟南等地均設有校區(qū)，致力于為客戶提供高品質、高效率、更全面的培訓數(shù)據庫開發(fā)/ETL開發(fā)/大數(shù)據開發(fā)/Java開發(fā)的培訓課程。我們以技術為核心，以客戶為中心，不斷追求卓越的業(yè)務品質和客戶體驗，以幫助學習者更好地了解較新的技術趨勢和市場需求。

我們擁有一支高素質、專業(yè)的團隊，他們具備豐富的行業(yè)經驗和專業(yè)技能以及各大高校畢業(yè)，確保了我們能夠為客戶提供較優(yōu)質的服務。

企業(yè)愿景和使命：

黑之貓將堅守以下價值觀：

-創(chuàng)新：不斷創(chuàng)新，追求卓越。

-合作：互相信任、互相尊重，實現(xiàn)雙贏。

-品質：以客戶為中心，堅持高品質。

-服務：客戶至上，追求卓越的客戶體驗。

-團隊：相信、支持、尊重和激勵團隊成員。