{首页主词},&

網站首頁

大數據工程師

首頁>官網首頁 > 熱門專業 > 大數據工程師

北美大數據5.0課程大綱

第一階段 —— 預科課程

1.組班課程 2.計算機基本技能學年-打字訓練

第二階段 —— JavaEE

一、Java基礎入門

1.搭建Java開發環境2.變量的定義 3.數據類型與運算符 4.循環結構與選擇結構 5.數組 6.項目實戰-吃貨聯盟訂餐系統

二、Java面向對象

1.類和對象2.面向對象的三大特性：封裝、繼承、多態 3.面向對象思想程序設計 4.抽象類和抽象方法 5.接口 6.異常7.項目實戰-QuickHit8.正則表達式9.開發工具：Maven、Git、IDEA

三、Java高級API

1.集合2.實用類和泛型 3.Java I/O與序列化 4.Java反射機制 5.注解的原理 6.多線程編程7.網絡編程8.XML、JSON解析的方法9.常用設計模式 10.項目實戰-嗖嗖移動業務大廳11.項目實戰-超市會員管理系統

四、MySQL數據庫

1.MySQL安裝與SQLyog的使用2.DDL語句：建庫、建表、改表、刪除表 3.DML語句：添加、刪除、修改 4.DQL語句：查詢5.MySQL高階語法：連接查詢、排序、分頁、子查詢、聚合函數、分組查詢 6.MySQL事務（ACID原則、事務實現） 7.視圖8.索引 9.導入導出 10.MySQL進階訓練

五、Java Web

1.HTML5基礎2.JS基礎 3.Tomcat 4.JSP 5.JDBC編程 6.Servlet 7.項目實戰——新聞發布系統VC

六、SSM

1.MyBatis原理及使用2、Spring概述 3.Spring IoC和AOP 4.Spring和MyBatis整合5.Spring MVC 6.Sping Boot7.SSM框架整合8.項目-超市訂單管理系統

七、Linux編程

1.Linux VM 環境搭建2.基本Linux命令 3.SSH配置 4.Linux Shell編程 5.Linux環境安裝MySQL與Tomcat6.Linux部署Java Web應用

八、ELK

1.ELK綜述2.ELK安裝與配置 3.數據清洗、處理和導入– Logstash vs. Filebeat 4.數據存儲與管理 5.數據搜索與分析 6.項目實戰

第三階段 —— Hadoop

一、HDFS

1.大數據概述2.Hadoop生態圈概述 3.大數據分布式處理的基本方法 4.Hadoop架構及核心模塊 5.DFS基本文件操作命令6.HDFS編程 7.用Java實現HDFS文件操作

二、MapReduce

1.MapReduce分布式計算的基本原理2.使用Java進行MapReduce編程 3.MapReduce任務執行

三、Hive

1.Hive的作用、優勢和基本架構2.Hive數據類型、元數據、存儲模型 3.Hive DDL、DML、數據查詢 4.Hive高級特性5.Hive函數、自定義函數 6.Hive性能調優

四、HBase

1.NoSQL綜述2.HBase的基本概念 3.HBase架構、數據模型 4.HBase數據導入 5.HBase數據查詢 6.使用Shell操作HBase 7.HBase API與數據讀取優化8.Phoenix的使用 9.Hive操作HBase表 10.HBase高級操作

五、Sqoop

1.Sqoop介紹2.Sqoop常用命令使用 3.使用Sqoop完成從RDB到HDFS的數據遷移 4.使用Sqoop完成從RDB到Hive的數據遷移5.使用Sqoop完成從Hive到RDB的數據遷移

六、離線項目實戰

項目實戰-電子商務消費行為分析

第四階段 —— Spark

一、構建離線數據分析平臺—用戶興趣取向分析

1.項目介紹及數據湖架構與建設2.日志數據探索 3.Apache Kafka基礎及開發 4.Apache Flume基礎及使用案例 5.日志數據導入6.日志數據（Hive）ETL變換 7.機器學習及常用模型介紹 8.項目實戰—圖像分析9.建立日志推薦模型 10.Apache Oozie架構及工作流模型11.日志數據ETL工作流 12.基于Spark Streaming的流數據處理和分析 13.使用Spark Streaming及ML實施用戶興趣取向實時預測 14.建立Tableau與MySQL的鏈接，數據可視化及生成日志報表 15.項目部署 16.Apache NiFi基礎及架構17.日志數據流程（data flow）開發 18.Cassandra基礎及使用 19.Cassandra與Spark的集成20.日志數據（Spark）ETL開發 21.Redis基礎及使用 22.Redis與Spark的集成23.企業數據監管綜述及實施 24.項目大總結

二、實時流處理平臺—股票流數據實時分析

1.項目介紹及數據格式定義2.Apache Kafka開發 3.股票數據爬取 4.基于Confluent的股票元數據管理及應用 5.基于Apache Flink流數據處理及實時分析 6.使用Apache Flink實施股票的實施分析 7.Grafana/Zeppelin數據可視化

三、混合計算項目實戰—教育平臺大數據分析

1.項目介紹及數據格式定義2.Apache Kafka開發3.Flume采集數據 4.Hive數據分析及處理 5.Spark數據分析及處理 6.Spark Streaming實現數據處理 7.工作流調度 8.可視化開發

四、阿里云大數據ACP認證

1.電影評價數據的采集2.基于LBS的熱點店鋪搜索 3.搭建社交好友推薦系統 4.TensorFlow框架識別圖片5.模擬搭建數據中心 6.數據倉庫系統的運維優化 7.搭建運營工單數據分析系統8.海量電力設備監測數據分析

大數據擴展

一、大數據系統管理優化

1.提升系統的高可靠性 (High Availability)2.提升Hive的高可靠性 3.提升系統的安全性 - 認證(Authentication)4.授權（Authorizatioin）及審計(Auditing) 5.數據保護

二、結業典禮

結業典禮

CC服務

一、大數據系統管理優化

1.初識matplotlib2.matplotlib常用設置及繪圖方法 3.初識pyecharts4.pyecharts繪制常用圖形 5.數據保護

二、機器學習

項目實戰—機器學習實戰（預測房價數據）

三、面試與工作經驗指導

面試題解析

第四階段 —— Spark

一、Scala編程

1.Scala開發環境設置2.Scala編程 3.數據類型與集合 4.Scala函數編寫 5.類和特征以及對象6.Scala高級 7.Scala(Regular Expression)正則表達式 8.ScalaAPI及使用 9.Scala中的Java集成使用 10.Scala異常處理

二、Spark Core

1.Spark概述及架構2.RDD 概述 3.RDD Transformation&Action 4.數據分區(Partition)與Shuffle5.RDD 緩存與檢查點 6.Spark Shell7.Spark RDD應用

三、Spark SQL

1.Spark SQL API介紹2.Spark SQL優化器 3.DataFrame與DataSet 4.Spark SQL集成Hive5.Spark SQL Shell編程

四、Spark GraphX

1、Spark GraphX 數據模型及API2、圖形數據分析管道 - 案例介紹 3、項目練習 - 航班飛行網圖分析

五、Spark 機器學習

1.機器學習的步驟2.Spark MLlib概述 3.Spark MLlib數據類型 4.Labeled Point概念 5.SVM分類介紹 6.K-Means聚類介紹7.Spark ML介紹

第五階段 —— Python

一、Python編程

1.Python環境搭建及Python數據類型2.Python基礎及函數 3.Python I/O及文件讀寫 4.Python面向對象編程 5.NumPy及Pandas庫

二、Python數據爬取

1.Python實施Web數據爬取的基本原理和方法構2.使用LXML Python庫進行Web數據爬取 3.Scrapy進行Web數據爬取4.PySpider服務進行Web數據爬取 5.實戰爬取領英公共數據 6.實戰爬取雅虎金融數據

三、Spark SQLPython數據采集、整理與清洗

1.數據采集的數據源與基本方法2.數據清洗的基本流程與方法 3.使用Python實施數據清洗 4.使用Python實施數據校驗5.元數據并理解其在大數據環境中的重要作用6.數據存儲、處理、集成、分析、服務等基本概論

四、Python機器學習

1.機器學習概述2.Spark機器學習數據結構及流程 3.機器學習模型概述 4.分類（Classification）模型 5.聚類（Clustering）模型 6.推薦（Recommendation）模型 7.sklearn庫的使用8.項目實戰：圖像分析

五、PySpark

1.PySpark架構介紹2.Anaconda/Jupyter Notebook使用 3.PySpark的集成及使用

第六階段 —— 項目實戰

一、用戶興趣取向分析

1.項目分析2.Kafka與Flume的應用開發 3.Hive ETL4.PySpark完成機器學習 5.Oozie完成工作流調度6.Spark Streaming實現實時預測 7.Tableau可視化開發 8.Cassandra、Redis的應用9.NiFi的使用 10.用戶興趣取向分析項目實戰開發

二、股票數據流實時分析

1.項目介紹及數據格式定義2.Apache Kafka開發（連接器與流處理） 3.基于Confluent的股票元數據管理及應用 4.Flink流數據處理及實時分析5.Flink實施股票的實施分析 6.Grafana/Zeppelin數據可視化 7.股票數據扒取項目開發

三、教育平臺大數據分析

1.項目介紹及數據格式定義2.Apache Kafka開發（連接器與流處理） 3.Flume采集數據 4.Hive數據分析及處理5.Spark Streaming實現數據處理 6.工作流調度 7.可視化開發

四、在線教育全文檢索平臺

1.通過Python爬蟲獲取數據2.將爬取數據存入HBase 3.構建ELK全文檢索服務 4.實現全文檢索功能5.實現web操作頁面

第七階段 —— 大數據系統管理優化

一、提升系統的高可靠性 (High Availability)

1.HDFS HA高可用原理及實現2.YRAN HA高可用原理及實現 3.Hive HA高可用原理及實現

二、提升系統的安全性 - 認證(Authentication)

1.規則用戶管理 2.Kerberos認證 3.用戶名(User Name)及密碼(Password)認證 4.認證密匙（Tokens）5.身份扮演（Impersonation）

三、授權（Authorization）及審計(Auditing)

1.HDFS授權2.HDFS擴展使用控制（Extended ACL） 3.Apache Ranger介紹和使用 4.HDFS，YARN及MapReduce審計日志（logs）5.Hive審計日志（logs） 6.Apache Ranger審計框架（Framework）介紹 7.日志分析

四、數據保護

1.數據加密（Data Encryption）2.加密（Encryption）及鑰匙管理（Key Management) 3.HDFS數據加密4.Apache Ranger KMS介紹和使用

第八階段 —— 阿里云平臺

一、阿里云平臺

1.阿里云平臺概述 2.使用阿里云平臺

二、實驗環境搭建

1.使用阿里云平臺進行實驗環境搭建 2.實驗環境的使用流程

三、阿里云項目訓練

1.1.阿里云平臺項目講解 2.阿里云平臺項目訓練

四、阿里云認證指導

1.阿里云認證課程ACA指導2.阿里云認證課程ACP指導面

第九階段 —— CC服務

1.技術專題深入學習2.面試與工作經驗指導 3.試用期、轉正期，跳槽期技術支持 4.實際工作問題解決方案5.職業發展規劃