課程簡(jiǎn)介
大數(shù)據(jù)建模與分析挖掘技術(shù)已經(jīng)逐步地應(yīng)用到新興互聯(lián)網(wǎng)企業(yè)（如電子商務(wù)網(wǎng)站、搜索引擎、社交網(wǎng)站、互聯(lián)網(wǎng)廣告服務(wù)提供商等）、銀行金融證券企業(yè)、電信運(yùn)營(yíng)等行業(yè)，給這些行業(yè)帶來(lái)了一定的數(shù)據(jù)價(jià)值增值作用。
目標(biāo)收益
1.本課程讓學(xué)員充分掌握大數(shù)據(jù)平臺(tái)技術(shù)架構(gòu)、大數(shù)據(jù)分析的基本理論、大數(shù)據(jù)分析挖掘應(yīng)用實(shí)戰(zhàn)技能、國(guó)內(nèi)外主流的大數(shù)據(jù)分析與BI商業(yè)智能分析解決方案、以及大數(shù)據(jù)分析在搜索引擎、廣告服務(wù)推薦、電商數(shù)據(jù)分析、金融客戶分析方面的應(yīng)用案例。
2.本課程強(qiáng)調(diào)主流的大數(shù)據(jù)分析挖掘算法技術(shù)的應(yīng)用和分析平臺(tái)的實(shí)施，讓學(xué)員掌握主流的基于大數(shù)據(jù)Hadoop和Spark、R的大數(shù)據(jù)分析平臺(tái)架構(gòu)和實(shí)際應(yīng)用，并用結(jié)合實(shí)際的生產(chǎn)系統(tǒng)案例進(jìn)行教學(xué)，掌握基于Hadoop大數(shù)據(jù)平臺(tái)的數(shù)據(jù)挖掘和數(shù)據(jù)倉(cāng)庫(kù)分布式系統(tǒng)平臺(tái)應(yīng)用，以及商業(yè)和開源的數(shù)據(jù)分析產(chǎn)品加上Hadoop平臺(tái)形成大數(shù)據(jù)分析平臺(tái)的應(yīng)用剖析。
培訓(xùn)對(duì)象
課程大綱
| 數(shù)據(jù)建模概念 |
?為什么要數(shù)據(jù)建模 ?數(shù)據(jù)建模解決哪些問題 ?什么是邏輯數(shù)據(jù)模型 ?模型設(shè)計(jì)的流程 ?邏輯模型設(shè)計(jì) ?物理模型設(shè)計(jì) ?數(shù)據(jù)建模的工具介紹 |
| 基于大數(shù)據(jù)平臺(tái)分析和挖掘工具 |
?業(yè)界主流的基于Hadoop和Spark的大數(shù)據(jù)分析挖掘項(xiàng)目解決方案 ?業(yè)界數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)分析挖掘平臺(tái)軟件工具 ?Hadoop數(shù)據(jù)倉(cāng)庫(kù)工具Hive、Tez、Kylin和Presto ?Spark實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)工具SparkSQL ?Spark機(jī)器學(xué)習(xí)與數(shù)據(jù)分析挖掘工具M(jìn)Llib和SparkR ?大數(shù)據(jù)分析挖掘項(xiàng)目的實(shí)施步驟 |
| 數(shù)據(jù)集成 |
?日志數(shù)據(jù)解析和導(dǎo)入導(dǎo)出到數(shù)據(jù)倉(cāng)庫(kù)的操作訓(xùn)練 ?從原始搜索數(shù)據(jù)集中抽取、集成數(shù)據(jù)，整理后形成規(guī)范的數(shù)據(jù)倉(cāng)庫(kù) ?數(shù)據(jù)分析挖掘模塊從大型的集中式數(shù)據(jù)倉(cāng)庫(kù)中訪問數(shù)據(jù)，一個(gè)數(shù)據(jù)倉(cāng)庫(kù)面向一個(gè)主題，構(gòu)建兩個(gè)數(shù)據(jù)倉(cāng)庫(kù) ?同一個(gè)數(shù)據(jù)倉(cāng)庫(kù)中的事實(shí)表數(shù)據(jù)，可以給多個(gè)不同類型的分析挖掘任務(wù)調(diào)用 ?去除噪聲 |
| HIVE數(shù)據(jù)倉(cāng)庫(kù)集群的多維分析建模應(yīng)用實(shí)踐 |
?基于Hadoop的大型分布式數(shù)據(jù)倉(cāng)庫(kù)在行業(yè)中的數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用案例 ?Hive數(shù)據(jù)倉(cāng)庫(kù)集群的平臺(tái)體系結(jié)構(gòu)、核心技術(shù)剖析 ?Hive Server的工作原理、機(jī)制與應(yīng)用 ?Hive數(shù)據(jù)倉(cāng)庫(kù)集群的安裝部署與配置優(yōu)化 ?Hive應(yīng)用開發(fā)技巧 ?Hive SQL剖析與應(yīng)用實(shí)踐 ?Hive數(shù)據(jù)倉(cāng)庫(kù)表與表分區(qū)、表操作、數(shù)據(jù)導(dǎo)入導(dǎo)出、客戶端操作技巧 ?Hive數(shù)據(jù)倉(cāng)庫(kù)報(bào)表設(shè)計(jì) ?將原始的日志數(shù)據(jù)集，經(jīng)過整理后，加載至Hadoop + Hive數(shù)據(jù)倉(cāng)庫(kù)集群中，用于共享訪問 |
| R語(yǔ)言介紹 |
?R語(yǔ)言介紹 ?R語(yǔ)言常用的分析庫(kù)介紹 ?R語(yǔ)言開發(fā)環(huán)境介紹 ?R分析分析和挖掘案例實(shí)戰(zhàn) ?Spark和R的整合 |
| 聚類分析建模與挖掘算法的實(shí)現(xiàn)原理和技術(shù)應(yīng)用 |
?聚類分析建模與算法原理及其在Spark MLlib中的實(shí)現(xiàn)與應(yīng)用，包括： a)Canopy聚類（canopy clustering） b)K均值算法（K-means clustering） c)模糊K均值（Fuzzy K-means clustering） d)EM聚類，即期望最大化聚類（Expectation Maximization） e)以上算法在Spark MLib中的實(shí)現(xiàn)原理和實(shí)際場(chǎng)景中的應(yīng)用案例。 ?Spark聚類分析算法程序示例 |
| 分類分析建模與挖掘算法的實(shí)現(xiàn)原理和技術(shù)應(yīng)用 |
?分類分析建模與算法原理及其在Spark MLlib中的實(shí)現(xiàn)與應(yīng)用， 包括： a.Spark決策樹算法實(shí)現(xiàn) b.邏輯回歸算法（logistics regression） c.貝葉斯算法（Bayesian與Cbeyes） d.支持向量機(jī)（Support vector machine） e.以上算法在Spark MLlib中的實(shí)現(xiàn)原理和實(shí)際場(chǎng)景中的應(yīng)用案例。 ?Spark客戶資料分析與給用戶貼標(biāo)簽的程序示例 ?Spark實(shí)現(xiàn)給商品貼標(biāo)簽的程序示例 ?Spark實(shí)現(xiàn)用戶行為的自動(dòng)標(biāo)簽和深度技術(shù) |
| 推薦分析挖掘模型與算法技術(shù)應(yīng)用 |
?推薦算法原理及其在Spark MLlib中的實(shí)現(xiàn)與應(yīng)用，包括： a)Spark協(xié)同過濾算法程序示例 b)Item-based協(xié)同過濾與推薦 c)User-based協(xié)同過濾與推薦 ?交叉銷售推薦模型及其實(shí)現(xiàn) |
| 回歸分析模型與預(yù)測(cè)算法 |
?利用線性回歸（多元回歸）實(shí)現(xiàn)訪問量預(yù)測(cè) ?利用非線性回歸預(yù)測(cè)成交量和訪問量的關(guān)系 ?基于SparkR實(shí)現(xiàn)回歸分析模型及其應(yīng)用操作 ?Spark回歸程序?qū)崿F(xiàn)異常點(diǎn)檢測(cè)的程序示例 |
| Spark Graphx數(shù)據(jù)挖掘 |
?Spark Graphx介紹 ?GraphxFrame介紹 ?復(fù)雜社交網(wǎng)落分析實(shí)戰(zhàn) ?圖分析實(shí)戰(zhàn) |
|
數(shù)據(jù)建模概念 ?為什么要數(shù)據(jù)建模 ?數(shù)據(jù)建模解決哪些問題 ?什么是邏輯數(shù)據(jù)模型 ?模型設(shè)計(jì)的流程 ?邏輯模型設(shè)計(jì) ?物理模型設(shè)計(jì) ?數(shù)據(jù)建模的工具介紹 |
|
基于大數(shù)據(jù)平臺(tái)分析和挖掘工具 ?業(yè)界主流的基于Hadoop和Spark的大數(shù)據(jù)分析挖掘項(xiàng)目解決方案 ?業(yè)界數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)分析挖掘平臺(tái)軟件工具 ?Hadoop數(shù)據(jù)倉(cāng)庫(kù)工具Hive、Tez、Kylin和Presto ?Spark實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)工具SparkSQL ?Spark機(jī)器學(xué)習(xí)與數(shù)據(jù)分析挖掘工具M(jìn)Llib和SparkR ?大數(shù)據(jù)分析挖掘項(xiàng)目的實(shí)施步驟 |
|
數(shù)據(jù)集成 ?日志數(shù)據(jù)解析和導(dǎo)入導(dǎo)出到數(shù)據(jù)倉(cāng)庫(kù)的操作訓(xùn)練 ?從原始搜索數(shù)據(jù)集中抽取、集成數(shù)據(jù)，整理后形成規(guī)范的數(shù)據(jù)倉(cāng)庫(kù) ?數(shù)據(jù)分析挖掘模塊從大型的集中式數(shù)據(jù)倉(cāng)庫(kù)中訪問數(shù)據(jù)，一個(gè)數(shù)據(jù)倉(cāng)庫(kù)面向一個(gè)主題，構(gòu)建兩個(gè)數(shù)據(jù)倉(cāng)庫(kù) ?同一個(gè)數(shù)據(jù)倉(cāng)庫(kù)中的事實(shí)表數(shù)據(jù)，可以給多個(gè)不同類型的分析挖掘任務(wù)調(diào)用 ?去除噪聲 |
|
HIVE數(shù)據(jù)倉(cāng)庫(kù)集群的多維分析建模應(yīng)用實(shí)踐 ?基于Hadoop的大型分布式數(shù)據(jù)倉(cāng)庫(kù)在行業(yè)中的數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用案例 ?Hive數(shù)據(jù)倉(cāng)庫(kù)集群的平臺(tái)體系結(jié)構(gòu)、核心技術(shù)剖析 ?Hive Server的工作原理、機(jī)制與應(yīng)用 ?Hive數(shù)據(jù)倉(cāng)庫(kù)集群的安裝部署與配置優(yōu)化 ?Hive應(yīng)用開發(fā)技巧 ?Hive SQL剖析與應(yīng)用實(shí)踐 ?Hive數(shù)據(jù)倉(cāng)庫(kù)表與表分區(qū)、表操作、數(shù)據(jù)導(dǎo)入導(dǎo)出、客戶端操作技巧 ?Hive數(shù)據(jù)倉(cāng)庫(kù)報(bào)表設(shè)計(jì) ?將原始的日志數(shù)據(jù)集，經(jīng)過整理后，加載至Hadoop + Hive數(shù)據(jù)倉(cāng)庫(kù)集群中，用于共享訪問 |
|
R語(yǔ)言介紹 ?R語(yǔ)言介紹 ?R語(yǔ)言常用的分析庫(kù)介紹 ?R語(yǔ)言開發(fā)環(huán)境介紹 ?R分析分析和挖掘案例實(shí)戰(zhàn) ?Spark和R的整合 |
|
聚類分析建模與挖掘算法的實(shí)現(xiàn)原理和技術(shù)應(yīng)用 ?聚類分析建模與算法原理及其在Spark MLlib中的實(shí)現(xiàn)與應(yīng)用，包括： a)Canopy聚類（canopy clustering） b)K均值算法（K-means clustering） c)模糊K均值（Fuzzy K-means clustering） d)EM聚類，即期望最大化聚類（Expectation Maximization） e)以上算法在Spark MLib中的實(shí)現(xiàn)原理和實(shí)際場(chǎng)景中的應(yīng)用案例。 ?Spark聚類分析算法程序示例 |
|
分類分析建模與挖掘算法的實(shí)現(xiàn)原理和技術(shù)應(yīng)用 ?分類分析建模與算法原理及其在Spark MLlib中的實(shí)現(xiàn)與應(yīng)用， 包括： a.Spark決策樹算法實(shí)現(xiàn) b.邏輯回歸算法（logistics regression） c.貝葉斯算法（Bayesian與Cbeyes） d.支持向量機(jī)（Support vector machine） e.以上算法在Spark MLlib中的實(shí)現(xiàn)原理和實(shí)際場(chǎng)景中的應(yīng)用案例。 ?Spark客戶資料分析與給用戶貼標(biāo)簽的程序示例 ?Spark實(shí)現(xiàn)給商品貼標(biāo)簽的程序示例 ?Spark實(shí)現(xiàn)用戶行為的自動(dòng)標(biāo)簽和深度技術(shù) |
|
推薦分析挖掘模型與算法技術(shù)應(yīng)用 ?推薦算法原理及其在Spark MLlib中的實(shí)現(xiàn)與應(yīng)用，包括： a)Spark協(xié)同過濾算法程序示例 b)Item-based協(xié)同過濾與推薦 c)User-based協(xié)同過濾與推薦 ?交叉銷售推薦模型及其實(shí)現(xiàn) |
|
回歸分析模型與預(yù)測(cè)算法 ?利用線性回歸（多元回歸）實(shí)現(xiàn)訪問量預(yù)測(cè) ?利用非線性回歸預(yù)測(cè)成交量和訪問量的關(guān)系 ?基于SparkR實(shí)現(xiàn)回歸分析模型及其應(yīng)用操作 ?Spark回歸程序?qū)崿F(xiàn)異常點(diǎn)檢測(cè)的程序示例 |
|
Spark Graphx數(shù)據(jù)挖掘 ?Spark Graphx介紹 ?GraphxFrame介紹 ?復(fù)雜社交網(wǎng)落分析實(shí)戰(zhàn) ?圖分析實(shí)戰(zhàn) |
近期公開課推薦
