課程簡介
本課程有2位老師共同授課（X. Liu & Z. Tan）
大數(shù)據(jù)短短數(shù)年之間，就從概念的萌芽，到現(xiàn)在的蓬勃發(fā)展，再到最近被納入十三五國家戰(zhàn)略，僅僅花費了數(shù)年的時間。那大數(shù)據(jù)到底有何魔力？又能改變什么？在這個大數(shù)據(jù)時代，借力大數(shù)據(jù)技術，快速發(fā)現(xiàn)問題，解決問題，發(fā)掘需求，創(chuàng)造需求，是互聯(lián)網(wǎng)+成功企業(yè)中的重要一環(huán)。如何讓公司插上大數(shù)據(jù)的翅膀，借助大數(shù)據(jù)從用戶反饋、產(chǎn)品改進、高層決策、精準營銷、生態(tài)建設等方方面面來大幅提升企業(yè)的競爭力？本課程將從零開始一步一步引導你，如何搭建一個功能完善的大數(shù)據(jù)平臺，如何做好數(shù)據(jù)分析工作，以及如何進一步挖掘出數(shù)據(jù)的價值。本課程的每一部分都注重理論的引導與實際經(jīng)驗的結合，深入淺出，涵蓋技術的原理，歷史起源、后續(xù)發(fā)展，并注重與實例的結合，具有很強的實用性。
目標收益
課程中的內(nèi)容涵蓋理論和經(jīng)驗，是作者們在大數(shù)據(jù)行業(yè)長年摸爬滾打出來的最佳實踐的總結。經(jīng)過這些課程培訓，可以使學員能夠對大數(shù)據(jù)體系有全面而又清晰的認識，了解從平臺搭建、到數(shù)據(jù)分析再到數(shù)據(jù)價值的挖掘各個方面的實用知識，可以即刻在實際工作中學以致用，運用大數(shù)據(jù)理論、方法來提升部門或公司的業(yè)績。
培訓對象
1． 小型企業(yè)的技術負責人；
2. 大中型企業(yè)的數(shù)據(jù)部門相關人員、或是對數(shù)據(jù)感興趣的其他部門的研發(fā)總監(jiān)、部門經(jīng)理、一線研發(fā)工程師等人員均可；
課程內(nèi)容
X. Liu ——大數(shù)據(jù)架構師，數(shù)據(jù)平臺群組經(jīng)理
數(shù)據(jù)架構師，系統(tǒng)分析師，專注于數(shù)據(jù)平臺和數(shù)據(jù)價值類工作已經(jīng)8年有余，曾多次在全國范圍內(nèi)給業(yè)界分享大數(shù)據(jù)實踐經(jīng)驗。目前在廣發(fā)證券擔任大數(shù)據(jù)架構師、大數(shù)據(jù)平臺經(jīng)理。曾任職于騰訊微信、騰訊數(shù)據(jù)平臺、魅族數(shù)據(jù)團隊、盛大數(shù)據(jù)中心等。項目方面，作為骨干員工參與過騰訊TDW分布式數(shù)據(jù)倉庫建設和微信數(shù)據(jù)分析；作為tech lead，幫助廣發(fā)、盛大和魅族等企業(yè)從零開始搭建了大數(shù)據(jù)平臺，并利用該平臺協(xié)助上述企業(yè)將數(shù)據(jù)價值落地。
Z. Tan 博士 —— CTO，算法專家
專注于機器學習與人工智能技術，09年在香港大學取得博士，曾任職香港ASTRI（香港應用科技研究院）、StatsMaster等單位。在StatsMaster任職Senior Researcher期間，作為Technical Leader帶領團隊開發(fā)了體育視頻智能分析系統(tǒng)，申請了多項與模式識別、智能分析相關的專利。曾作為魅族算法團隊負責人，幫助魅族從無到有建立了推薦系統(tǒng)、輿情分析系統(tǒng)、與廣告競價系統(tǒng)等多套數(shù)據(jù)算法。目前在一家初創(chuàng)VR企業(yè)擔任CTO職位。
課程大綱
| 數(shù)據(jù)平臺 |
1. 引言：大數(shù)據(jù)的基本概念、歷史和發(fā)展 從傳統(tǒng)數(shù)據(jù)倉庫概念，如何演進到大數(shù)據(jù)的概念，以及大數(shù)據(jù)的4V等特性；傳統(tǒng)數(shù)據(jù)倉庫技術體系和大數(shù)據(jù)之間有什么區(qū)別？現(xiàn)在大數(shù)據(jù)帶來了哪些改變，以及今后大數(shù)據(jù)會如何發(fā)展，如何改變我們的生活？ 2. 大數(shù)據(jù)平臺整體組成 要想玩轉大數(shù)據(jù)，平臺至關重要。如何從零開始一步一步搭建一個大數(shù)據(jù)平臺？它由哪些部分組成？每個部分的功能定義是什么、為什么這么設計？ 3. 大數(shù)據(jù)平臺的核心“三大件”原理和架構 大數(shù)據(jù)平臺最核心的三個組件當屬數(shù)據(jù)計算和存儲系統(tǒng)、數(shù)據(jù)任務調(diào)度系統(tǒng)、數(shù)據(jù)交換和傳輸系統(tǒng)了。這三個系統(tǒng)的工作原理和詳細架構是怎樣？在實踐中會遇到哪些問題？如何提高他們的性能？ 4. 大數(shù)據(jù)平臺組件的延伸以及拓展 要想真正發(fā)揮大數(shù)據(jù)平臺的威力，除了大數(shù)據(jù)平臺核心“三大件”以外，其他組件也必不可少，比如元數(shù)據(jù)管理系統(tǒng)、集成開發(fā)平臺、報表組件、數(shù)據(jù)質量管理系統(tǒng)、權限系統(tǒng)、數(shù)據(jù)安全管理、統(tǒng)一監(jiān)控和告警系統(tǒng)等等。這些系統(tǒng)該按照什么樣的順序搭建？如何決定這些系統(tǒng)的技術路線？如何打通這么多子系統(tǒng)，讓大數(shù)據(jù)平臺成為一個整體？ 5. 大數(shù)據(jù)實時處理系統(tǒng)的案例實踐 隨著數(shù)據(jù)業(yè)務的發(fā)展，傳統(tǒng)T+1延遲的離線數(shù)據(jù)倉庫已經(jīng)不能滿足業(yè)務的需求，數(shù)據(jù)系統(tǒng)的實時性問題越來越被人們所關注。不過，提高數(shù)據(jù)的實時性勢必帶來很多新的挑戰(zhàn)，比如如何簡化實時系統(tǒng)的復雜度、如何保證其可靠性、如何降低實時數(shù)據(jù)開發(fā)難度、如何平衡成本和性能等等。本小節(jié)將以一個實際的案例為基礎，講授如何打造一個高效、可靠的大數(shù)據(jù)實時處理系統(tǒng)。 |
| 數(shù)據(jù)分析與數(shù)據(jù)價值 |
1. 引言：大數(shù)據(jù)分析方法論以及幾個案例 本章將通過幾個數(shù)據(jù)分析的實際案例/故事，來講述數(shù)據(jù)分析過程中可能會遇到的困難、怎樣去解決這些困難、并由此總結出幾種實用的數(shù)據(jù)分析解決方案。 2. 如何讓數(shù)據(jù)價值在企業(yè)落地 很多企業(yè)都有大數(shù)據(jù)落地難的問題。明明投入了這么多，但很少發(fā)現(xiàn)有價值的產(chǎn)出。是什么原因造成了這樣的困境？如何擺脫這樣的困境，行之有效的實現(xiàn)數(shù)據(jù)價值的最大化？ 3. 數(shù)據(jù)價值的不同場景和不同維度，以及案例分析 數(shù)據(jù)價值在不同場景下有不同的表現(xiàn)，同時也有不同的維度去度量它。本小節(jié)將帶來數(shù)個案例，分別講述在不同場景、不同維度下如何讓數(shù)據(jù)產(chǎn)生價值。讓聽課者能夠場景化的體會數(shù)據(jù)價值的落地過程。 4. 大數(shù)據(jù)建模 如何從一個實際的業(yè)務問題出發(fā)，完成從領域模型到數(shù)據(jù)模型的轉換：需要收集哪些數(shù)據(jù)，定義哪些關鍵指標，以及何組織和存儲這些數(shù)據(jù)。 5. 如何打造數(shù)據(jù)團隊 數(shù)據(jù)團隊在發(fā)展過程中，不同時期的人員構成比例是怎樣的；和一般的團隊相比，數(shù)據(jù)團隊有哪些特點；如何樹立團隊的影響力、以及和其他團隊/部門的溝通技巧等。 6. 數(shù)據(jù)思維 數(shù)據(jù)思維是什么？如何讓大家都會用數(shù)據(jù)、懂數(shù)據(jù)？如何去培養(yǎng)全員的數(shù)據(jù)思維？有了數(shù)據(jù)思維有什么好處？ |
| 數(shù)據(jù)挖掘 |
1. 引言：數(shù)據(jù)挖掘中的務實與務虛 通過數(shù)據(jù)挖掘的獲得的價值有很多，表現(xiàn)在很多方面，總體歸結為實與虛兩類。本小節(jié)將講訴什么是務實？什么是務虛？并以幾個案例展開闡述在公司不同的發(fā)展階段，該如何實現(xiàn)務實業(yè)務與務虛業(yè)務的最佳結合。 2. 無監(jiān)督機器學習及案例 無監(jiān)督機器學習技術常常用于數(shù)據(jù)的探索、降維，本小節(jié)著重描述數(shù)據(jù)挖掘中常常用到的哪些無監(jiān)督學習方法及技術。將結合多個案例，介紹幾種無監(jiān)督學習技術的原理、工具以及應用實例。 3. 有監(jiān)督機器學習及案例 有監(jiān)督機器學習技術在數(shù)據(jù)挖掘中占有重要的地位，它通過學習歷史數(shù)據(jù)來建立各種預測模型。本小節(jié)重點闡述數(shù)據(jù)挖掘中常常用到的有監(jiān)督學習方法、技術及工具。將結合多個案例，介紹多種有監(jiān)督學習技術的原理、工具以及案例。 4. 個性化推薦系統(tǒng)：不同業(yè)務場景下的個性化推薦解決方案 在各大互聯(lián)網(wǎng)公司中，個性化推薦往往是使用最廣泛的數(shù)據(jù)挖掘應用。本文講從詳細闡述個性化推薦系統(tǒng)的歷史發(fā)展、原理、常用技術，并結合幾種不同業(yè)務場景，詳細介紹如何搭建適合不同業(yè)務場景下個性化推薦系統(tǒng)。 5. 深度學習及案例 深度學習是近十年人工智能領域中取得的一個重大突破。它的出現(xiàn)極大的增強了對數(shù)據(jù)的理解力。本小節(jié)將結合案例簡要介紹深度學習的發(fā)展歷史、原理、難點、常用工具以及相關應用。 6. 綜合案例：從海量互聯(lián)網(wǎng)數(shù)據(jù)中挖掘有用的輿情信息 本文將以一個完整的輿情分析系統(tǒng)為案例，系統(tǒng)性的闡述了如何將以上學習到的無監(jiān)督學習技術、有監(jiān)督學習技術以及深度學習技術結合起來，建立一個實用的、功能完備的數(shù)據(jù)挖掘系統(tǒng)。 |
|
數(shù)據(jù)平臺 1. 引言：大數(shù)據(jù)的基本概念、歷史和發(fā)展 從傳統(tǒng)數(shù)據(jù)倉庫概念，如何演進到大數(shù)據(jù)的概念，以及大數(shù)據(jù)的4V等特性；傳統(tǒng)數(shù)據(jù)倉庫技術體系和大數(shù)據(jù)之間有什么區(qū)別？現(xiàn)在大數(shù)據(jù)帶來了哪些改變，以及今后大數(shù)據(jù)會如何發(fā)展，如何改變我們的生活？ 2. 大數(shù)據(jù)平臺整體組成 要想玩轉大數(shù)據(jù)，平臺至關重要。如何從零開始一步一步搭建一個大數(shù)據(jù)平臺？它由哪些部分組成？每個部分的功能定義是什么、為什么這么設計？ 3. 大數(shù)據(jù)平臺的核心“三大件”原理和架構 大數(shù)據(jù)平臺最核心的三個組件當屬數(shù)據(jù)計算和存儲系統(tǒng)、數(shù)據(jù)任務調(diào)度系統(tǒng)、數(shù)據(jù)交換和傳輸系統(tǒng)了。這三個系統(tǒng)的工作原理和詳細架構是怎樣？在實踐中會遇到哪些問題？如何提高他們的性能？ 4. 大數(shù)據(jù)平臺組件的延伸以及拓展 要想真正發(fā)揮大數(shù)據(jù)平臺的威力，除了大數(shù)據(jù)平臺核心“三大件”以外，其他組件也必不可少，比如元數(shù)據(jù)管理系統(tǒng)、集成開發(fā)平臺、報表組件、數(shù)據(jù)質量管理系統(tǒng)、權限系統(tǒng)、數(shù)據(jù)安全管理、統(tǒng)一監(jiān)控和告警系統(tǒng)等等。這些系統(tǒng)該按照什么樣的順序搭建？如何決定這些系統(tǒng)的技術路線？如何打通這么多子系統(tǒng)，讓大數(shù)據(jù)平臺成為一個整體？ 5. 大數(shù)據(jù)實時處理系統(tǒng)的案例實踐 隨著數(shù)據(jù)業(yè)務的發(fā)展，傳統(tǒng)T+1延遲的離線數(shù)據(jù)倉庫已經(jīng)不能滿足業(yè)務的需求，數(shù)據(jù)系統(tǒng)的實時性問題越來越被人們所關注。不過，提高數(shù)據(jù)的實時性勢必帶來很多新的挑戰(zhàn)，比如如何簡化實時系統(tǒng)的復雜度、如何保證其可靠性、如何降低實時數(shù)據(jù)開發(fā)難度、如何平衡成本和性能等等。本小節(jié)將以一個實際的案例為基礎，講授如何打造一個高效、可靠的大數(shù)據(jù)實時處理系統(tǒng)。 |
|
數(shù)據(jù)分析與數(shù)據(jù)價值 1. 引言：大數(shù)據(jù)分析方法論以及幾個案例 本章將通過幾個數(shù)據(jù)分析的實際案例/故事，來講述數(shù)據(jù)分析過程中可能會遇到的困難、怎樣去解決這些困難、并由此總結出幾種實用的數(shù)據(jù)分析解決方案。 2. 如何讓數(shù)據(jù)價值在企業(yè)落地 很多企業(yè)都有大數(shù)據(jù)落地難的問題。明明投入了這么多，但很少發(fā)現(xiàn)有價值的產(chǎn)出。是什么原因造成了這樣的困境？如何擺脫這樣的困境，行之有效的實現(xiàn)數(shù)據(jù)價值的最大化？ 3. 數(shù)據(jù)價值的不同場景和不同維度，以及案例分析 數(shù)據(jù)價值在不同場景下有不同的表現(xiàn)，同時也有不同的維度去度量它。本小節(jié)將帶來數(shù)個案例，分別講述在不同場景、不同維度下如何讓數(shù)據(jù)產(chǎn)生價值。讓聽課者能夠場景化的體會數(shù)據(jù)價值的落地過程。 4. 大數(shù)據(jù)建模 如何從一個實際的業(yè)務問題出發(fā)，完成從領域模型到數(shù)據(jù)模型的轉換：需要收集哪些數(shù)據(jù)，定義哪些關鍵指標，以及何組織和存儲這些數(shù)據(jù)。 5. 如何打造數(shù)據(jù)團隊 數(shù)據(jù)團隊在發(fā)展過程中，不同時期的人員構成比例是怎樣的；和一般的團隊相比，數(shù)據(jù)團隊有哪些特點；如何樹立團隊的影響力、以及和其他團隊/部門的溝通技巧等。 6. 數(shù)據(jù)思維 數(shù)據(jù)思維是什么？如何讓大家都會用數(shù)據(jù)、懂數(shù)據(jù)？如何去培養(yǎng)全員的數(shù)據(jù)思維？有了數(shù)據(jù)思維有什么好處？ |
|
數(shù)據(jù)挖掘 1. 引言：數(shù)據(jù)挖掘中的務實與務虛 通過數(shù)據(jù)挖掘的獲得的價值有很多，表現(xiàn)在很多方面，總體歸結為實與虛兩類。本小節(jié)將講訴什么是務實？什么是務虛？并以幾個案例展開闡述在公司不同的發(fā)展階段，該如何實現(xiàn)務實業(yè)務與務虛業(yè)務的最佳結合。 2. 無監(jiān)督機器學習及案例 無監(jiān)督機器學習技術常常用于數(shù)據(jù)的探索、降維，本小節(jié)著重描述數(shù)據(jù)挖掘中常常用到的哪些無監(jiān)督學習方法及技術。將結合多個案例，介紹幾種無監(jiān)督學習技術的原理、工具以及應用實例。 3. 有監(jiān)督機器學習及案例 有監(jiān)督機器學習技術在數(shù)據(jù)挖掘中占有重要的地位，它通過學習歷史數(shù)據(jù)來建立各種預測模型。本小節(jié)重點闡述數(shù)據(jù)挖掘中常常用到的有監(jiān)督學習方法、技術及工具。將結合多個案例，介紹多種有監(jiān)督學習技術的原理、工具以及案例。 4. 個性化推薦系統(tǒng)：不同業(yè)務場景下的個性化推薦解決方案 在各大互聯(lián)網(wǎng)公司中，個性化推薦往往是使用最廣泛的數(shù)據(jù)挖掘應用。本文講從詳細闡述個性化推薦系統(tǒng)的歷史發(fā)展、原理、常用技術，并結合幾種不同業(yè)務場景，詳細介紹如何搭建適合不同業(yè)務場景下個性化推薦系統(tǒng)。 5. 深度學習及案例 深度學習是近十年人工智能領域中取得的一個重大突破。它的出現(xiàn)極大的增強了對數(shù)據(jù)的理解力。本小節(jié)將結合案例簡要介紹深度學習的發(fā)展歷史、原理、難點、常用工具以及相關應用。 6. 綜合案例：從海量互聯(lián)網(wǎng)數(shù)據(jù)中挖掘有用的輿情信息 本文將以一個完整的輿情分析系統(tǒng)為案例，系統(tǒng)性的闡述了如何將以上學習到的無監(jiān)督學習技術、有監(jiān)督學習技術以及深度學習技術結合起來，建立一個實用的、功能完備的數(shù)據(jù)挖掘系統(tǒng)。 |
近期公開課推薦
