課程簡介
Oceanus-ETL是騰訊內(nèi)部基于Oceanus實現(xiàn)的大數(shù)據(jù)ETL平臺,每天需要處理超過40萬億的消息,在保證低延遲和高吞吐的情況下,還需要在故障情況下仍能保證數(shù)據(jù)端到端的exactly-once,提供高可靠的一致性語義。
目標收益
1. 海量數(shù)據(jù)規(guī)模下的數(shù)據(jù)etl架構(gòu)設(shè)計
2. 高一致性協(xié)議
3. 存儲性能優(yōu)化
培訓對象
課程內(nèi)容
案例方向
數(shù)據(jù)商業(yè)化/大數(shù)據(jù)架構(gòu)/NLP/人工智能產(chǎn)品落地
案例背景
Oceanus-ETL是騰訊內(nèi)部基于Oceanus實現(xiàn)的大數(shù)據(jù)ETL平臺,每天需要處理超過40萬億的消息,在保證低延遲和高吞吐的情況下,還需要在故障情況下仍能保證數(shù)據(jù)端到端的exactly-once,提供高可靠的一致性語義。
收益
1. 海量數(shù)據(jù)規(guī)模下的數(shù)據(jù)etl架構(gòu)設(shè)計
2. 高一致性協(xié)議
3. 存儲性能優(yōu)化
解決思路
我們通過Flink的checkpoint機制,并配合Iceberg,對我們的ETL鏈路進行了可靠性和性能改造。
結(jié)果
我們的項目成功上線測試,并提供了出色的性能和可靠性保障。