課程簡介

Oceanus-ETL是騰訊內(nèi)部基于Oceanus實現(xiàn)的大數(shù)據(jù)ETL平臺，每天需要處理超過40萬億的消息，在保證低延遲和高吞吐的情況下，還需要在故障情況下仍能保證數(shù)據(jù)端到端的exactly-once，提供高可靠的一致性語義。

目標收益

1. 海量數(shù)據(jù)規(guī)模下的數(shù)據(jù)etl架構(gòu)設(shè)計
2. 高一致性協(xié)議
3. 存儲性能優(yōu)化

培訓對象

課程內(nèi)容

案例方向

---

數(shù)據(jù)商業(yè)化/大數(shù)據(jù)架構(gòu)/NLP/人工智能產(chǎn)品落地

案例背景

---

Oceanus-ETL是騰訊內(nèi)部基于Oceanus實現(xiàn)的大數(shù)據(jù)ETL平臺，每天需要處理超過40萬億的消息，在保證低延遲和高吞吐的情況下，還需要在故障情況下仍能保證數(shù)據(jù)端到端的exactly-once，提供高可靠的一致性語義。

收益

---

1. 海量數(shù)據(jù)規(guī)模下的數(shù)據(jù)etl架構(gòu)設(shè)計
2. 高一致性協(xié)議
3. 存儲性能優(yōu)化

解決思路

---

我們通過Flink的checkpoint機制，并配合Iceberg，對我們的ETL鏈路進行了可靠性和性能改造。

結(jié)果

---

我們的項目成功上線測試，并提供了出色的性能和可靠性保障。