Spark應用及案例分析

當下是大數據時代,為構建大數據平臺,技術人員需要對分布式計算平臺有一定深入的理解和應用。MapReduce作為一個經典的分布式計算框架,已經廣為人知,且得到了廣泛的應用,但MapReduce自身存在很多問題,包括迭代式計算和DAG計算等類型的數據挖掘與機器學習算法性能低下,不能很好地利用內存資源,編程復雜度較高等。
為了克服MapReduce的眾多問題,新型計算框架出現了。Spark已經被不少互聯網公司采用,大部分數據挖掘算法和迭代式算法在逐步從MapReduce平臺遷移到Spark平臺中,包括阿里巴巴,騰訊,百度,優酷土豆,360,支付寶等互聯網公司已經在線上產品中使用spark,且取得了令人滿意的效果,另外,部分省份的運營商也正在嘗試使用spark解決數據挖掘和分析問題,部分銀行,如工商銀行,也正在嘗試spark平臺。

Spark平臺的精進

運行架構和解析
scala編程
Spark編程模型和解析
Spark 數據挖掘
Spark Streaming原理和實踐
Spark的優化
Spark的數據源
Spark Streaming應用及案例分析
典型項目案例實戰

課程收益

掌握Spark平臺的架構、模型、算法與優化;
分析典型項目案例以加深對技術的理解。

授課對象

云計算物聯網產業相關負責人;
各類 IT/軟件企業和研發機構的軟件架構師、軟件設計師、程序員;
對Spark感興趣的團地或個人。

課程長度:3天

最后更新:2016年08月12日

開班計劃 暫無
广东时时开结果