青云 QingCloud 大數(shù)據(jù)相關(guān)服務(wù)將會(huì)統(tǒng)一在 QingMR 下。 QingMR 目前已經(jīng)集成了:分布式文件系統(tǒng) HDFS、集群資源管理系統(tǒng) YARN、數(shù)據(jù)處理框架 Hadoop MapReduce 和 Spark、數(shù)據(jù)倉(cāng)庫(kù)工具 Hive?、極速海量數(shù)據(jù) OLAP 分析引擎 Kylin，為更好的滿足用戶對(duì)大數(shù)據(jù)產(chǎn)品更多的需求，本次對(duì)核心組件進(jìn)行了版本升級(jí)，新增對(duì)基于 Spark 的分布式深度學(xué)習(xí)框架 BigDL 的支持，具體更新如下：： QingMR 2.0 – Core：立即使用→

• Hadoop 版本升級(jí)到 2.9.2 ；
• Spark 版本升級(jí)到 2.2.3 ；
• Hive 版本升級(jí)到 2.3.5 ；
• 新增 Hadoop, Spark 和 Hive 對(duì) lzo 壓縮的支持；
• 新增對(duì)基于 Spark 的分布式深度學(xué)習(xí)框架 BigDL 的支持；
• 新增 NeonSAN 超高性能大容量存儲(chǔ)的支持，單節(jié)點(diǎn)最高容量可達(dá) 50 TB。
• 新增 Spark 作為 Hive 的默認(rèn)執(zhí)行引擎即 Hive on Spark，同時(shí)支持用戶切換到傳統(tǒng)的 MapReduce 引擎。
• 新增多個(gè) Hive 調(diào)優(yōu)配置參數(shù)。
• 新增 Hive 通過(guò) beeline 執(zhí)行 HQL 使用指南。
• 新增 HiveServer2 WEB UI 使用指南。