阿里云 EMR Serverless Spark 版已于2024年9月14日正式商業(yè)化售賣，本文將簡要介紹 EMR Serverless Spark 的產(chǎn)品優(yōu)勢、應(yīng)用場景、支持地域，及計費(fèi)模式等。

EMR Serverless Spark 是一款云原生，專為大規(guī)模數(shù)據(jù)處理和分析而設(shè)計的全托管 Serverless 產(chǎn)品。該產(chǎn)品內(nèi)置 Fusion Engine，100%兼容開源 Spark 編程接口，相比于開源 Spark 性能提升300%；提供 Notebook 及 SQL 開發(fā)、調(diào)試、發(fā)布、調(diào)度、監(jiān)控診斷等一站式數(shù)據(jù)開發(fā)體驗(yàn)；支持彈性伸縮、按量付費(fèi)，進(jìn)一步降低計算成本！

產(chǎn)品優(yōu)勢

易用

• 提供作業(yè)開發(fā)、調(diào)試、發(fā)布、調(diào)度等一站式數(shù)據(jù)開發(fā)體驗(yàn)

• 內(nèi)置版本管理、開發(fā)與生產(chǎn)隔離，滿足企業(yè)級開發(fā)與發(fā)布標(biāo)準(zhǔn)

• 提供內(nèi)置 SQL Editor 和 Notebook，提供數(shù)據(jù)開發(fā)和數(shù)據(jù)科學(xué)一體化開發(fā)體驗(yàn)

極速

• 自研 Fusion 引擎，內(nèi)置高性能向量化計算和 RSS 能力，相對開源版本性能提升 3 倍以上

開放

• 支持開放、靈活、彈性的數(shù)據(jù)湖倉分析

• 支持使用 Dataframe、SQL、PySpark 等多種編程方式開發(fā)批、流、交互式分析、機(jī)器學(xué)習(xí)等不同類型的任務(wù)，并進(jìn)行調(diào)度執(zhí)行

• 支持通過 Spark Submit、Livy、Spark Thrift Server 等開源兼容的方式進(jìn)行任務(wù)提交

• 支持 DLF 以及外部 Hive metastore 作為元數(shù)據(jù)服務(wù)

• 官方提供開源 Operators 對接 Airflow、DolphinScheduler 調(diào)度器

云原生

• 開箱即用，無需手動管理和運(yùn)維云基礎(chǔ)設(shè)施。

• 彈性伸縮，秒級資源彈性與供給。

• 按量付費(fèi)，僅按任務(wù)實(shí)際使用的計算資源量付費(fèi)，進(jìn)一步降低計算總成本。

應(yīng)用場景

湖倉分析場景

EMR Serverless Spark 與 DLF 深度集成，結(jié)合了數(shù)據(jù)湖倉元數(shù)據(jù)管理、數(shù)據(jù)存儲等托管能力，提供了一站式湖倉分析解決方案。這一解決方案涵蓋了從數(shù)據(jù)清洗、轉(zhuǎn)換到分析的完整數(shù)據(jù)處理鏈路和流程，確保數(shù)據(jù)處理的高效性。同時，Serverless Spark 還提供企業(yè)級的安全能力，包括完整的數(shù)據(jù)目錄、庫表等安全要素，以保障數(shù)據(jù)的安全性。此外，該湖倉分析解決方案支持彈性伸縮功能，實(shí)現(xiàn)資源的優(yōu)化配置，確保能夠高效處理大規(guī)模數(shù)據(jù)。通過簡化數(shù)據(jù)治理流程和降低運(yùn)維成本，EMR Serverless Spark 幫助企業(yè)加速業(yè)務(wù)決策和創(chuàng)新，提升整體數(shù)據(jù)管理和分析的效率。

大數(shù)據(jù)AI一體化場景

EMR Serverless Spark 提供內(nèi)置 Notebook，支持交叉使用 SQL 和 PySpark 進(jìn)行大數(shù)據(jù)處理和數(shù)據(jù)科學(xué)分析一體化開發(fā)，同時支持對接 DLF 大數(shù)據(jù) + AI 統(tǒng)一元數(shù)據(jù)視圖，融合數(shù)據(jù)和 AI 應(yīng)用，支持企業(yè)實(shí)現(xiàn)數(shù)據(jù)驅(qū)動的智能化決策。

傳統(tǒng)數(shù)倉場景

面向經(jīng)典的數(shù)據(jù)倉庫大數(shù)據(jù)離線處理場景，EMR Serverless Spark 為您提供一站式解決方案，幫助您完成數(shù)據(jù)倉庫的高效建設(shè)，包括數(shù)據(jù)開發(fā)、版本管理、任務(wù)調(diào)度、監(jiān)控診斷、資源觀測等。另外，在 Fusion 引擎的加持下，EMR Serverless Spark 提供在線數(shù)據(jù)查詢與分析服務(wù)，方便您即時了解業(yè)務(wù)變化。借助 Spark Thrift Server 提供的 JDBC 接口，您可以輕松將 EMR Serverless Spark 與您的 BI 系統(tǒng)對接，實(shí)現(xiàn)指標(biāo)數(shù)據(jù)的高效查詢和分析，進(jìn)一步提升數(shù)據(jù)倉庫的應(yīng)用價值。

更多信息，請參見什么是EMR Serverless Spark。【https://x.sm.cn/7hmaFqW】

控制臺入口：https://x.sm.cn/61a0FwU。

支持地域

EMR Serverless Spark支持以下地域

中國站賬號

國際站賬號

產(chǎn)品計費(fèi)

商業(yè)化開啟后將涉及相關(guān)功能的收費(fèi)，具體收費(fèi)標(biāo)準(zhǔn)見產(chǎn)品計費(fèi)。【https://x.sm.cn/3svrzfH】

說明

商業(yè)化開啟后，繼續(xù)使用 EMR Serverless Spark 將按照計費(fèi)標(biāo)準(zhǔn)收取費(fèi)用，如果不再使用請及時刪除相關(guān)資源。

服務(wù)等級協(xié)議

商業(yè)化開啟后，產(chǎn)品保障服務(wù)等級協(xié)議，詳情請參見 E-MapReduce Serverless Spark 服務(wù)等級協(xié)議。

中國站：https://x.sm.cn/3BTrfy5

國際站：https://x.sm.cn/27drrpK

聯(lián)系我們

如果在使用 EMR Serverless Spark 的過程中遇到任何疑問，可加入釘釘群58570004119咨詢。