博客 / 詳情

返回

【趙渝強老師】阿里雲大數據存儲計算服務:MaxCompute

阿里雲大數據計算服務(MaxCompute)是一種快速、完全託管的TB/PB級數據倉庫解決方案。MaxCompute向用户提供了完善的數據導入方案以及多種經典的分佈式計算模型,能夠更快速的解決用户海量數據計算問題,有效降低企業成本,並保障數據安全。

視頻講解如下:
https://www.bilibili.com/video/BV19M8izmEoU/?aid=114924365812...

一、 什麼是MaxCompute?

隨着數據收集手段不斷豐富,行業數據大量積累,數據規模已增長到了傳統軟件行業無法承載的海量數據(TB、PB、EB)級別。MaxCompute致力於批量結構化數據的存儲和計算,提供海量數據倉庫的解決方案及分析建模服務。

雲原生大數據計算服務(MaxCompute)是一種快速、完全託管的TB/PB級數據倉庫解決方案。MaxCompute向用户提供了完善的數據導入方案以及多種經典的分佈式計算模型,能夠更快速的解決用户海量數據計算問題,有效降低企業成本,並保障數據安全。下圖展示了MaxCompute的項目空間。
image.png

大數據計算服務MaxCompute(原名ODPS,Open Data Processing Service的簡稱)是一種快速、完全託管的EB級數據倉庫解決方案,主要用於實時性要求不高的離線計算分佈式處理場景。因此,大數據計算服務MaxCompute不能用於數據的實時處理場景中。

二、 MaxCompute的特點

MaxCompute具有以下的特點:

  • 大規模分佈式計算存儲:MaxCompute適用於100GB以上規模的存儲及計算需求,最大可達EB級別。
  • 多種易用計算模型:MaxCompute支持SQL、MapReduce、UDF(Java/Python)、Graph、基於DAG的處理、交互式、內存計算、機器學習等計算類型及MPI迭代類算法。簡化了企業大數據平台的應用架構。
  • 強數據安全:MaxCompute已穩定支撐阿里全部數據倉庫業務9年以上,提供多層沙箱防護、細粒度權限管理及監控。MaxCompute通過了獨立的第三方審計師針對阿里雲對AICPA可信服務標準中關於安全性、可用性和機密性原則符合性描述的審計。
  • 低成本:與企業自建大數據平台相比,MaxCompute的計算存儲更高效,可以降低30%至50%的採購於運維成本。
  • 免運維:基於MaxCompute的Serverless無服務器的設計思路,用户只需關心作業和數據,而無需關心底層分佈式架構及運維。
  • 極致彈性擴展:MaxCompute提供按量付費模式下的作業級別的資源管理。用户無需受困於資源擴展難題,系統會自動擴展計算、存儲、網絡等資源,最大程度地節省成本。

三、 MaxCompute的體系架構

在使用MaxCompute之前,首先需要對MaxCompute的體系架構以及其中涉及到的相關術語要有一定的瞭解。這對於掌握並使用MaxCompute非常的重要。阿里雲大數據計算服務MaxCompute的體系架構是構建在阿里雲的飛天操作系統之上的大數據計算引擎。MaxCompute的整體架構體系如下圖所示。
image.png

MaxCompute由四部分組成,分別是計算與存儲層(MaxCompute Core)、邏輯層 (MaxCompute Server)、接入層 (MaxCompute FrontEnd)以及客户端 (MaxCompute Client)。

user avatar kamier 頭像
1 位用戶收藏了這個故事!

發佈 評論

Some HTML is okay.