Databricks大規模軟件即服務的經驗教訓
Matei Zaharia 斯坦福大學
雲摘已要成為企業購買軟件最具吸引力的方式之一，但其產品構建方式與傳統軟件大不相同，而這一領域在學術研究中尚未得到充分探討。我將基於在Databricks的工作經驗，介紹其中的一些挑戰。Databricks是一家初創公司，在AWS和Azure上以服務形式提供數據分析平台。Databricks每天管理數百萬台虛擬機，使用Apache Spark、TensorFlow、Python及其他軟件為數千名客户運行數據工程和機器學習工作負載。在此背景下出現了兩個主要挑戰：（1）構建一個可靠且可擴展的控制平面，能夠同時管理數千名客户；（2）針對彈性雲環境調整數據處理軟件本身（例如，實現自動伸縮，而非依賴靜態集羣）。對於數據分析工作負載而言，這些挑戰尤為突出，因為用户在規模方面（如使用的虛擬機數量、數據大小、元數據大小、併發用户數量等）不斷突破極限。我將介紹我們新服務面臨的一些共性挑戰，以及Databricks為適應雲環境對開源分析軟件進行擴展和修改的主要方法（例如，為Apache Spark設計自動伸縮引擎，以及在Delta Lake開源產品中基於S3構建事務性存儲層）。
ACM 參考格式
Matei Zaharia. 2019. Databricks大規模軟件即服務的經驗教訓。收錄於ACM雲計算研討會 (SoCC ’19)，2019年11月20日至23日，美國加利福尼亞州聖克魯斯。 ACM， 美國紐約州紐約市，1頁。https://doi.org/10.1145/3357223.3365870
1 簡介
Matei Zaharia是斯坦福大學計算機科學助理教授，同時也是 Databricks的首席技術專家。他於2009年在加州大學伯克利分校攻讀博士期間發起了Apache Spark項目，並廣泛參與數據中心繫統的研究工作，共同發起Apache Mesos項目，並作為貢獻者參與Apache Hadoop。目前，Matei在 Databricks主導開源機器學習平台MLflow的技術方向，並在斯坦福大學DAWN實驗室擔任首席研究員，專注於面向機器學習的系統研究。他的研究成果曾榮獲2014年ACM博士論文獎（計算機科學領域最佳博士論文）、NSF職業獎以及美國總統科學家與工程師早期職業獎（PECASE）。
允許出於個人或課堂教學使用目的製作本作品全部或部分內容的數字或紙質副本，且無需費用，前提是不得為了盈利或商業利益而製作或分發副本，並且副本須在首頁註明本聲明及完整引用信息。本作品中第三方組件的版權必須予以尊重。對於所有其他用途，請聯繫所有者/作者。SoCC ’19, 2019年11月20日至23日, 美國加利福尼亞州聖克魯斯© 2019 版權由所有者/作者持有。ACM ISBN 978‐1‐4503‐6973‐2/19/11。https://doi.org/10.1145/3357223.3365870
101
本文檔由 funstory.ai 的開源 PDF 翻譯庫 BabelDOC v0.5.10 (http://yadt.io) 翻譯，本倉庫正在積極的建設當中，歡迎 star 和關注。
Databricks大規模軟件即服務的經驗教訓
Matei Zaharia 斯坦福大學
雲摘已要成為企業購買軟件最具吸引力的方式之一，但其產品構建方式與傳統軟件大不相同，而這一領域在學術研究中尚未得到充分探討。我將基於在Databricks的工作經驗，介紹其中的一些挑戰。Databricks是一家初創公司，在AWS和Azure上以服務形式提供數據分析平台。Databricks每天管理數百萬台虛擬機，使用Apache Spark、TensorFlow、Python及其他軟件為數千名客户運行數據工程和機器學習工作負載。在此背景下出現了兩個主要挑戰：（1）構建一個可靠且可擴展的控制平面，能夠同時管理數千名客户；（2）針對彈性雲環境調整數據處理軟件本身（例如，實現自動伸縮，而非依賴靜態集羣）。對於數據分析工作負載而言，這些挑戰尤為突出，因為用户在規模方面（如使用的虛擬機數量、數據大小、元數據大小、併發用户數量等）不斷突破極限。我將介紹我們新服務面臨的一些共性挑戰，以及Databricks為適應雲環境對開源分析軟件進行擴展和修改的主要方法（例如，為Apache Spark設計自動伸縮引擎，以及在Delta Lake開源產品中基於S3構建事務性存儲層）。
ACM 參考格式
Matei Zaharia. 2019. Databricks大規模軟件即服務的經驗教訓。收錄於ACM雲計算研討會 (SoCC ’19)，2019年11月20日至23日，美國加利福尼亞州聖克魯斯。 ACM， 美國紐約州紐約市，1頁。https://doi.org/10.1145/3357223.3365870
1 簡介
Matei Zaharia是斯坦福大學計算機科學助理教授，同時也是 Databricks的首席技術專家。他於2009年在加州大學伯克利分校攻讀博士期間發起了Apache Spark項目，並廣泛參與數據中心繫統的研究工作，共同發起Apache Mesos項目，並作為貢獻者參與Apache Hadoop。目前，Matei在 Databricks主導開源機器學習平台MLflow的技術方向，並在斯坦福大學DAWN實驗室擔任首席研究員，專注於面向機器學習的系統研究。他的研究成果曾榮獲2014年ACM博士論文獎（計算機科學領域最佳博士論文）、NSF職業獎以及美國總統科學家與工程師早期職業獎（PECASE）。
允許出於個人或課堂教學使用目的製作本作品全部或部分內容的數字或紙質副本，且無需費用，前提是不得為了盈利或商業利益而製作或分發副本，並且副本須在首頁註明本聲明及完整引用信息。本作品中第三方組件的版權必須予以尊重。對於所有其他用途，請聯繫所有者/作者。SoCC ’19, 2019年11月20日至23日, 美國加利福尼亞州聖克魯斯© 2019 版權由所有者/作者持有。ACM ISBN 978‐1‐4503‐6973‐2/19/11。https://doi.org/10.1145/3357223.3365870
101
本文檔由 funstory.ai 的開源 PDF 翻譯庫 BabelDOC v0.5.10 (http://yadt.io) 翻譯，本倉庫正在積極的建設當中，歡迎 star 和關注。