博客 / 詳情

返回

隱語1.0正式發佈|MVP部署體驗包、資源調度框架Kuscia全新亮相!

圖片

2023 年 7 月 7 日,在世界人工智能大會組委會辦公室指導下,隱語開源社區攜手螞蟻集團和機器之心共同主辦的數據要素與隱私計算論壇在上海世博會議中心舉行。論壇上,螞蟻集團隱私計算部總經理、隱語社區負責人王磊發佈了隱語 1.0 版本,並對隱語 1.0 版本框架拓展與升級進行了整體介紹。隱語 1.0 版本不僅進一步擴大了開源範圍,還對整體架構進行了調優拓展,核心內容涉及產品層、資源層、互聯互通等板塊,總體效果涵蓋性能優化、易用性跨越式提升、互聯互通形態豐富。

圖片
                圖:隱語 1.0 架構圖

產品層:平滑學習曲線 提升易用性

隱語開放平台已在過去一年內面向 50+ 機構開放體驗。此次,隱語 1.0 版本帶來全新的 MVP(Minimum Viable Product)部署體驗包:一款面向隱私計算初學用户的輕量級功能體驗工具,內置節點、數據資源,節點間已相互授權,安裝即可體驗數據處理、數據分析、模型開發、模型評估等主要常見功能。相較於更側重於生產場景的隱語開放平台,隱語 MVP 部署體驗包通過多種方式降低使用門檻,為業務投產正式使用鋪墊入門操作基礎。(下載地址:https://www.secretflow.org.cn/docs/quickstart/mvp-platform)

1.MVP 部署體驗包能夠解決什麼問題?

隱語作為工業級高可用的隱私計算框架,其性能和穩定性常收穫讚許。然而,對於許多隱私計算潛在用户和初學用户而言,基礎需求是快速感知功能、瞭解完整流程、獲得直觀效果,以此來進行判斷或決策。隱語 MVP 部署體驗包將用户體驗反饋轉化為成熟的產品能力,站在隱私計算初學者的角度,儘可能將準備步驟嵌入安裝部署流程,提高用户與隱私計算功能直接面對面的效率。此外,我們還破除了原有的申請審核和資源支持限制,讓創新技術能夠無門檻地惠及更廣泛的用户體驗。

2.隱語 MVP 部署體驗包的具體優勢

優勢一:化繁為簡 減少準備步驟中的卡點
在原本的體驗流程中,用户需要自行配置節點資源和數據資源。為了解決準備鏈路長、卡點多的問題,隱語 MVP 部署體驗包將這些準備步驟封裝在包內,並以“一鍵安裝包”的形式提供給用户。其安裝過程也涵蓋了聯合項目的前序準備,因此用户可以更快速地開始體驗隱私計算功能。

優勢二:模板配置 降低複雜組件上手難度
針對初次體驗的用户,隱語 MVP 部署體驗包提供場景化訓練流模板選項,並已對各組件完成了配置。這些模板可以自動化運行直到結果,幫助用户理解組件原理並降低自定義訓練流中的配置難度。

優勢三:新手訓練營 功能體驗與功能講解同步進行
隱語 MVP 部署體驗包將功能與教程合二為一,增加了交互式新手引導,讓用户在學習的同時完成動手實踐,進一步平滑隱私計算的學習曲線。

資源層:解決跨機構計算任務中的多方面難題

隱語 1.0 版本正式開源 Kuscia 隱私計算任務編排框架:Kuscia 可以解決業務在使用隱語時端口合併、API 接入等集成問題,支持通過互聯互通或者內置部署第三方系統等不同模式和第三方系統互通。(github地址:https://github.com/secretflow/kuscia)

1.什麼是基礎設施差異?在跨機構計算任務中將引發哪些難題?

隱私計算涉及很多跨機構場景,聯合項目中的各個參與方在數據存儲、數據傳輸、計算資源、安全控制等眾多方面都不盡相同,這些都可以統稱為基礎設施的差異。不同參與方在運行環境及網絡鏈路兩方面存在差異。網絡鏈路指參與方在構建隱私計算應用時節點間的通信地址、通信協議、報文加密、請求鑑權等情況,運行環境又可能分為物理機、虛擬機等。

圖片

跨機構的計算任務就涉及多個機構的資源協同。在任務調度過程中,需要協調和管理各個機構的資源分配以確保任務能夠按時完成,需要使用安全的通信協議和機制來保護數據的傳輸過程中不被篡改或竊取。如果無法保障資源的有效管理、科學調度,就會引發計算任務低效、計算資源浪費或冗餘、應用不穩定甚至任務失敗等一系列問題。

2.Kuscia 是如何解決這些問題的?

在部署中,基礎解決輕量化的需求(輕量節點最低支持 2C4G),核心關注業務機構接入時多樣化的端口適配需求,支持機構單端口,解決多任務端口問題。此外,業務機構當前重點關心的隱私計算部署問題還包括組網模式,Kuscia 支持去中心化的平等合作 P2P 模式、更便於統一管控的中心化模式以及多方合作帶來兩者並存的混合模式。

在任務編排中,除了 DAG 任務編排這類基礎標配,Kuscia 重點支持多任務併發。由於隱私計算任務通常是計算密集型,多機構同時執行及多任務併發會產生計算資源競爭,Kuscia 通過任務間資源隔離、任務優先級可控等方式保障資源的合理配置。

在外部系統對接中,Kuscia 實現了任務調度層的互聯互通,支持銀聯黑盒互聯互通協議。Kuscia 為隱私計算應用提供一個統一的運行接口,用户可以直接調用多種現有的隱私計算引擎如 FATE 等。例如,業務方 A 在其業務平台中使用了某框架的聯邦學習能力,但由於業務拓展升級,單一能力已不能滿足需求,使用隱語 Kuscia 業務方 A 就可以實現原框架計算能力的集成調用和能力拓展,兩者兼得。
圖片

算法層和調度層全棧互聯互通2022

年底,由中國信通院隱私計算聯盟牽頭,螞蟻集團負責設計的行業首個白盒互聯互通開放協議《隱私計算跨平台開放算法協議第一部分:ECDH-PSI》正式發佈,標誌着隱私計算進入更深層次的互通,進入算法互通的新局面。

隱語 1.0 版本中,SS-LR 協議也得到了標準化。SS-LR 互聯互通涉及傳輸層標準化、密碼協議標準化、安全算子接口標準化和應用算法的標準化,幾乎涉及隱語算法引擎的方方面面。基於此,隱語密態引擎的互聯互通基礎設施已初具形態,今後會更快、更多地推出其它互聯互通算法協議,形成一套完整的開放算法(白盒)協議簇。
與此同時,Kuscia 在任務調度面也支持北京金產聯盟互聯互通要求中的最新互聯互通協議,使得算法容器能夠跨平台、跨生態地調度、執行。目前 Kuscia 已與洞見 Insight 平台調通,不僅洞見的算法容器能夠在隱語 Kuscia 平台上運行,隱語的算法容器也能在洞見平台上運行。

通過算法引擎和 Kuscia 調度平台全棧的互聯互通,隱語致力於構建一個更加透明開放的世界。隱語願攜手各界一道,為全域互聯互通的密態數據要素流通網絡賦能,推動隱私計算行業發展。

隱語 1.0 版本更多亮點

除了上述提到的三點外,隱語 1.0 版本還有在算法層、設備層、密碼能力、易用性上,均有能力更新。(您的⭐️就是對隱語開源社區最大的鼓勵^_^:https://github.com/secretflow/secretflow)

image.png
image.png

隱語開源一週年專場 Meetup 來啦

7 月 22 日,「隱語開源社區」一週年專場 Meetup 將在上海進行,將針對本次發佈的「隱語 1.0 版本」進行詳細解讀。同時,「隱語 1.0 版本」發佈後,隱語開源社區也將進行同步升級,將在本次活動現場發佈隱語開源社區組織架構升級,並開啓隱語「OSCP」開源貢獻任務活動第二期。更多精彩內容,歡迎現場解鎖。立即掃描下方二維碼或點擊“立即報名”,鎖定現場席位啦~
圖片
隱語官網:https://www.secretflow.org.cn
隱語社區:https://github.com/secretflowhttps://gitee.com/secretflow
聯繫我們:公眾號:隱語的小劇場
B站:隱語secretflow
郵箱:secretflow-contact@service.alipay.com

user avatar exunit 頭像
1 位用戶收藏了這個故事!

發佈 評論

Some HTML is okay.