藍易雲cdn:PySpark安裝及WordCount實現(基於Ubuntu)
以下內容將詳細介紹在 Ubuntu 系統上安裝 PySpark 並實現一個經典的 WordCount(單詞計數)示例。 整個過程從環境配置到程序運行,結構清晰,邏輯嚴謹,適合數據工程入門與分佈式計算基礎學習 🧠。 🚀 一、PySpark 概述 PySpark 是 Apache Spark 的 Python 接口,它將分佈式計算框架與 Python 生態結合,能在多節點環境下對大規模數據
昵称 藍易雲
贡献者17
粉丝0
以下內容將詳細介紹在 Ubuntu 系統上安裝 PySpark 並實現一個經典的 WordCount(單詞計數)示例。 整個過程從環境配置到程序運行,結構清晰,邏輯嚴謹,適合數據工程入門與分佈式計算基礎學習 🧠。 🚀 一、PySpark 概述 PySpark 是 Apache Spark 的 Python 接口,它將分佈式計算框架與 Python 生態結合,能在多節點環境下對大規模數據
昵称 藍易雲
編者按:本文源自阿里云云效團隊出品的《阿里巴巴DevOps實踐指南》,掃描上方二維碼或前往:https://developer.aliyun.com/...,下載完整版電子書,瞭解阿里十年DevOps實踐經驗。 DevOps 追求更短的迭代週期、更高頻的發佈。但發佈的次數越多,引入故障的可能性就越大。更多的故障將會降低服務的可用性,進而影響到客户體驗。所以,為了保證服務質量,守好發佈這個最後一道
昵称 雲效DevOps平台
本文來源smartbear.com,由SmartBear中國授權合作伙伴——龍智翻譯整理。旨在分享如何通過 SmartBear API Hub 與 ReadyAPI虛擬化的協同工作,加速 API 優先的開發流程。 在當今的軟件生態中,API 不僅僅是技術接口,更是現代數字產品的連接紐帶。採用 API 優先策略的企業不僅能打造出更優質的 API,還能推動更快的創新、構建可擴展的架構,並促進團隊之間的
昵称 龍智DevSecOps
1、使用Gitee DevOps實現本地化協作,2、結合GitHub Actions構建自動化流程,3、通過Azure DevOps覆蓋全生命週期管理,4、利用CircleCI簡化雲端CI/CD,5、採用Terraform管理基礎設施即代碼,6、集成Prometheus與Grafana實現監控可視化。 一、GITEE DevOps:國內團隊的敏捷協作平台 Gitee(碼雲)是國內領先的代碼託管與D
昵称 歡快的柳樹
Git和Perforce P4是兩個強大的源代碼管理工具,各有其獨特的功能優勢與適用場景。 本文中,Perforce中國授權合作伙伴-龍智將從架構設計、性能表現、文件管理及分支策略等維度,為您詳細解析兩者的關鍵差異,幫助您根據團隊需求,選擇更適合的版本控制工具。 Git的開源特性使其成為一種高度靈活的工具,開發者可以自由使用、修改和擴展,這也是它成為眾多流行平台基礎的原因,例如GitHub、Gi
昵称 龍智DevSecOps
在遊戲開發、影視製作、汽車電子、虛擬製片、半導體設計等高精尖行業,版本控制早已不僅僅是“管理代碼”的工具,而是一個支撐高效協作、保障數據安全、應對複雜工程的核心平台。 全球越來越多的技術領先企業選擇Perforce P4(原Helix Core)—— 不僅因為它具備高性能、高安全性和高擴展性,更因為它真正滿足了企業在高速發展中對研發管理和協同流程的高標準需求。 作為 Perforce 中國授權合作
昵称 龍智DevSecOps
本文來源:about.gitlab.com 作者:Sandra Gittlen 譯者:極狐(GitLab) 市場部內容團隊 應用程序安全測試(AST)對於應用程序研發來説,是一個正在快速發展並且十分重要的領域。DevOps 方法論提到:需要將測試集成到開發人員的工作流中。GitLab 相信在軟件研發中,AST 越成熟,應用程序就會越安全,同時企業也能夠更容易滿足合規要求。相信 D
昵称 極狐GitLab
業界已經達成共識:CI/CD 是落地實踐 DevOps 的重要手段,其本質是將軟件交付流程中的步驟自動化運行起來,從而提高軟件交付效率。隨着企業規模擴大(人員增加、產品增多等),高效構建 CI/CD 成為研發效能提升的關鍵。 極狐GitLab CI 內置於極狐GitLab 一體化平台,提供開箱即用的 CI/CD 能力,也是受眾多用户喜愛的 CI 工具之一。極狐GitLab CI 獨特的設計機制和企
昵称 極狐GitLab
MPDIoU損失函數與YOLO物體檢測模型的集成詳解 YOLO(You Only Look Once)作為實時物體檢測領域的佼佼者,以其高速且高效的特點廣受業界認可。然而,在某些特殊場景下,YOLO的預測精度仍有提升空間,例如在處理重疊物體或小物體時。為此,MPDIoU(Maximum Probabilistic Distance IoU)損失函數被引入,旨在進一步提升YOLO模型的檢測性能。 1
昵称 藍易雲
上一篇我們部署了 ArgoWorkflow,並創建了一個簡單的流水線做了個 Demo。本篇主要分析 ArgoWorkflow 中流水線相關的概念,瞭解概念後才能更好使用 ArgoWorkflow。 !--more-- 本文主要分析以下問題: 1)如何創建流水線? Workflow 中各參數含義 2)WorkflowTemplate 流水線模版如何使用, 3)Workflow、Workfl
昵称 探索雲原生
配置FreeIPA客户端是將Ubuntu主機加入到FreeIPA域中,以便集中管理身份認證、授權和審計服務。在Ubuntu 22.04/20.04上配置FreeIPA客户端可以通過以下步驟完成。此過程不僅需要執行命令,還需要對每個步驟進行充分理解,以確保操作的正確性和成功率。 一、安裝必要的軟件包 1. 更新系統包列表 在開始配置FreeIPA客户端之前,首先要確保系統的軟件包是最新的。通過以下命
昵称 藍易雲
在Debian 11上安裝Kubernetes集羣需要一定的步驟,涵蓋了Docker的安裝、Kubernetes組件的安裝以及集羣的配置。這些步驟必須按照正確的順序執行,並且需要對每一步的作用有清晰的理解。以下是詳細的安裝步驟和每個步驟的解釋。 步驟1:系統更新 首先,確保Debian 11系統已更新。更新系統有助於避免潛在的依賴問題,並確保系統安全性和穩定性。使用以下命令: sudo apt-g
昵称 藍易雲
上一篇我們分析了 Workflow、WorkflowTemplate、template 之間的關係。本篇主要分析如何在 argo-workflow 中使用 S3 存儲 artifact 實現步驟之間的文件共享。 !--more-- 本文主要解決兩個問題: 1)artifact-repository 如何配置 2)Workflow 中如何使用 1. artifact-repository
昵称 探索雲原生
上一篇我們分析了argo-workflow 中的 artifact,包括 artifact-repository 配置以及 Workflow 中如何使用 artifact。本篇主要分析流水線 GC 以及歸檔,防止無限佔用集羣中 etcd 的空間。 !--more-- 1. 概述 因為 ArgoWorkflow 是用 CRD 方式實現的,不需要外部存儲服務也可以正常運行: 運行記錄使用 Wor
昵称 探索雲原生
之前我們分析了,Workflow、WorkflowTemplate 、template 3 者之間如何傳遞參數。 本文主要分析同一個 Workflow 中的不同 step 之間實現參數傳遞,比如將上一個步驟的輸出作為下一個步驟的結果進行使用(而非以文件方式傳遞)。 !--more-- 1. 概述 然後就是之前只分析了 Workflow、WorkflowTemplate 、template 3 者
昵称 探索雲原生
之前我們分析了使用 artifact 實現步驟間文件共享,今天分享一下如何使用 PVC 實現高效的步驟間文件共享。 !--more-- 1. 概述 之前在 artifact 篇我們演示瞭如何使用 artifact 實現步驟間文件傳遞,今天介紹一種更為簡單的文件傳遞方式:PVC 共享。 artifact 畢竟是藉助 S3 實現中轉,效率上肯定是低於直接共享 PVC 的,而且 artifact 一般
昵称 探索雲原生
本篇介紹一下 ArgoWorkflow 中的 ExitHandler 和 LifecycleHook 功能,可以根據流水線每一步的不同狀態,執行不同操作,一般用於發送通知。 !--more-- 1. 概述 本篇介紹一下 ArgoWorkflow 中的 ExitHandler 和 LifecycleHook 功能,可以根據流水線每一步的不同狀態,執行不同操作,一般用於發送通知。 比如當某個步驟,或
昵称 探索雲原生
或許你正在尋找Jenkins的替代工具?試試JetBrains TeamCity!這款強大的 CI/CD 解決方案適用於以 DevOps 為中心的團隊。 為什麼團隊選擇 TeamCity 來替代 Jenkins? 直觀的用户界面:藉助TeamCity一致且完善的UI設計,CI/CD工作流設置和管理變得更加簡便。您可以通過UI配置管道,或者利用“代碼即配置”的優勢進行操作。 * 更低的
昵称 龍智DevSecOps
在數字化轉型縱深發展的2025年,中國企業的DevOps工具選型呈現多元化態勢。本文從技術架構、合規適配、生態整合三個維度,對Gitee、阿里雲效(雲效DevOps)、GitLab CE(中國版)三大主流平台進行客觀對比分析,為企業技術決策提供參考。 一、安全合規能力對比 在網絡安全法、數據安全法雙重約束下,DevOps平台的數據駐留機制和審計能力成為關鍵指標。Gitee通過公安部三級等保認證,支
昵称 wanmeideshuanggang
在數字化轉型縱深發展的2025年,中國企業的DevOps工具選型呈現多元化態勢。本文從技術架構、合規適配、生態整合三個維度,對Gitee、阿里雲效(雲效DevOps)、GitLab CE(中國版)三大主流平台進行客觀對比分析,為企業技術決策提供參考。 一、安全合規能力對比 在網絡安全法、數據安全法雙重約束下,DevOps平台的數據駐留機制和審計能力成為關鍵指標。Gitee通過公安部三級等保認證,支
昵称 haixiudeshanghen_cc1dwg
在數字化轉型縱深發展的2025年,中國企業的DevOps工具選型呈現多元化態勢。本文從技術架構、合規適配、生態整合三個維度,對Gitee、阿里雲效(雲效DevOps)、GitLab CE(中國版)三大主流平台進行客觀對比分析,為企業技術決策提供參考。 一、安全合規能力對比 在《網絡安全法》《數據安全法》雙重約束下,DevOps平台的數據駐留機制和審計能力成為關鍵指標: 平台
昵称 wanmeideshuanggang
在數字化浪潮席捲全球的當下,DevOps已經從技術熱詞轉變為企業的核心生產力工具。根據IDC最新報告,到2025年中國DevOps市場規模將達到15億美元,年複合增長率高達25%。在這一快速增長的市場中,一個顯著趨勢正在顯現:越來越多的中國企業正在放棄全球化工具鏈,轉向更符合本土需求、安全合規的自主解決方案。Gitee DevOps平台正是這一轉變中的佼佼者,憑藉其獨特的"本土基因"和全鏈路能力,
昵称 wanmeideshuanggang
在數字化浪潮席捲全球的當下,DevOps已經從技術熱詞轉變為企業的核心生產力工具。根據IDC最新報告,到2025年中國DevOps市場規模將達到15億美元,年複合增長率高達25%。在這一快速增長的市場中,一個顯著趨勢正在顯現:越來越多的中國企業正在放棄全球化工具鏈,轉向更符合本土需求、安全合規的自主解決方案。Gitee DevOps平台正是這一轉變中的佼佼者,憑藉其獨特的"本土基因"和全鏈路能力,
昵称 haixiudeshanghen_cc1dwg
前言 書接上文,經過之前的不懈努力,我們已經有了較為完善的監控系統與告警系統,而prometheus的工作模式就像一個單點,拉取數據回來之後存儲在自己的磁盤上 當監控數據越來越多,那prometheus單點的壓力就會變大,那本文就來討論一下如何降低單點prometheus的壓力 環境準備 組件 版本 操作系統 Ubuntu 22.04.4 L
昵称 it排球君