@集羣管理系統 / 博客 RSS 訂閱

Dec 29 2020

flydean - 在wildfly 21中搭建cluster集羣

簡介 wildfly是一個非常強大的工具，我們可以輕鬆的使用wildfly部署應用程序，更為強大的是，wildfly可以很方便的部署cluster應用。 今天我們通過一個例子來講解下wildfly如何構建cluster應用。 下載軟件和相關組件 假如我們有兩個host，一個稱為master，一個稱為slave，我們需要在兩個機子上面安裝wildfly，構建成domain模式。然後需要在Domain

集羣管理系統 , 服務器 , 集羣 , web服務器 , cluster

收藏 評論

Nov 01 2024

企業任務調度平台 - CDH集羣管理：如何用技術簡化複雜性？

大數據集羣搭建及管理 問題:需要搭建1000 台服務器的集羣，其中集羣包含Hive、Hbase、Flume、Kafka、Spark 等集羣，需要多長時間搭建好? 思考: 搭建四台集羣與搭建1000 台集羣的區別?比較相似。 解決問題:(以搭建HDFS為例) 集羣環境規劃 首先我們需要進行集羣基礎環境的規劃:比如每台節點的網絡 ip 規劃，節點時間同步，每台節點的名稱，每台節點安裝 jdk，節點之間

集羣管理系統 , 大數據處理 , cloudera , hadoop , 集羣

收藏 評論

Feb 08 2017

圖靈訪談 - 才雲科技CTO鄧德源：不可不知的谷歌集羣管理經驗

本文僅用於學習和交流目的，不得用於商業目的。非商業轉載請註明作譯者、出處，並保留本文的原始鏈接：http://www.ituring.com.cn/art... 訪談嘉賓： 鄧德源， 才雲科技CTO。2011年畢業於電子科技大學機械與自動化專業，2013年獲美國頂級計算機學府Carnegie Mellon University大學電子與計算機工程學位，專修操作系統、分佈式計算等方向。參與亞太

集羣管理系統 , kubernetes , 圖靈訪談 , 容器管理 , Docker

收藏 評論

Oct 16 2024

企業任務調度平台 - Cloudera Hue實戰：如何高效利用這款數據查詢工具

Hue 的介紹 HUE 是一個開源的 Apache Hadoop UI 系統，早期由 Cloudera 開發，它是基於 Python Web 框架 Django 實現，後來貢獻給開源社區。它包括 3 個部分 hue ui，hue server， hue db。通過使用 Hue 我們可以通過瀏覽器方式操縱 Hadoop 集羣，查看修改 hdfs 的 文件，管理 hive 的元數據，運行 Sqoop，

hue , 集羣管理系統 , 大數據處理 , cloudera , hadoop

收藏 評論

Nov 22 2024

企業任務調度平台 - Kafka集羣管理：🛠️ 如何實現數據均衡與性能最大化

Kafka 概述 Kafka 起初是 由 LinkedIn 公司採用 Scala 語言開發的一個多分區、多副本且基於 ZooKeeper 協調的分佈式消息系統，現已被捐獻給 Apache 基金會。 目前 Kafka 已經定位為一個分佈式流式處理平台，它以高吞吐、可持久化、可水平擴展、支持流數據處理等多種特性而被廣泛使用，主要是由 Scala 和 Java 編寫。 它是一種高吞吐量的分佈式發佈訂閲消

集羣管理系統 , cloudera , 運維自動化 , zookeeper , kafka

收藏 評論

Oct 10 2024

企業任務調度平台 - 項目實施｜Kafka集羣升級方案，我們踩過的不少坑

項目背景 我們團隊負責維護的 Kafka 集羣承載了公司大部分實時數據的收集與傳輸任務。然而，目前存在一些問題，嚴重影響了集羣的穩定性、用户體驗以及管理員的運維效率： 當前集羣版本較低，且低版本的 bug 頻繁出現，導致集羣穩定性受到威脅。例如，violet 集羣最近因觸發 bug 而出現不可用的情況。 多個集羣版本不一致，用户在使用時受到版本限制，管理員需要關注不同版本之間的差異，增加了問

集羣管理系統 , 大數據處理 , cloudera , hadoop , kafka

收藏 評論