tag hadoop

標籤
貢獻119
145
01:12 PM · Nov 03 ,2025
zhaoqianglaoshi 頭像 u_15591410 頭像 a_yu_super 頭像 kamier 頭像 u_16099209 頭像 u_16099326 頭像 u_16436094 頭像 u_16099336 頭像 mirrorship 頭像 u_16099245 頭像 u_16213636 頭像 u_17365737 頭像

@hadoop / 博客 RSS 訂閱

u_16213696 頭像

mob64ca14133dc6 - 計算機網絡常見面試題 - 楊柳依依

UDP和TCP是傳輸層最重要的兩種協議，它們的區別從根本上決定了互聯網上各種應用的表現。 簡單來説： TCP像打電話：需要接通、確認對方能聽到、有條理地對話、最後説再見。可靠，但步驟多。 UDP像發傳單：把傳單扔出去就行，不關心對方是否收到、是否按順序收到。快速，但不可靠。 下面通過一個詳細的表格和解釋來全面對

大數據 , tcp , ip , hadoop , udp , 網絡協議

收藏 評論

zhaoqianglaoshi 頭像

趙渝強老師 - 【趙渝強老師】HBase的體系架構

HBase是大表（BigTable）思想的一個具體實現。它是一個列式存儲的NoSQL數據庫，適合執行數據的分析和處理。簡單來説，就是適合執行查詢操作。從體系架構的角度看，HBase是一種主從架構，包含：HBase HMaster、Region Server和ZooKeeper，下圖展示了這一架構。 其中： HBase HMaster負責Region的分配及數據庫的創建和刪除等操作。

hdfs , nosql , hadoop , 數據庫 , hbase

收藏 評論

zhaoqianglaoshi 頭像

趙渝強老師 - 【趙渝強老師】HBase的邏輯存儲結構

HBase的邏輯存儲結構主要包括：命名空間（NameSpace）、表（Table）和列族（Column Family）。視頻講解如下： https://www.bilibili.com/video/BV1T3BrYcE8a/?aid=113529894410... 下面分別進行介紹。 一、 命名空間（NameSpace） HBase的命名空間相當於Oracle和MySQL中的數據庫，它是對錶

hdfs , nosql , hadoop , 數據庫 , hbase

收藏 評論

zhaoqianglaoshi 頭像

趙渝強老師 - 【趙渝強老師】HBase的物理存儲結構

HBase的存儲結構分為邏輯存儲結構與物理存儲結構，並且HBase通過邏輯存儲結構來管理物理存儲結構。而最終物理存儲對應的文件又是存儲在HDFS之上。而HBase的物理存儲結構主要包括StoreFile、HFile和HLog日誌。視頻講解如下： https://www.bilibili.com/video/BV1T3BrYcE8a/?aid=113529894410... 一、 數據文件HF

hdfs , nosql , hadoop , 數據庫 , hbase

收藏 評論

zhaoqianglaoshi 頭像

趙渝強老師 - 【趙渝強老師】大數據日誌採集引擎Flume

Apache Flume支持採集各類數據發送方產生的日誌信息，並且可以將採集到的日誌信息寫到各種數據接收方。其核心是把數據從數據源（Source）收集過來，在將收集到的數據送到指定的目的地（Sink）。為了保證輸送的過程一定成功，在送到目的地（Sink）之前，會先緩存數據（Channel）,待數據真正到達目的地（Sink）後，Flume再刪除自己緩存的數據。 一、 Apache Flume的體系架

大數據 , hadoop , flume , etl

收藏 評論

starrocks 頭像

StarRocks - 告別 Hadoop，擁抱 StarRocks！政採雲數據平台升級之路

作者：李進勇 政採雲研發中心數據平台負責人 導讀： 在當下數字化轉型的浪潮中，數據早已從輔助資源躍升為核心生產資料和決策基礎。政府提升治理效能，企業優化運營、創新服務，都深度依賴對海量數據的實時洞察與高效處理。 政採雲平台作為政府採購數字化的創新典範，集監管、交易、服務於一體，經過近九年的發展，已成為行業內服務範圍最廣、用户數量最多、交易最活躍、監管產品最豐富的跨區域、跨層級、跨領域的一

數據結構 , hadoop , 數據庫 , starrocks

收藏 評論

u_17558081 頭像

饕餮大數據 - MDEP-187 從根因到修復

温馨提示 此內容版本在 ttr-2.2.1 已經修復,低於該版本需要手動處理。有任何問題可以聯繫作者，或者訪問 TTBigdata知識庫 獲取其他技術支持。 一、問題背景 在編譯 Ambari Views 模塊時，常會遇到以下錯誤： 典型報錯信息如下： [DEBUG] (f) session = org.apache

大數據 , yyds乾貨盤點 , Bigtop , 運維 , hadoop , 開源大數據 , Ambari

收藏 評論

u_17558081 頭像

饕餮大數據 - 【Ambari開啓Kerberos】-Kafka啓動失敗處理

温馨提示 本文內容在使用 ttr-2.2.0版本之前，開啓Kerberos後才會遇到。 後續版本已經做了處理，無需關注！ 如果在部署、二開過程中，遇到任何問題可以讓作者幫你解決。 一、問題現象 在 Ambari 啓用 Kerberos 後啓動 Kafka 服務時，出現如下錯誤，Kafka 無法正常啓動。 [2025-10-29

hdp , 大數據 , cdh , 私藏項目實操分享 , 運維 , hadoop , 開源

收藏 評論

u_16213680 頭像

mob64ca140f67e3 - matlab解超靜定方程,超定方程和最小二乘法 | 學步園

對於稀疏的超定線性方程組 Ax = b（其中 A ∈ ℝᵐˣⁿ，m n，即方程個數多於未知數個數），由於通常不存在精確解，我們尋求最小二乘意義下的最優解： min ‖Ax - b‖₂² 當矩陣 A 是大型稀疏矩陣時，直接法（如QR分解、SVD）計算開銷大，因此常用迭代法或基於稀疏結構的優化算法。以下是幾種常用解法： 1. 正規方程法

最小二乘 , 稀疏矩陣 , 大數據 , 算法 , hadoop , 超定方程組 , 線性方程求解

收藏 評論

u_16213566 頭像

雲端小仙童 - hadoo hive zk版本兼容 hadoop和hive版本

1 準備工作 1.1 軟件準備 Hive需要Hadoop的支持，在安裝Hive之前需要正確安裝Hadoop。目前Hive的最新版本為0.13.1，這個版本可在Hadoop 0.20.x, 0.23.x.y, 1.x.y, 2.x.y下使用。本文采用Hadoop 1.x中最新版本1.2.1。Hadoop使用環境中必須由JDK，本文下載JDK 7較新版本。同時,Hive將

大數據 , hadoo hive zk版本兼容 , hive , hadoop , JAVA

收藏 評論

u_16099200 頭像

數據探索者 - Storm 為什麼淘汰

序：在開發storm項目時，提交項目jar包當把依賴的第三方jar包都打進去提交storm集羣啓動時報了發現多個同名的文件錯誤由此開始了一段對jar包的深刻理解之路。 java.lang.RuntimeException: Found multiple defaults.yaml resources.You're probably bundling

Storm , 大數據 , jar , maven , hadoop , Storm 為什麼淘汰 , JAVA

收藏 評論

zhaoqianglaoshi 頭像

趙渝強老師 - 【趙渝強老師】Hadoop HDFS的快照

HDFS的快照（Snapshot）是一個全部文件系統、或者某個目錄在某一時刻的鏡像。這裏其實可以把HDFS的快照理解成是HDFS提供的一種備份機制。快照應用在以下場景中： 防止用户的錯誤操作 備份 試驗/測試 災難恢復 視頻講解如下： https://www.bilibili.com/video/BV1eTYCzVE4b/?aid=115043685437... 由於HDFS的快

hdfs , 大數據 , hadoop , JAVA

收藏 評論

u_16213684 頭像

mob64ca14106f2f - 微分方程的數值解法之歐拉方法_歐拉法精確解怎麼求

BSDE（後向隨機微分方程）的歐拉算法實現。 BSDE在金融數學、隨機控制等領域有重要應用。 1. BSDE基本理論 BSDE的一般形式 BSDE通常表示為： Y_t = ξ + ∫_t^T f(s, Y_s, Z_s) ds - ∫_t^T Z_s dW_s 其中： Y_t 是狀態過程 Z_t 是控制

大數據 , hadoop , 生成器 , 基函數 , 迭代

收藏 評論

baidujiagoushi 頭像

百度Geek説 - 百度大數據成本治理實踐

導讀 本文概述了在業務高速發展和降本增效的背景下百度MEG（移動生態事業羣組）大數據成本治理實踐方案，主要包含當前業務面臨的主要問題、計算數據成本治理優化方案、存儲數據成本治理優化方案、數據成本治理成果以及未來治理方向的一個思路探討，為業界提供可參考的治理經驗。 01 背景 隨着百度各業務及產品的快速發展，海量的離線數據成本在持續地增長。在此背景下，通過大數據治理技術來幫助業務降本增效，實現業務的

spark , hadoop

收藏 評論

u_16099295 頭像

IT劍客行 - dolphinscheduler工作流hive kerberos

第1章 DolphinScheduler簡介 1.1 DolphinScheduler概述 Apache DolphinScheduler是一個分佈式、易擴展的可視化DAG工作流任務調度平台。致力於解決數據處理流程中錯綜複雜的依賴關係，使調度系統在數據處理流程中開箱即用。 1.2 DolphinScheduler核心架構 Dolp

大數據 , MySQL , hive , hadoop , apache

收藏 評論