@hdfs / 博客 RSS 訂閱

Nov 22 2025

mob64ca13fa6a3c - HDFS介紹_51CTO博客

這是一個關於HDFS的核心優勢問題。簡單來説，HDFS的設計目標就是處理超大文件（TB/PB級別），並能在成千上萬台普通商用服務器上穩定運行。 下面我們來詳細分解這兩個問題： 1. HDFS可以處理多大的數據？ HDFS的設計初衷就是為了解決海量數據的存儲問題，它的數據容量能力可以從以下幾個層面來理解： 理論極限：極高

hdfs , 大數據 , 數據 , hadoop , 後端開發 , Python

收藏 評論

Dec 01 2025

mob64ca140088a9 - Flink on Yarn

目錄 一、HDFS：分佈式存儲的“數據倉庫” 1. HDFS核心架構：三大角色分工 二、Flink：大數據處理的“計算引擎” 1. Flink核心特性 2. Flink核心架構：三層協作模型 三、Flink+K8s+HDFS：雲原生大數據的“黃金組合” 1. 彈性資源調度：降本增效的核心 2. 可靠數據存儲

hdfs , kubernetes , 雲計算 , flink , 前端開發 , Javascript

收藏 評論

Dec 29 2025

mob64ca14193248 - 2022互聯網大事件覆盤 -

問題 HDFS操作 （1）編程實現一個類“MyFSDataInputStream”，該類繼承“org.apache.hadoop.fs.FSDataInputStream”，要求如下：實現按行讀取HDFS中指定文件的方法“readLine()”，如果讀到文件末尾，則返回空，否則返回文件一行的文本。 （2）查看Java幫助手冊或其它資料，用“java.net.URL”和“

hdfs , hadoop , 後端開發 , Python

收藏 評論

Nov 15 2025

碼海無壓 - hive ldap開啓ssl

1.hadoop ha是通過什麼配置實現自動切換的？ 2.配置中mapred與mapreduce的區別是什麼？ 3.hadoop ha兩個namenode之間的關係是什麼？ -- hadoop 版本：2.4.0 -- 安裝包名： hadoop-2.4.0.tar.gz 或者源碼版本 hadoop-2.4.0-sr

hdfs , 大數據 , hive , hadoop , bc , hive ldap開啓ssl

收藏 評論