tag hadoop

標籤
貢獻119
147
01:12 PM · Nov 03 ,2025
zhaoqianglaoshi 頭像 u_15591410 頭像 a_yu_super 頭像 kamier 頭像 u_16099209 頭像 u_16099326 頭像 u_16436094 頭像 u_16099336 頭像 mirrorship 頭像 u_16099245 頭像 u_16213636 頭像 u_17365737 頭像

@hadoop / 博客 RSS 訂閱

u_16099203 頭像

網絡安全守衞 - “雙碳”目標，數字化的新陣地

用數據“掘地三尺”，為零碳排放找出一條最靠譜的路 ——Echo_Wish 的大數據隨想錄 要我説，“零碳排放”這四個字，看着挺玄乎，但真正落地的時候，其本質就一句話：用數據把浪費揪出來，把效率拉上去，把決策變聰明。 你別看很多企業喊着“雙碳目標”，但真正能做到落地推進的，幾乎都是數字化程度高、數據驅動意識強的團隊 —— 因為碳排

單例模式 , 大數據 , 數據 , 開發語言 , hadoop , JAVA

收藏 評論

a_yu_super 頭像

企業任務調度平台 - 項目實施｜Kafka集羣升級方案，我們踩過的不少坑

項目背景 我們團隊負責維護的 Kafka 集羣承載了公司大部分實時數據的收集與傳輸任務。然而，目前存在一些問題，嚴重影響了集羣的穩定性、用户體驗以及管理員的運維效率： 當前集羣版本較低，且低版本的 bug 頻繁出現，導致集羣穩定性受到威脅。例如，violet 集羣最近因觸發 bug 而出現不可用的情況。 多個集羣版本不一致，用户在使用時受到版本限制，管理員需要關注不同版本之間的差異，增加了問

集羣管理系統 , 大數據處理 , cloudera , hadoop , kafka

收藏 評論

u_16213705 頭像

mob64ca14157da7 - 熟練掌握HDFS的Shell訪問和JavaAPI訪問

以下是一個關於HDFS操作的技術文章大綱，主題聚焦於三種客户端操作方式：命令行操作、網頁界面操作（通過9870端口）和Java代碼操作。 1. 引言 介紹Hadoop分佈式文件系統（HDFS）的基本概念和重要性。 概述三種操作方式：命令行（client1）、網頁界面（client2）和Java API（client3）。

hdfs , hadoop , JAVA , 前端開發 , 前端 , Javascript

收藏 評論

u_15591410 頭像

我就是不長肉而已 - SBD521S-30-ASEMI可直接替代安世1PS79SB10

編輯：ll SBD521S-30-ASEMI可直接替代安世1PS79SB10 型號：SBD521S-30 品牌：ASEMI 封裝：SMAF 正向電流：0.2A 反向電壓：30V 正向壓降：0.55V~0.95V 引線數量：2 芯片個數：1 芯片尺寸：MIL 漏電流：10ua 恢復時間：35ns 浪涌電流

ASEMI , 大數據 , SBD521S-30 , hadoop , 在51CTO的第一篇博文 , 肖特基二極管

收藏 評論

u_16213669 頭像

mob64ca140ce312 - 2分鐘讀懂Hadoop和Spark的異同

從數據處理流程看 Hadoop 與 Spark：批處理、流處理的實現差異 Hadoop 和 Spark 都是大數據處理框架的核心技術，但它們在數據處理流程（包括批處理和流處理）的實現上存在顯著差異。下面我將從數據處理流程的角度（數據輸入、處理引擎、數據輸出）逐步分析這些差異，幫助您理解各自的優勢和適用場景。回答基於真實技術原理，確保可靠。 1

spark , 大數據 , 數據 , hadoop , 前端開發 , Javascript

收藏 評論

chen_67f9ccbe6f07b 頭像

異常君 - 【大數據內核解密】HDFS 架構與數據模型：從理論到實戰全解析

作為 Hadoop 生態系統的基石，HDFS (Hadoop Distributed File System)為大數據應用提供了高吞吐量、高容錯性和高可用性的存儲解決方案。本文將深入剖析 HDFS 的核心架構、數據模型和關鍵機制，帶你全面瞭解這個分佈式文件系統的內部工作原理。 一、HDFS 主從架構：NameNode 與 DataNode 的協作機制 HDFS 採用典型的主從架構設計，由一個 Na

hdfs , 大數據 , hadoop , 後端

收藏 評論

u_16213598 頭像

mob64ca13fbd761 - （I）Banach空間和不動點定理 4: Schauder 不動點及其應用

本節的主要內容在於lambda函數和let函數，通過兩種新的函數形式減少了定義的使用，對過程設計進行了簡化。 lambda函數用於減少define的使用，使得過程的編制更加符合直覺，通過lambda(x)（fx)的形式可以減少很多函數體外的定義過程。 let函數更多用於定義局部變量，通過let體內的定義可以直接完成局部變量的運算，但需要注意區分

d3 , 大數據 , hadoop , 函數體 , 局部變量

收藏 評論

u_16099267 頭像

雲端創新夢想家 - 人工智能+智能製造--中國製造未來方向_人工智能製造

引言 人工智能（AI）正在全球範圍內迅速發展，並深刻影響各行各業。尤其在製造業，AI技術的應用已成為提升生產力、優化供應鏈、減少成本和提升產品質量的重要工具。智能製造是工業4.0的核心，而人工智能無疑是這一進程的核心驅動力。AI的引入不僅僅是為了實現自動化，更在於通過數據驅動的智能決策來提升生產效率和響應市場需求的能力。 本文將探討人工智能在

機器學習 , spark , 大數據 , 數據 , hadoop , 人工智能

收藏 評論

u_16213619 頭像

mob64ca14010a69 - 數據倉庫工具–Hive(歸納第一部分)

可以將結構化的數據文件映射為一張數據庫表，並提供簡單的 SQL 查詢功能，將 SQL 語句轉換為 MapReduce/Tez/Spark 任務運行。 SQL接口：使用 HiveQL（類似 SQL）進行查詢 大數據處理：處理 PB 級別的數據 數據倉庫：適合離線批處理和數據倉庫建設 擴展性：可自定義 UDF、UDAF

大數據 , hive , 數據倉庫 , hadoop , SQL

收藏 評論

u_14344 頭像

冷月星 - hadoop商用價格

無論國內外，大公司對數據都有着無窮無盡的渴望，隨着業務開展，數據來源越來越多，數據格式多樣，體量也越來越大，因此基於結構化數據的關係型數據庫很快趨於瓶頸。公司們都在思考着如何尋找一個合適的工具來解決大數據量下的計算和存儲問題。你可能會想到超算和HPC，但只有幾個巨頭玩得起，中小企業基本很難承擔其自建費用。後來，谷歌連發了3篇關鍵性的論文：GoogleFS, MapReduce和B

hadoop商用價格 , 大數據 , 數據 , 微服務 , hadoop

收藏 評論

u_12897 頭像

jordana - 權限控制_多租户系統設計之權限控制_weixin

Uberi/speech_recognition多租户架構：隔離與資源分配方案 在企業級語音識別應用中，多租户（Multi-Tenancy）架構面臨着數據隔離、資源競爭和識別精度平衡的核心挑戰。Uberi/speech_recognition作為一款支持多引擎的Python語音識別庫，通過模塊化設計和靈活配置機制，為構建多租户系統提供了基礎

多租户 , 大數據 , hadoop , 語音識別 , Git

收藏 評論

u_17365737 頭像

泰克教育 - 泰漲知識 | RDD編程

一、RDD操作 1、創建操作 ①從文件創建 文件的一行對應RDD的一個元素： a.從本地文件創建 //格式：sc.textFile("file://本地文件絕對路徑") valrdd =sc.textFile("file

spark , 大數據 , hive , hadoop , Scala

收藏 評論

zhaoqianglaoshi 頭像

趙渝強老師 - 【趙渝強老師】大數據生態圈中的組件

  大數據體系架構中的組件非常多，每個組件又屬於不同的生態圈系統。從最早的Hadoop生態圈體系開始，逐步有了Spark生態圈體系和Flink生態圈體系。因此在學習大數據之前有必要了解一下每一個生態圈體系中具體包含哪些組件，以及它們的作用又是什麼。   視頻講解如下： https://www.bilibili.com/video/BV1UE421N7RC/?aid=1655938699

spark , 大數據 , hadoop , flink , kafka

收藏 評論

u_16213678 頭像

mob64ca140ee96c - HbaseMyBatisMongDb區別

基於 HDP2.4安裝(五)：集羣及組件安裝 創建的hadoop集羣，修改默認配置，將hbase存儲配置為 Azure Blob Storage 目錄： 簡述 配置 驗證 FAQ 簡述： hadoop-azure 提供hadoop 與 azure blob storage 集成支持，需要部署 ha

azure , hadoop , 數據庫 , storage , hbase

收藏 評論

u_13360 頭像

level - 大數據系統需要把數據都放入hadoop中嗎

大數據發展過程的關鍵要素 數據源的三個層次： 1 緯度較少、數據量小 2 緯度豐富、數據量巨大（大數據）。 3 數據正確、及時、具有代表性 樣本數據=總體數據（全數據）。 對業務目標而言，數據是否“全”才是關鍵。 全數

大數據 , 數據 , hadoop , 數據治理 , 全數據

收藏 評論

u_16213628 頭像

mob64ca14031c97 - cdp對應的spark客户端 spark core

目錄 一、Spark Core 1、什麼是Spark？特點 二、安裝和部署Spark、Spark 的 HA 1、spark體系結構 2、spark的搭建 3、Spark的 HA 三、執行Spark的任務

spark , 大數據 , hadoop , Scala , cdp對應的spark客户端

收藏 評論

u_16099326 頭像

編程小天才 - 5.3.《hadoop實戰》Hadoop數據管理之Hive_eternity

Hive與HDFS集成：數據存儲路徑管理技巧 在Hive與HDFS集成中，合理管理數據存儲路徑是提升性能和維護效率的關鍵。以下是核心管理技巧： 1. 自定義存儲路徑 創建表時使用LOCATION子句指定HDFS路徑，避免使用默認倉庫目錄： CREATE EXTERNAL TABLE sales_data ( id I

hdfs , hive , hadoop , 後端開發 , Python

收藏 評論

u_15591410 頭像

我就是不長肉而已 - BAT54S-ASEMI可直接替代安世BAT54S-QR

編輯：ll BAT54S-ASEMI可直接替代安世BAT54S-QR 型號：BAT54S 品牌：ASEMI 封裝：SOT-23 正向電流：0.2A 反向電壓：30V 正向壓降：0.55V~0.95V 引線數量：2 芯片個數：1 芯片尺寸：MIL 漏電流：10ua 恢復時間：35ns 浪涌電流：80A

BAT54S , ASEMI , 大數據 , hadoop , 在51CTO的第一篇博文 , 肖特基二極管

收藏 評論

u_16099209 頭像

雲端夢想家 - linux中刪除指定鏡像文件

一、刪除框架多餘的命令 很多框架都帶有 Windows 和 Linux 的兩套功能相同的命令，但是我們在 Linux 下部署服務器根本用不到 Windows 那一套命令，所有我們把所以的以 .cmd 結尾的文件都刪掉，避免每次匹配都干擾我們補全。 找到根目錄下所有的以 cmd 結尾的文件並把查找結果當做參數傳給rm -rf命令進行

find , linux中刪除指定鏡像文件 , 雲計算 , 刪除文件 , hadoop , Linux , 雲原生

收藏 評論

u_13633 頭像

daleiwang - Atcoder AGC001 解題報告

A 簡單題，每次找兩個最短的配對，取兩者 \(\min\)。實現上，對 \(a\) 從小到大排序，\(1 \to n\) 遍歷 \(i\)，每次將 \(a_i\) 累計入答案並對 \(i\) 迭代 \(+ 2\)。 #include bits/stdc++.h using i64 = long long; int main() { st

大數據 , hadoop , i++ , ci , ios

收藏 評論

u_16213680 頭像

mob64ca140f67e3 - hadoop yarn怎麼定位到數據傾斜的key

數據傾斜是指，map /reduce程序執行時，reduce節點大部分執行完畢，但是有一個或者幾個reduce節點運行很慢，導致整個程序的處理時間很長，這是因為某一個key的條數比其他key多很多（有時是百倍或者千倍之多），這條key所在的reduce節點所處理的數據量比其他節點就大很多，從而導致某幾個節點遲遲運行不完。

數據傾斜 , 大數據 , 數據 , hive , hadoop

收藏 評論

u_16099172 頭像

編程小天匠 - 【技術之聲】第三期（20220103）一週精選

▌引言：GEO 正在重構全球智能流量分配規則 2025 年，生成式 AI 搜索已完成從“技術探索”向“商業規模化應用”的關鍵躍遷。以 ChatGPT、DeepSeek、Gemini、Claude、豆包等為代表的 AI 搜索與問答系統，正在系統性重塑用户的信息獲取路徑，也由此重構了企業獲取流量、影響決策與實現轉化的底層邏輯。 在這一背景下，GEO（Generat

知乎 , 商業 , 大數據 , 搜索 , hadoop

收藏 評論

u_16099334 頭像

AI領域佈道師 - spark2支持hint嗎

目錄 條件 安裝 scala 發到虛擬機上，解壓 配置環境變量 配置SCALA_HOME，然後在PATH變量後加上`:$SCALA_HOME/bin` 驗證 spark 下載 解壓 配置環境變量

spark , 大數據 , hadoop , spark2支持hint嗎

收藏 評論