tag hadoop

標籤
貢獻119
141
01:12 PM · Nov 03 ,2025
zhaoqianglaoshi 頭像 u_15591410 頭像 a_yu_super 頭像 kamier 頭像 u_16099209 頭像 u_16099326 頭像 u_16436094 頭像 u_16099336 頭像 mirrorship 頭像 u_16099245 頭像 u_16213636 頭像 u_17365737 頭像

@hadoop / 博客 RSS 訂閱

u_16099295 頭像

IT劍客行 - dolphinscheduler工作流hive kerberos

第1章 DolphinScheduler簡介 1.1 DolphinScheduler概述 Apache DolphinScheduler是一個分佈式、易擴展的可視化DAG工作流任務調度平台。致力於解決數據處理流程中錯綜複雜的依賴關係，使調度系統在數據處理流程中開箱即用。 1.2 DolphinScheduler核心架構 Dolp

大數據 , MySQL , hive , hadoop , apache

收藏 評論

u_13521 頭像

cnolnic - 不懂Hadoop心臟Shuffle的原理這一篇就夠了（含講解視頻）

在 Hadoop MapReduce 的 Shuffle 階段，環形緩衝區（Circular Buffer） 被用於 Map 任務輸出中間數據的暫存，這是其性能優化的關鍵設計之一。下面從原理、目的和優勢三個方面詳細解釋 為什麼 Hadoop Shuffle 中使用環形緩衝區。 一、環形緩衝區在 Shuffle 中的位置 在 Map 任

大數據 , 數據 , hadoop , 環形緩衝

收藏 評論

u_16099225 頭像

數據探索者11 - Linux 系統時間同步方法小結 -

在 Linux 系統中，同步時間涉及 系統時間（System Time） 和 硬件時間（Hardware Clock 或 RTC, Real-Time Clock）。系統時間由 Linux 內核管理，主要用於操作系統運行時的計時和任務調度；硬件時間則由主板上的時鐘芯片維護，即使關機也會繼續運行。 以下是同步時間的方法以及如何同步硬件時間的具體步驟：

大數據 , hadoop , 系統時間 , bash , 時間同步

收藏 評論

u_14191 頭像

索姆拉 - 虛擬集羣搭建日記2——克隆虛擬機以及實現互通

文章目錄 1.關閉防火牆（三台虛擬機都需要關閉） 查看防火牆的狀態 永久關閉 firewalld 防火牆（推薦方法） 2.查看是否具有ssh服務 3.準備節點（克隆虛擬機） 4.MAC地址和IP地址 5.修改主機名 6.網絡與主機名映射 7.重啓網絡 8.節點之

服務器 , ip , hadoop , Linux , 前端開發 , apache , Javascript

收藏 評論

u_16099296 頭像

mob6454cc73e9a6 - 基於Hadoop的數據倉庫工具Hive(附超實用示例) - 個人文章

技術介紹 大數據技術：hadoop、hive、sqoop 後端技術：springboot、mybatis 前端技術：vue、elementui、echarts 開發環境：java17、node.js、mysql、maven、idea 項目介紹 優衣庫訂單數據分析項目基於大數據技術開發，旨在通過對電商平台的訂單數據進行高

大數據 , hadoop , 數據庫 , 分佈式 , Python

收藏 評論

u_16213701 頭像

mob64ca14147fe3 - 驥遠自動化PROFINET轉Modbus網關與儀表通訊

協議轉換網關打通Prof inet轉Modbus TCP鴻溝，實現高速隧道智慧監控 一、項目背景 2025 年，華東某中心城市新建 12km 城市快速路隧道，設計時速 80 km，雙洞 6 車道，日均通行能力 8 萬輛。隧道機電系統採用“三級管理、兩級控制”架構 由於業主已招標選用研華IPC-610H 工控機（i7-13700E

大數據 , tcp , 運維 , hadoop , 協議轉換

收藏 評論

zhaoqianglaoshi 頭像

趙渝強老師 - 【趙渝強老師】阿里雲大數據存儲計算服務：MaxCompute

阿里雲大數據計算服務（MaxCompute）是一種快速、完全託管的TB/PB級數據倉庫解決方案。MaxCompute向用户提供了完善的數據導入方案以及多種經典的分佈式計算模型，能夠更快速的解決用户海量數據計算問題，有效降低企業成本，並保障數據安全。 視頻講解如下： https://www.bilibili.com/video/BV19M8izmEoU/?aid=114924365812...

spark , 大數據 , hadoop , 阿里雲

收藏 評論

u_16099336 頭像

浪人小風光 - 大數據Hadoop技術的發展歷史與未來前景_hadoop的未來發展方向

2025 年排名前 15 位的大素材技巧，它們具備不同的架構、性能特性與應用場景，可滿足各類組織的多樣化需求。下文將深入介紹這些領先的大數據工具與框架。就是大信息科技不斷髮展，以應對日益增長的數據量、數據速度與內容多樣性等挑戰。以下 Apache Hadoop。Apache Hadoop 是大數據領域的基礎性框架，可提供可靠、可擴展的分佈式計算環境，非常適

大數據 , 數據 , hadoop , 應用場景 , apache

收藏 評論

u_12865 頭像

autohost - 單獨編譯使用WebRTC的音頻處理模塊 - android - 牽着老婆滿街逛

編寫源代碼： // 標準輸入輸出頭文件，提供printf等函數 #include stdio.h // 文件控制操作頭文件，提供open、fcntl等函數 #include fcntl.h // UNIX標準函數頭文件，提供read、write、close等函數 #include unistd.h // 文件狀態頭文件，提供stat、fs

大數據 , 採樣率 , hadoop , C語言 , c++ , Linux , 音頻處理

收藏 評論

u_16213583 頭像

mob64ca13f83523 - spark 寫入結構化數據到hdfs

（resilient distributed dataset，RDD）是一個非常重要的分佈式數據架構，即彈性分佈式數據集。 　　它是邏輯集中的實體，在集羣中的多台機器上進行了數據分 區。通過對多台機器上不同RDD分區的控制，就能夠減少機器之間的數據重排（data shuffling）。Spark提供了“partitionBy”運算符，能夠通過集羣中多台機器之間對原始RDD進

spark , hdfs , 大數據 , spark 寫入結構化數據到hdfs , 數據 , hadoop

收藏 評論

u_16213630 頭像

mob64ca14038b36 - Hiveserver 2 啓動中的問題

在 Hive 生態系統中，從元數據庫初始化到 HiveServer2 啓動的每一步都可能暗藏 “陷阱”。本文將結合實際操作，詳細解決元數據庫強制連接 Derby和HiveServer2 啓動類缺失兩大核心問題，幫助你徹底打通 Hive 部署流程。 目錄 一、問題一：Hive 元數據庫初始化時強制連接 Derby 現象回

大數據 , MySQL , hive , hadoop , 後端開發 , 筆記 , Python

收藏 評論

u_16099245 頭像

遊俠小影 - 類與對象 - 荊荊是個好姑娘的個人空間 -

初始化是一樣的，只是暫且沒有區別 這樣就不行了 他認為初始化列表是每個成員變量定義的地方。日期類成員可以在函數體內也可以初始化列表內。但是有一類成員只能 比如説有一個const成員，如果這個const成員在函數體內初始化是不行的

初始化列表 , 大數據 , 初始化 , 算法 , hadoop , c++ , 函數體

收藏 評論

u_16213636 頭像

mob64ca1404ed65 - android adb 最新版本下載地址,adb工具包2017完整版-安卓adb工具1.0.32 最新完整版下載_東坡手機下載..._weixin

此前我們發佈了ROM樂園ADB工具箱R34版，使用的用户非常多，集成了很多驅動和常用的adb命令，幫助很多小白用户，輕鬆學會了adb調試刷機等操作。2025年，我們同步官方更新到最新的ADB工具箱R36版本，修復了此前的各種BUG；目前屬於相對來説最為穩定的版本，並且兼容最新版系統的刷機，特別是Pixel8以上設備，舊版的fatsboot指令常會失敗，新

windows , 大數據 , 舊版 , API , adb , hadoop

收藏 評論

u_15591410 頭像

我就是不長肉而已 - BAT54CW-ASEMI可直接替代安世BAT54CW

編輯：ll BAT54CW-ASEMI可直接替代安世BAT54CW ASEMI首芯半導體可替代安氏半導體功率器件 型號：BAT54CW 品牌：ASEMI 封裝：SOT-323 特性：肖特基二極管 正向電流：0.1A 反向耐壓：30V 恢復時間：35ns 引腳數量：2 芯片個數：1 芯片尺寸：MIL 浪涌

ASEMI , 大數據 , BAT54CW , hadoop , 在51CTO的第一篇博文 , 肖特基二極管

收藏 評論

u_16099298 頭像

墨守成規de網工 - 可能是 2017 最全的機器學習開源項目列表 - 編輯部的個人空間 -

這個list僅提供參考，賽題二是一個較為開放的命題，範圍並不限於下文所提到的方向。本文檔用於幫助參賽選手快速查找並選擇適合的賽題方向與對應的 Issue。 所有任務均需以Issue + PR的形式提交，且 PR 必須引用對應的 Issue（例如在對應issue評論PR的link），方可計入有效成果。 文檔類賽題（Documentat

性能優化 , Core , issue , 大數據 , hadoop , 開源 , CUDA

收藏 評論

u_16213659 頭像

mob64ca140a8e67 - spark block 大小配置

1.RDD 彈性分佈式數據集: RDD是由多個partition組成 最小單位是partition:與讀取的block是一一對應的. 有多少個block就有多少個partion. 算子就是函數:作用再rdd的partition上的. 對彈性的理解:某個RDD損壞了,可以進行恢復.他們直接有依賴關係 分區器是作用在kv格式RDD上很難理解 partition提供數據

spark , 大數據 , 數據 , hadoop , spark block 大小配置 , mapreduce

收藏 評論

u_17365737 頭像

泰克教育 - 泰漲知識 | Hadoop的IO操作——壓縮/解壓縮

一、 壓縮案例（DEFLATE） import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.io.IOUtils; import org.apache.hadoop.io.compress.CompressionCodec;

大數據 , hive , hadoop , JAVA , apache

收藏 評論

u_13250 頭像

flybirdfly - Hadoop trash恢復數據

也就是説，我們其實已經實際刪除了某些數據塊，但是記錄的元數據因為一些故障導致沒有進行同步，就會出現這種情況。 解決方法 首先強制退出安全模式： hdfs dfsadmin -safemode forceExit 接着，我們進入 WEB 管理界面，刷新一下。 此時，我們就會發現那些數據塊丟失的

Hadoop trash恢復數據 , it , 大數據 , hadoop , 安全

收藏 評論

ITEvan 頭像

智慧園區探索者 - 大數據技術簡史：十年演化，萬象歸流

“以史為鏡，可以明得失。 如果你站在2010年，看着MapReduce把TB級別的日誌壓進Hadoop，然後花上幾個小時跑出一個分析報告，你或許會覺得：這，就是“數據處理”的終極形態了。 如果你站在2015年，看着Spark用內存計算把作業時延從小時壓到分鐘級，你會驚歎：這才是真正的“快”。 如果你站在2020年，看着Kafka、Flink、ClickHouse

大數據 , 數據 , hadoop , 前端開發 , Javascript

收藏 評論

u_15591410 頭像

我就是不長肉而已 - SBD1DF40V1H-ASEMI可直接替代安世PMEG3010EGW

編輯：ll SBD1DF40V1H-ASEMI可直接替代安世PMEG3010EGW ASEMI首芯半導體可替代安氏半導體功率器件 型號：SBD1DF40V1H 品牌：ASEMI 封裝：SOD-123FL 特性：肖特基二極管 正向電流：1A 反向耐壓：40V 恢復時間：35ns 引腳數量：2 芯片個數：1 芯片

ASEMI , 大數據 , hadoop , 在51CTO的第一篇博文 , SBD1DF40V1H , 肖特基二極管

收藏 評論

u_16213689 頭像

mob64ca1411a6fc - MongoDB安裝，使用教程（圖文）_51CTO博客

MongoDB入門教程：5分鐘學會安裝和基本操作 MongoDB作為當今最流行的NoSQL數據庫之一，以其高性能、靈活的數據模型和強大的水平擴展能力而聞名。無論你是開發者還是數據分析師，掌握MongoDB都能為你的項目帶來巨大價值。本文將為你提供完整的MongoDB安裝指南和基礎操作教程，讓你在5分鐘內快速上手這個強大的文檔數據庫。

大數據 , 數據 , 數據模型 , hadoop , 數據庫

收藏 評論

u_15591410 頭像

我就是不長肉而已 - 2N7002K-ASEMI智能家居控制專用2N7002K

編輯：LL 2N7002K-ASEMI智能家居控制專用2N7002K 型號：2N7002K 品牌：ASEMI 封裝：SOT-23 RDS(on):5.0Ω 批號：最新 引腳數量：3 封裝尺寸：如圖 特性：N溝道MOS管 工作結温：-55℃~150℃ 當 “小而精” 遇上 “高可靠”，2N7002K 重新定義中低壓

ASEMI , 大數據 , hadoop , MOS管 , 在51CTO的第一篇博文 , 2N7002K

收藏 評論

u_16213580 頭像

雲端行者 - hadoop二版本增加了什麼 hadoop2.7.6

Hadoop2.7.6學習 Hadoop的發展史 Google 爬取全球的網站，然後計算頁面的PageRank 要解決網站的問題： a：這些網站怎麼存放 b：這些網站應該怎麼計算 發佈了三篇論文 a：GFS(Google File System) b：MapReduce(數據計算方法)

大數據 , 數據 , hadoop , hadoop二版本增加了什麼 , apache

收藏 評論

zhaoqianglaoshi 頭像

趙渝強老師 - 【趙渝強老師】大數據主從架構的單點故障

  大數據體系架構中的核心組件都是主從架構，即：存在一個主節點和多個從節點，從而組成一個分佈式環境。下圖為展示了大數據體系中主從架構的相關組件。   視頻講解如下： https://www.bilibili.com/video/BV1vz421z72U/?aid=1355982530c...   從上圖可以看出大數據的核心組件都是一種主從架構，而只要是主從架構就存在單點故障的問

spark , 大數據 , hadoop , zookeeper , flink

收藏 評論