tag hadoop

標籤
貢獻119
148
01:12 PM · Nov 03 ,2025
zhaoqianglaoshi 頭像 u_15591410 頭像 a_yu_super 頭像 kamier 頭像 u_16099209 頭像 u_16099326 頭像 u_16436094 頭像 u_16099336 頭像 mirrorship 頭像 u_16099245 頭像 u_16213636 頭像 u_17365737 頭像

@hadoop / 博客 RSS 訂閱

u_16099271 頭像

代碼魔術師之手 - Dubbo基本原理

目錄 1. 為什麼需要DefaultFuture機制？ 1.1 單一長連接的挑戰 1.2 示例場景 2. DefaultFuture的核心設計 2.1 關鍵組件 2.2 響應匹配流程 2.3 超時處理 3. DefaultFuture的線程安全與

服務端 , 大數據 , hadoop , 客户端 , JAVA

收藏 評論

u_16099242 頭像

網線小遊俠 - 深入理解Golang之Map_golang map

好傢伙, 在遊戲開發，尤其是後端服務的構建過程中，我們常常從一個簡單的想法或原型開始。 代碼直接、功能明確，一切看起來都很好。但隨着項目複雜度的提升，最初的“簡潔”設計往往會變成“僵化”的枷鎖。 0.需求分析 我想我需要一張地圖,作用如下: 1.記錄所有人的位置, 2.快速的拿到某個角色的信息 3.快速拿到某個位

大數據 , 初始化 , hadoop , Layout , Json

收藏 評論

u_16099280 頭像

編程小達人之心 - SQL小白學習路徑

SQL（Structured Query Language）作為數據庫查詢語言，是每個數據分析師、後端工程師和數據庫管理員的必備技能。但是，光看理論不夠，只有通過大量練習才能真正掌握SQL。今天就為大家推薦幾個優質的SQL練習平台，幫助你從零基礎到熟練掌握。 一、適合入門的平台 1. SQLZoo - 最適合零基礎 推

大數據 , 學習 , hadoop , 數據庫 , 官網 , SQL

收藏 評論

u_87634 頭像

新新人類 - Spark大數據分析技術 spark 大數據

Apache Spark最初在2009年誕生於美國加州大學伯克利分校的APM實驗室，並於2010年開源，如今是Apache軟件基金會下的頂級開源項目之一。Spark的目標是設計一種編程模型，能夠快速地進行數據分析。Spark提供了內存計算，減少了IO開銷。另外Spark是基於Scala編寫的，提供了交互式的編程體驗。經過10年的發展，Spark成為了炙手可熱的大數據處理平台，目前

spark , Spark大數據分析技術 , 大數據 , 搜索 , 應用程序 , hadoop

收藏 評論

a_yu_super 頭像

企業任務調度平台 - Cloudera Hue實戰：如何高效利用這款數據查詢工具

Hue 的介紹 HUE 是一個開源的 Apache Hadoop UI 系統，早期由 Cloudera 開發，它是基於 Python Web 框架 Django 實現，後來貢獻給開源社區。它包括 3 個部分 hue ui，hue server， hue db。通過使用 Hue 我們可以通過瀏覽器方式操縱 Hadoop 集羣，查看修改 hdfs 的 文件，管理 hive 的元數據，運行 Sqoop，

hue , 集羣管理系統 , 大數據處理 , cloudera , hadoop

收藏 評論

u_16099181 頭像

數碼悟透 - HDFS兩種操作方式：命令行和Java API

一、引言 Hadoop 分佈式文件系統（HDFS）作為大數據生態的核心存儲組件，憑藉高容錯性、高擴展性及海量數據存儲能力，成為分佈式數據處理場景的基石。本文聚焦 HDFS 的三種核心客户端操作模式 —— 命令行客户端（client1）、9870 端口 Web UI 客户端（client2）與 Java API 客户端（client3），將系統拆解每

hdfs , hadoop , 後端開發 , 前端 , Python , ui

收藏 評論

a_yu_super 頭像

企業任務調度平台 - Spark與Hive的完美結合：如何在Spark上部署Hive

主要記錄如何安裝配置 Hive on Spark，在執行以下步驟之前，請先確保已經安裝 Hadoop 集羣，Hive，MySQL，JDK，Scala，具體安裝步驟不再贅述。 背景 Hive 默認使用 MapReduce 作為執行引擎，即 Hive on mr。實際上，Hive 還可以使用 Tez 和 Spark 作為其執行引擎，分別為 Hive on Tez 和 Hive on Spark。由於

spark , cloudera , yarn , hive , hadoop

收藏 評論

wl_68521de393432 頭像

WL - hadoop大數據學習01(基礎環境準備)

環境準備 下載centos7 鏡像文件 https://mirrors.aliyun.com/centos/7/isos/x86_64/ 選擇最小安裝版 CentOS-7-x86_64-Minimal-2009.iso 安裝完成之執行下面的命令更新鏡像源: 直接輸入curl -o /etc/yum.repos.d/CentOS-Ba

大數據 , hadoop , JAVA , 後端

收藏 評論

u_16213624 頭像

mob64ca140234eb - 2.HDFS之客户端操作 - 送你一顆光芒海的個人空間 -

一、HDFS的Shell操作 （一）、進程啓停管理 1.一鍵啓停腳本 （1）$HADOOP_HOME/sbin/start-dfs.sh,一鍵啓動HDFS集羣 注：輸入後可能會出現如下情況 c.輸入後顯示連接出現問題，只需將其他兩個虛擬機（node2，node

hdfs , 大數據 , hadoop , 後端開發 , Python

收藏 評論

mirrorship 頭像

鏡舟科技 - 用户行為分析：從概念到實踐的全面指南

在數字化轉型浪潮中，用户行為分析已成為企業決策的核心驅動力。 用户行為分析本質上是對用户與產品交互過程中產生的各類行為數據進行系統性收集、處理和分析，從而揭示用户偏好、預測行為趨勢並指導業務決策的過程。它包含三層核心要素：行為軌跡捕捉、場景歸因分析和價值轉化實現。 用户行為分析已從可選工具演變為企業數字化轉型的必爭之地，它通過數據驅動的方式，幫助企業深入理解用户、優化產品體驗並最終提升業務價值。

數字化轉型 , hadoop , starrocks , 分析 , olap

收藏 評論

u_16213655 頭像

mob64ca1409970a - find_element最新用法

find是一個強大的文本搜索工具,有很多選型可以根據用户,時間,尺寸,路徑,權限,文件類型等選項查找,也可以指定路徑,最後還能對找到的文件進行處理 . 下面主要介紹find的四個方面: 一:find與locate的比較 二:find的常見用法及其語法

find_element最新用法 , 機器學習 , 文件名 , find命令 , hadoop , 人工智能

收藏 評論

u_15831703 頭像

wei_shuo - GLM-4.7 & MiniMax M2.1 限免上線！工程級 Agent 模型正式接入 AI Ping

前言：從"能生成"到"能長期跑"的工程級大模型 大模型產業落地階段，工程交付穩定性與長時 Agent 運行效率成為核心衡量標準，GLM-4.7 與 MiniMax M2.1 作為國產模型兩條差異化成熟路線的代表，跳出單輪生成質量侷限，聚焦真實場景長期穩定運行能力。AI Ping 平台整合多供應商資源，實現兩款旗艦模型免費開放與統一調度，通過標準化測試、可視化看板與智

大數據 , API , hadoop , 3d , Max

收藏 評論

u_16213704 頭像

mob64ca14154457 - E2.在shell中正確退出當前表達式

Shell Daily 2025-12-19: 優雅退場 (Trap) 寫腳本時，我們通常會在末尾寫上一句 rm /tmp/data_export.tmp 來清理現場。但如果腳本執行中途報錯退出了？或者用户不耐煩按了 Ctrl+C 強行終止？那行清理代碼永遠不會執行，垃圾文件就會日積月累。 要想寫出“死得體面”、不留垃圾的健壯腳本，你不能只關注開始，更要關注結束。這時

大數據 , 刪除文件 , hadoop , 臨時文件 , shell

收藏 評論

wl_68521de393432 頭像

WL - hadoop 大數據學習03（hadoop生態以及非高可用集羣搭建）

hadoop 大數據主要生態組成架構圖以及描述 HDFS 高吞吐量的分佈式文件系統 YARN 用於任務調度和資源管理及分配的框架 MapReduce 運行與YARN之上，用於並行處理大數據的框架 Zookeeper 高性能的分佈式應用協調服務 Flume 日誌收集服務，用於將大量日誌數據衝不同的來源收集、聚合、最終移動到一個具體中心進行存續 Sqoop 用於將關係型數據庫與hado

hdfs , 大數據 , yarn , hadoop

收藏 評論

u_16213651 頭像

mob64ca14089531 - hadoop設置map併發數

1、Mapper的key排序方式默認為快速排序，合併切片文件時用的是歸併排序，繼承Mapper類 * 驅動類關聯map：job.setMapperClass(WordcountMapper.class); 2、Reducer需要繼承Reducer類，重寫reduce(key, values, context)

數據傾斜 , 大數據 , hadoop設置map併發數 , hadoop , 自定義

收藏 評論

daimajiangxin 頭像

代碼匠心 - Lambda架構：實時與批處理的完美融合

引言 在當今數據爆炸的時代，企業面臨着前所未有的數據處理挑戰——如何同時滿足海量歷史數據的批處理分析需求和實時數據的低延遲查詢需求？2014年，Storm的作者Nathan Marz提出了一種革命性的架構模式——Lambda架構，為解決這一矛盾提供了優雅的解決方案。 Lambda架構通過巧妙地將數據處理分解為批處理層(Batch Layer)、加速層(Speed Layer)和服務層(Servin

大數據處理 , 大數據 , hadoop , flink

收藏 評論

u_15591410 頭像

我就是不長肉而已 - BAT54C-ASEMI可直接替代安世BAT54C

編輯：ll BAT54C-ASEMI可直接替代安世BAT54C ASEMI首芯半導體可替代安氏半導體功率器件 型號：BAT54C 品牌：ASEMI 封裝：SOT-23 特性：肖特基二極管 正向電流：0.2A 反向耐壓：30V 恢復時間：35ns 引腳數量：2 芯片個數：1 芯片尺寸：MIL 浪涌電流：1

ASEMI , 大數據 , BAT54C , hadoop , 在51CTO的第一篇博文 , 肖特基二極管

收藏 評論

u_15591410 頭像

我就是不長肉而已 - SBD3DF40V1H-ASEMI可直接替代安世PMEG4005EJ

編輯：ll SBD3DF40V1H-ASEMI可直接替代安世PMEG4005EJ 型號：SBD3DF40V1H 品牌：ASEMI 封裝：SOD-323 正向電流：1A 反向電壓：40V 正向壓降：0.44V~0.47V 引線數量：2 芯片個數：1 芯片尺寸：MIL 漏電流：10ua 恢復時間：35ns

ASEMI , 大數據 , hadoop , 在51CTO的第一篇博文 , SBD3DF40V1H , 肖特基二極管

收藏 評論

u_16213679 頭像

mob64ca140f29e5 - 高可用,完全分佈式Hadoop集羣HDFS和MapReduce安裝配置指南_51CTO博客

📋 第一步：系統檢查 # 檢查操作系統版本 cat /etc/os-release # 檢查內核版本 uname -r # 檢查Java是否安裝 java -version 運行結果示例： user@server:~$ cat /etc/os-release PRETTY_NAME="Ubuntu 24

大數據 , hadoop , xml , 後端開發 , mapreduce , Python

收藏 評論

u_16099336 頭像

浪人小風光 - LangChain 系列教程（一）：掌握基礎概念，為大型語言模型應用奠定基礎_VIP

目錄 前言 1. PromptTemplate 概述 1.1 什麼是 PromptTemplate 1.2 為什麼需要模板化提示 2. PromptTemplate 的參數與用法 2.1 主要參數説明 2.2 支持多種模板語法 3. 與 LLMC

大數據 , hadoop , 數據可視化 , 複用 , 硬編碼

收藏 評論

fanudekaixinguo 頭像

kexb - HDFS 單節點安裝

HDFS 單節點安裝指南 (Debian/Linux) 環境準備 sudo apt update sudo apt install -y ssh openjdk-11-jdk 防火牆配置 sudo ufw allow 9870/tcp # NameNode sudo ufw allow 9864/tcp # DataNode sudo ufw allow 9000/tcp # RPC 1.創

hadoop

收藏 評論

u_16099199 頭像

數據俠客行 - C++——繼承（單繼承、多繼承、菱形繼承）&&虛繼承&&虛基類

目錄 前言： 一、派生類的默認成員函數專題 1.1實現一個不可繼承類實現 1.1.1 間接實現：【C++98】構造函數私有的類不能被繼承 1.1.2 直接實現：final關鍵字修改基類 1.1.3 代碼實現 4.4.4final關鍵字 二、繼承體系中的友元關係 2.1 友元與繼承的關係特性

大數據 , hadoop , 派生類 , 靜態成員 , 多繼承

收藏 評論

u_14844 頭像

definitely - 《消息隊列高手課》筆記（1） - r1

消息隊列解耦天外客前後端通信 在“天外客”這類高互動、強實時的現代應用裏，你有沒有遇到過這樣的尷尬？——用户剛點了個按鈕，頁面卡住3秒才彈出“操作成功”，後台卻還在默默處理積分發放、日誌記錄、推薦更新……🤯 更糟的是，一到活動高峯期，服務器直接502，運維兄弟連夜改配置。 問題出在哪？ 前端等後端，後端壓不過來，系統全綁在一起。

RabbitMQ , redis , 大數據 , 解耦 , hadoop , 消息隊列

收藏 評論

zhaoqianglaoshi 頭像

趙渝強老師 - 【趙渝強老師】大數據交換引擎Sqoop

Sqoop是SQL To Hadoop的簡稱，它是一款開源的工具，主要用於在Hadoop（Hive）與傳統的數據庫（Oracle、MySQL等）間進行數據的傳遞。通過使用Sqoop可以將一個關係型數據庫中的數據導進到Hadoop的HDFS中，也可以將HDFS的數據導進到關係型數據庫中。Sqoop是基於MapReduce完成數據的交換，因此在使用Sqoop之前需要部署Hadoop環境；另一方面，由於

hdfs , 大數據 , hadoop , etl , sqoop

收藏 評論