tag hadoop

標籤
貢獻119
142
01:12 PM · Nov 03 ,2025
zhaoqianglaoshi 頭像 u_15591410 頭像 a_yu_super 頭像 kamier 頭像 u_16099209 頭像 u_16099326 頭像 u_16436094 頭像 u_16099336 頭像 mirrorship 頭像 u_16099245 頭像 u_16213636 頭像 u_17365737 頭像

@hadoop / 博客 RSS 訂閱

u_12865 頭像

autohost - 單獨編譯使用WebRTC的音頻處理模塊 - android - 牽着老婆滿街逛

編寫源代碼： // 標準輸入輸出頭文件，提供printf等函數 #include stdio.h // 文件控制操作頭文件，提供open、fcntl等函數 #include fcntl.h // UNIX標準函數頭文件，提供read、write、close等函數 #include unistd.h // 文件狀態頭文件，提供stat、fs

大數據 , 採樣率 , hadoop , C語言 , c++ , Linux , 音頻處理

收藏 評論

u_16099336 頭像

浪人小風光 - 大數據Hadoop技術的發展歷史與未來前景_hadoop的未來發展方向

2025 年排名前 15 位的大素材技巧，它們具備不同的架構、性能特性與應用場景，可滿足各類組織的多樣化需求。下文將深入介紹這些領先的大數據工具與框架。就是大信息科技不斷髮展，以應對日益增長的數據量、數據速度與內容多樣性等挑戰。以下 Apache Hadoop。Apache Hadoop 是大數據領域的基礎性框架，可提供可靠、可擴展的分佈式計算環境，非常適

大數據 , 數據 , hadoop , 應用場景 , apache

收藏 評論

zhaoqianglaoshi 頭像

趙渝強老師 - 【趙渝強老師】阿里雲大數據存儲計算服務：MaxCompute

阿里雲大數據計算服務（MaxCompute）是一種快速、完全託管的TB/PB級數據倉庫解決方案。MaxCompute向用户提供了完善的數據導入方案以及多種經典的分佈式計算模型，能夠更快速的解決用户海量數據計算問題，有效降低企業成本，並保障數據安全。 視頻講解如下： https://www.bilibili.com/video/BV19M8izmEoU/?aid=114924365812...

spark , 大數據 , hadoop , 阿里雲

收藏 評論

u_16213701 頭像

mob64ca14147fe3 - 驥遠自動化PROFINET轉Modbus網關與儀表通訊

協議轉換網關打通Prof inet轉Modbus TCP鴻溝，實現高速隧道智慧監控 一、項目背景 2025 年，華東某中心城市新建 12km 城市快速路隧道，設計時速 80 km，雙洞 6 車道，日均通行能力 8 萬輛。隧道機電系統採用“三級管理、兩級控制”架構 由於業主已招標選用研華IPC-610H 工控機（i7-13700E

大數據 , tcp , 運維 , hadoop , 協議轉換

收藏 評論

u_16099296 頭像

mob6454cc73e9a6 - 基於Hadoop的數據倉庫工具Hive(附超實用示例) - 個人文章

技術介紹 大數據技術：hadoop、hive、sqoop 後端技術：springboot、mybatis 前端技術：vue、elementui、echarts 開發環境：java17、node.js、mysql、maven、idea 項目介紹 優衣庫訂單數據分析項目基於大數據技術開發，旨在通過對電商平台的訂單數據進行高

大數據 , hadoop , 數據庫 , 分佈式 , Python

收藏 評論

u_14191 頭像

索姆拉 - 虛擬集羣搭建日記2——克隆虛擬機以及實現互通

文章目錄 1.關閉防火牆（三台虛擬機都需要關閉） 查看防火牆的狀態 永久關閉 firewalld 防火牆（推薦方法） 2.查看是否具有ssh服務 3.準備節點（克隆虛擬機） 4.MAC地址和IP地址 5.修改主機名 6.網絡與主機名映射 7.重啓網絡 8.節點之

服務器 , ip , hadoop , Linux , 前端開發 , apache , Javascript

收藏 評論

u_16099225 頭像

數據探索者11 - Linux 系統時間同步方法小結 -

在 Linux 系統中，同步時間涉及 系統時間（System Time） 和 硬件時間（Hardware Clock 或 RTC, Real-Time Clock）。系統時間由 Linux 內核管理，主要用於操作系統運行時的計時和任務調度；硬件時間則由主板上的時鐘芯片維護，即使關機也會繼續運行。 以下是同步時間的方法以及如何同步硬件時間的具體步驟：

大數據 , hadoop , 系統時間 , bash , 時間同步

收藏 評論

u_16099227 頭像

雲端創新者 - hadoop電影網站用户影評分析的項目

MovieWeb是一個電影相關的網站，它提供的功能包括搜索電影信息、排名或者電影明星資料等。它擁有10000部電影的信息，70000個用户，和超過1千萬的電影評分。借用它的搜索目錄，用户可以通過類型分類、排名和片名瀏覽等方式檢索電影。但如何解決電影智能推薦的問題呢？近日MongoDB分享了他們結合Hadoop的經驗。 MovieWeb基於Pytho

hadoop電影網站用户影評分析的項目 , 大數據 , jar , hadoop

收藏 評論

u_16213723 頭像

mob64ca1419e0cc - Python爬蟲入門 | 4 爬取豆瓣TOP250圖書

目錄 一、開門見山，探究網頁結構 二、確定思路 1.拿到頁面源代碼/響應 2.編寫正則，提取頁面數據 3.保存數據 三、步驟詳解 1.初步爬取 2.繞過反爬 3.編寫正則表達式與正則匹配 4.翻頁爬取 5.注意點 Hello，我是蔣星熠Jaxonic！ 在浩瀚無垠的技

正則匹配 , 大數據 , 數據 , hadoop , 正則表達式

收藏 評論

u_16213702 頭像

mob64ca1414c613 - Centos 搭建Hadoop集羣_hadoop集羣搭建centos

引言 作為大數據入門的核心實驗，Hadoop 完全分佈式集羣搭建是很多新手的 “第一道坎”。本文整合了完整的實操流程，從虛擬機安裝到 Hadoop 集羣啓動，每一步都附詳細操作和通俗解釋，哪怕是 Linux 零基礎也能跟着做。實驗環境：VMware + CentOS6.8 + JDK1.8 + Hadoop2.6.5，集羣架構為 1 主（maste

服務器 , hadoop , bash , 分佈式

收藏 評論

u_16213592 頭像

mob64ca13fa6a3c - HDFS介紹_51CTO博客

這是一個關於HDFS的核心優勢問題。簡單來説，HDFS的設計目標就是處理超大文件（TB/PB級別），並能在成千上萬台普通商用服務器上穩定運行。 下面我們來詳細分解這兩個問題： 1. HDFS可以處理多大的數據？ HDFS的設計初衷就是為了解決海量數據的存儲問題，它的數據容量能力可以從以下幾個層面來理解： 理論極限：極高

hdfs , 大數據 , 數據 , hadoop , 後端開發 , Python

收藏 評論

u_15591410 頭像

我就是不長肉而已 - B5817W-ASEMI可直接替換安世PMEG2005EH

編輯：ll B5817W-ASEMI可直接替換安世PMEG2005EH ASEMI首芯半導體可替代安氏半導體功率器件 型號：B5817W 品牌：ASEMI 封裝：SOD-123 特性：肖特基二極管 正向電流：1A 反向耐壓：20V 恢復時間：35ns 引腳數量：2 芯片個數：1 芯片尺寸：MIL 浪涌電

ASEMI , 大數據 , B5817W , hadoop , 在51CTO的第一篇博文 , PMEG2005EH

收藏 評論

u_16213720 頭像

mob64ca14193248 - 2022互聯網大事件覆盤 -

問題 HDFS操作 （1）編程實現一個類“MyFSDataInputStream”，該類繼承“org.apache.hadoop.fs.FSDataInputStream”，要求如下：實現按行讀取HDFS中指定文件的方法“readLine()”，如果讀到文件末尾，則返回空，否則返回文件一行的文本。 （2）查看Java幫助手冊或其它資料，用“java.net.URL”和“

hdfs , hadoop , 後端開發 , Python

收藏 評論

u_16213661 頭像

mob64ca140b0bc8 - Spark on Hive 和 Hive on Spark 區別

文章目錄 1. 實戰概述 2. 實戰步驟 2.1 修改Hive配置文件 2.2 分發Hive配置文件到Spark配置目錄 2.3 分發HikariCP數據庫連接池JAR包 2.4 修改Hadoop核心配置文件 2.5 啓動Hadoop服務 2.6 啓動Hive相關服務

大數據 , 配置文件 , hive , hadoop , Hive on Spark , Hive on YARN

收藏 評論

u_16213703 頭像

mob64ca14150f43 - spark3 用户權限管理

1 配置 export SCALA_HOME=/Users/zhaoshuai11/work/scala-2.12.14 export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_192.jdk/Contents/Home ## 指定spark老大Master的IP和提交任務

spark , spark3 用户權限管理 , 大數據 , 學習 , hadoop

收藏 評論

u_15591410 頭像

我就是不長肉而已 - SBD3D60V1H-ASEMI可直接替代安世PMEG6010CEJ

編輯：ll SBD3D60V1H-ASEMI可直接替代安世PMEG6010CEJ ASEMI首芯半導體可替代安世半導體功率器件 型號：SBD3D60V1H 品牌：ASEMI 封裝：SOD-323 特性：肖特基二極管 正向電流：1A 反向耐壓：60V 恢復時間：35ns 引腳數量：2 芯片個數：1 芯片尺寸：M

ASEMI , SBD3D60V1H , 大數據 , hadoop , 在51CTO的第一篇博文 , 肖特基二極管

收藏 評論

u_15591410 頭像

我就是不長肉而已 - BAT54CW-ASEMI可直接替代安世BAT54CW

編輯：ll BAT54CW-ASEMI可直接替代安世BAT54CW ASEMI首芯半導體可替代安氏半導體功率器件 型號：BAT54CW 品牌：ASEMI 封裝：SOT-323 特性：肖特基二極管 正向電流：0.1A 反向耐壓：30V 恢復時間：35ns 引腳數量：2 芯片個數：1 芯片尺寸：MIL 浪涌

ASEMI , 大數據 , BAT54CW , hadoop , 在51CTO的第一篇博文 , 肖特基二極管

收藏 評論

u_16099335 頭像

碼海無壓 - hive ldap開啓ssl

1.hadoop ha是通過什麼配置實現自動切換的？ 2.配置中mapred與mapreduce的區別是什麼？ 3.hadoop ha兩個namenode之間的關係是什麼？ -- hadoop 版本：2.4.0 -- 安裝包名： hadoop-2.4.0.tar.gz 或者源碼版本 hadoop-2.4.0-sr

hdfs , 大數據 , hive , hadoop , bc , hive ldap開啓ssl

收藏 評論

u_15591410 頭像

我就是不長肉而已 - SBD1DF100V2H-ASEMI可直接替代安世PMEG10020AELR-QX

編輯：ll SBD1DF100V2H-ASEMI可直接替代安世PMEG10020AELR-QX 型號：SBD1DF100V2H 品牌：ASEMI 封裝：SOD-123FL 正向電流：2A 反向電壓：100V 正向壓降：0.44V~0.47V 引線數量：2 芯片個數：1 芯片尺寸：MIL 漏電流：10ua 恢復

ASEMI , 大數據 , hadoop , SBD1DF100V2H , 在51CTO的第一篇博文 , 肖特基二極管

收藏 評論

u_16099356 頭像

IT智行領袖 - hadoop 配置多塊磁盤

數據存儲與分析 要實現對多個磁盤數據的並行讀寫 需要解決的很多問題 1 硬件故障問題。硬件多了，發生故障的概率變大。避免數據丟失的是備份。RAID(冗餘磁盤陣列)，HDFS 2 大多數分析任務需要以某種方式結合大部分數據共同完成分析任務，一個磁盤讀取得數據可能需要和另外的99個磁盤中 讀取的數據結合使用，各種分佈式系統允許結合多個來源的數據並實現分析，但

數據集 , hadoop 配置多塊磁盤 , 大數據 , 數據 , hadoop , 結構化

收藏 評論

u_14125 頭像

jacksky - 推薦系統協同過濾-python實現（基於用户的協同過濾算法，基於物品的協同過濾算法，附數據集）_Mr Gao的博客-博客

開發語言：Python 框架：flask Python版本：python3.7.7 數據庫：mysql 5.7 數據庫工具：Navicat11 開發軟件：PyCharm 系統展示 管理員登錄 管理員功能界面 用户界面 特色美食管理

美食 , 信息可視化 , hadoop , 協同過濾算法 , 前端開發 , Javascript , Python

收藏 評論

zhaoqianglaoshi 頭像

趙渝強老師 - 【趙渝強老師】大數據主從架構的單點故障

  大數據體系架構中的核心組件都是主從架構，即：存在一個主節點和多個從節點，從而組成一個分佈式環境。下圖為展示了大數據體系中主從架構的相關組件。   視頻講解如下： https://www.bilibili.com/video/BV1vz421z72U/?aid=1355982530c...   從上圖可以看出大數據的核心組件都是一種主從架構，而只要是主從架構就存在單點故障的問

spark , 大數據 , hadoop , zookeeper , flink

收藏 評論

u_16213580 頭像

雲端行者 - hadoop二版本增加了什麼 hadoop2.7.6

Hadoop2.7.6學習 Hadoop的發展史 Google 爬取全球的網站，然後計算頁面的PageRank 要解決網站的問題： a：這些網站怎麼存放 b：這些網站應該怎麼計算 發佈了三篇論文 a：GFS(Google File System) b：MapReduce(數據計算方法)

大數據 , 數據 , hadoop , hadoop二版本增加了什麼 , apache

收藏 評論

u_15591410 頭像

我就是不長肉而已 - 2N7002K-ASEMI智能家居控制專用2N7002K

編輯：LL 2N7002K-ASEMI智能家居控制專用2N7002K 型號：2N7002K 品牌：ASEMI 封裝：SOT-23 RDS(on):5.0Ω 批號：最新 引腳數量：3 封裝尺寸：如圖 特性：N溝道MOS管 工作結温：-55℃~150℃ 當 “小而精” 遇上 “高可靠”，2N7002K 重新定義中低壓

ASEMI , 大數據 , hadoop , MOS管 , 在51CTO的第一篇博文 , 2N7002K

收藏 評論