tag hadoop

標籤
貢獻119
146
01:12 PM · Nov 03 ,2025
zhaoqianglaoshi 頭像 u_15591410 頭像 a_yu_super 頭像 kamier 頭像 u_16099209 頭像 u_16099326 頭像 u_16436094 頭像 u_16099336 頭像 mirrorship 頭像 u_16099245 頭像 u_16213636 頭像 u_17365737 頭像

@hadoop / 博客 RSS 訂閱

u_16099225 頭像

數據探索者11 - Linux 系統時間同步方法小結 -

在 Linux 系統中，同步時間涉及 系統時間（System Time） 和 硬件時間（Hardware Clock 或 RTC, Real-Time Clock）。系統時間由 Linux 內核管理，主要用於操作系統運行時的計時和任務調度；硬件時間則由主板上的時鐘芯片維護，即使關機也會繼續運行。 以下是同步時間的方法以及如何同步硬件時間的具體步驟：

大數據 , hadoop , 系統時間 , bash , 時間同步

收藏 評論

u_16213637 頭像

mob64ca140530fb - 單台服務器 hadoop有意義嗎

Linux下的幾種併發服務器的設計模式 1單線程或者單進程 　　相當於短鏈接，當accept之後，就開始數據的接收和數據的發送，不接受新的連接，即一個server，一個client 　　不存在併發。 2循環服務器和併發服務器 　　1.循環服務器：一個server只能一次只能接收一個client，噹噹前client結束訪問之後才能進行下一個client

服務器 , 大數據 , hadoop , 描述符 , 單台服務器 hadoop有意義嗎 , 多進程

收藏 評論

zhaoqianglaoshi 頭像

趙渝強老師 - 【趙渝強老師】Hive的分區表

Hive的分區表跟Oracle、MySQL中分區表的概念是一樣的。當表上建立了分區，就會根據分區的條件從物理存儲上將表中的數據進行分隔存儲。而當執行查詢語句時候，也會根據分區的條件掃描特定分區中的數據，從而避免全表掃描以提高查詢的效率。Hive分區表中的每個分區將會在HDFS上創建一個目錄，分區中的數據則是該目錄下的文件。在執行查詢語句時，可以通過SQL的執行計劃瞭解到是否在查詢的時候掃描的特定的

大數據 , hive , hadoop , SQL

收藏 評論

zhaoqianglaoshi 頭像

趙渝強老師 - 【趙渝強老師】Hive的內部表與外部表

Hive是基於HDFS之上的數據倉庫，它把所有的數據存儲在HDFS中，Hive並沒有專門的數據存儲格式。當在Hive中創建了表，可以使用load語句將本地或者HDFS上的數據加載到表中，從而使用SQL語句進行分析和處理。 Hive的數據模型主要是指Hive的表結構，可以分為：內部表、外部表、分區表、臨時表和桶表，同時Hive也支持視圖。視頻講解如下： https://www.bilibili

大數據 , hive , 數據倉庫 , hadoop , SQL

收藏 評論

u_16213351 頭像

mob64ca12dd07fb - sparksql saveAstable生成的默認位置

在使用Spark SQL進行數據處理時，saveAsTable 方法的默認存儲位置是一個常見問題。它決定了保存表的位置，並影響後續數據訪問和分析的方式。本文將詳細記錄解決“Spark SQL saveAsTable 生成的默認位置”問題的過程。 環境預檢 在進行Spark SQL的部署之前，需要確認我們的環境配置符合要求。此處我們使用思維導圖形式展示環境依賴及組件。 mind

hadoop , bash , aigc , SQL

收藏 評論

u_16436094 頭像

肥仔魚Liam - Iceberg 在hadoop大數據數據湖領域這麼火

Iceberg 在hadoop大數據數據湖領域這麼火 Apache Iceberg 在 Hadoop 大數據和數據湖領域“爆火”，並非偶然，而是因為它精準解決了傳統 Hadoop 生態（尤其是 Hive）在構建現代數據湖時的核心痛點，同時順應了雲原生、AI 驅動、開放湖倉一體（Lakehouse）的技術演進趨勢。 以下是 Iceberg 走紅的五大關鍵原因（結

大數據 , 數據 , hive , hadoop

收藏 評論

u_16213560 頭像

數據小探 - 東軟大數據hadoop實訓 東軟 數據分析

你腦海中的數據可視化是啥樣？ 是這樣的？ 插圖0001.jpg886x476 149 KB 我們能為你提供的數據可視化 是這樣的 插圖0002.gif903x510 1.95 MB 還可以是這樣的 插圖0003加快版.gif1277x700 360 KB 以及這樣的 插圖0004.gif1361

東軟大數據hadoop實訓 , 數據集 , 大數據 , 數據 , hadoop , 數據可視化

收藏 評論

u_16213561 頭像

技術極客俠 - Hadoop HDFS操作

在大數據領域，Hadoop HDFS（分佈式文件系統）是最核心的存儲組件之一。本文將詳細介紹HDFS的集羣管理命令和文件操作技巧，幫助您快速掌握Hadoop的日常運維。 一、HDFS集羣一鍵啓停 Hadoop HDFS組件內置了便捷的一鍵啓停腳本，極大簡化了集羣管理流程。 啓動集羣 $HADOOP_HOME/sbin/s

hdfs , 大數據 , hadoop , 後端開發 , Python

收藏 評論

kamier 頭像

kamier - 【Hadoop】Yarn資源管理調度

一、Yarn產生背景 Yarn（全稱為Yet Another Resource Negotiator，譯為"另一個資源協調者"）在Hadoop2.0版本中引入，其誕生是為了解決 Hadoop 1.x 架構中 MapReduce 的資源管理和計算框架耦合 的問題。簡而言之，就是之前MapReduce的資源管理和計算框架是耦合在一起的，為了解耦而設計出了Yarn。 Yarn是一種新的 Hadoop 資

大數據 , yarn , hadoop

收藏 評論

u_16213570 頭像

藍色憂鬱花 - 學習建議，大數據組件那麼多，可以重點學習這幾個

Cloudera、Hadoop的Impala、Hive、Spark、Flink組件在2025年AI時代“數據中台BI”出路 建議由CDH遷移到CMP 7.13平台（類Cloudera CDP，如華為鯤鵬 ARM版）可以做到無縫切換平緩遷移 摘要：2025年數據中台BI架構演進建議：Hadoop生態組件（Hive、Impala、Spark、Flink）將

大數據 , hive , hadoop , SQL

收藏 評論

u_16213571 頭像

網絡安全專家 - 基於Matlab使用到達時差 （TDOA） 跟蹤對象仿真（附源碼）_時差定位法matlab代碼

一、TDOA算法原理概述 到達時間差（Time Difference of Arrival, TDOA） 是一種基於多傳感器協同的定位技術，通過測量信號到達不同傳感器的時間差，結合傳感器位置信息，反推信號源（如聲源、無線發射源）的空間座標。其核心原理是：信號源到兩個傳感器的距離差為常數時，信號源位於以這兩個傳感器為焦點的雙曲線上，多個雙曲線的交點即為信號源位置。 1.

大數據 , hadoop , MATLAB , 最小二乘法 , 高精度

收藏 評論

u_16099178 頭像

雲端小悟空 - 我的Hadoop學習之路 - sunt99的個人頁面 -

在信息爆炸的時代，我們被海量數據所包圍。如何從這些看似混沌的數據中提取價值，曾是一個巨大的難題。直到我遇見了Hadoop，它像一位智慧的引路人，為我打開了分佈式計算世界的大門。這段學習旅程不僅是掌握一門技術，更是一場思維模式的革命。在此，我將從編程思想、技巧運用和心路歷程三個方面，分享我的學習心得。 #### **一、 編程思想的轉變：從“單體”到

大數據 , 數據 , 學習 , hadoop

收藏 評論

u_16213575 頭像

墨舞青雲 - hive併發寫入

一、概述 Hive由Facebook開源，是一個構建在Hadoop之上的數據倉庫工具 將結構化的數據映射成表 支持類SQL查詢，Hive中稱為HQL 1.讀模式 2.Hive架構 3.使用Hive的原因 Hadoop數據分析的問題： MapReduce實現複雜查詢邏輯開發難度大，週期長 開發速

hdfs , hive併發寫入 , 大數據 , hive , hadoop

收藏 評論

u_15591410 頭像

我就是不長肉而已 - BAT54CW-ASEMI可直接替代安世BAT54CW

編輯：ll BAT54CW-ASEMI可直接替代安世BAT54CW ASEMI首芯半導體可替代安氏半導體功率器件 型號：BAT54CW 品牌：ASEMI 封裝：SOT-323 特性：肖特基二極管 正向電流：0.1A 反向耐壓：30V 恢復時間：35ns 引腳數量：2 芯片個數：1 芯片尺寸：MIL 浪涌

ASEMI , 大數據 , BAT54CW , hadoop , 在51CTO的第一篇博文 , 肖特基二極管

收藏 評論

u_16213723 頭像

mob64ca1419e0cc - Python爬蟲入門 | 4 爬取豆瓣TOP250圖書

目錄 一、開門見山，探究網頁結構 二、確定思路 1.拿到頁面源代碼/響應 2.編寫正則，提取頁面數據 3.保存數據 三、步驟詳解 1.初步爬取 2.繞過反爬 3.編寫正則表達式與正則匹配 4.翻頁爬取 5.注意點 Hello，我是蔣星熠Jaxonic！ 在浩瀚無垠的技

正則匹配 , 大數據 , 數據 , hadoop , 正則表達式

收藏 評論

u_16213702 頭像

mob64ca1414c613 - Centos 搭建Hadoop集羣_hadoop集羣搭建centos

引言 作為大數據入門的核心實驗，Hadoop 完全分佈式集羣搭建是很多新手的 “第一道坎”。本文整合了完整的實操流程，從虛擬機安裝到 Hadoop 集羣啓動，每一步都附詳細操作和通俗解釋，哪怕是 Linux 零基礎也能跟着做。實驗環境：VMware + CentOS6.8 + JDK1.8 + Hadoop2.6.5，集羣架構為 1 主（maste

服務器 , hadoop , bash , 分佈式

收藏 評論

u_16213592 頭像

mob64ca13fa6a3c - HDFS介紹_51CTO博客

這是一個關於HDFS的核心優勢問題。簡單來説，HDFS的設計目標就是處理超大文件（TB/PB級別），並能在成千上萬台普通商用服務器上穩定運行。 下面我們來詳細分解這兩個問題： 1. HDFS可以處理多大的數據？ HDFS的設計初衷就是為了解決海量數據的存儲問題，它的數據容量能力可以從以下幾個層面來理解： 理論極限：極高

hdfs , 大數據 , 數據 , hadoop , 後端開發 , Python

收藏 評論

u_15591410 頭像

我就是不長肉而已 - B5817W-ASEMI可直接替換安世PMEG2005EH

編輯：ll B5817W-ASEMI可直接替換安世PMEG2005EH ASEMI首芯半導體可替代安氏半導體功率器件 型號：B5817W 品牌：ASEMI 封裝：SOD-123 特性：肖特基二極管 正向電流：1A 反向耐壓：20V 恢復時間：35ns 引腳數量：2 芯片個數：1 芯片尺寸：MIL 浪涌電

ASEMI , 大數據 , B5817W , hadoop , 在51CTO的第一篇博文 , PMEG2005EH

收藏 評論

u_16213720 頭像

mob64ca14193248 - 2022互聯網大事件覆盤 -

問題 HDFS操作 （1）編程實現一個類“MyFSDataInputStream”，該類繼承“org.apache.hadoop.fs.FSDataInputStream”，要求如下：實現按行讀取HDFS中指定文件的方法“readLine()”，如果讀到文件末尾，則返回空，否則返回文件一行的文本。 （2）查看Java幫助手冊或其它資料，用“java.net.URL”和“

hdfs , hadoop , 後端開發 , Python

收藏 評論

u_16213661 頭像

mob64ca140b0bc8 - Spark on Hive 和 Hive on Spark 區別

文章目錄 1. 實戰概述 2. 實戰步驟 2.1 修改Hive配置文件 2.2 分發Hive配置文件到Spark配置目錄 2.3 分發HikariCP數據庫連接池JAR包 2.4 修改Hadoop核心配置文件 2.5 啓動Hadoop服務 2.6 啓動Hive相關服務

大數據 , 配置文件 , hive , hadoop , Hive on Spark , Hive on YARN

收藏 評論

u_16213703 頭像

mob64ca14150f43 - spark3 用户權限管理

1 配置 export SCALA_HOME=/Users/zhaoshuai11/work/scala-2.12.14 export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_192.jdk/Contents/Home ## 指定spark老大Master的IP和提交任務

spark , spark3 用户權限管理 , 大數據 , 學習 , hadoop

收藏 評論

u_15591410 頭像

我就是不長肉而已 - SBD3D60V1H-ASEMI可直接替代安世PMEG6010CEJ

編輯：ll SBD3D60V1H-ASEMI可直接替代安世PMEG6010CEJ ASEMI首芯半導體可替代安世半導體功率器件 型號：SBD3D60V1H 品牌：ASEMI 封裝：SOD-323 特性：肖特基二極管 正向電流：1A 反向耐壓：60V 恢復時間：35ns 引腳數量：2 芯片個數：1 芯片尺寸：M

ASEMI , SBD3D60V1H , 大數據 , hadoop , 在51CTO的第一篇博文 , 肖特基二極管

收藏 評論

u_16099227 頭像

雲端創新者 - hadoop電影網站用户影評分析的項目

MovieWeb是一個電影相關的網站，它提供的功能包括搜索電影信息、排名或者電影明星資料等。它擁有10000部電影的信息，70000個用户，和超過1千萬的電影評分。借用它的搜索目錄，用户可以通過類型分類、排名和片名瀏覽等方式檢索電影。但如何解決電影智能推薦的問題呢？近日MongoDB分享了他們結合Hadoop的經驗。 MovieWeb基於Pytho

hadoop電影網站用户影評分析的項目 , 大數據 , jar , hadoop

收藏 評論

u_16099335 頭像

碼海無壓 - hive ldap開啓ssl

1.hadoop ha是通過什麼配置實現自動切換的？ 2.配置中mapred與mapreduce的區別是什麼？ 3.hadoop ha兩個namenode之間的關係是什麼？ -- hadoop 版本：2.4.0 -- 安裝包名： hadoop-2.4.0.tar.gz 或者源碼版本 hadoop-2.4.0-sr

hdfs , 大數據 , hive , hadoop , bc , hive ldap開啓ssl

收藏 評論