tag hive

標籤
貢獻94
135
05:15 PM · Oct 25 ,2025

@hive / 博客 RSS 訂閱

碼海無壓 - hive ldap開啓ssl

1.hadoop ha是通過什麼配置實現自動切換的? 2.配置中mapred與mapreduce的區別是什麼? 3.hadoop ha兩個namenode之間的關係是什麼? -- hadoop 版本:2.4.0 -- 安裝包名: hadoop-2.4.0.tar.gz 或者源碼版本 hadoop-2.4.0-sr

hdfs , 大數據 , hive , hadoop , bc , hive ldap開啓ssl

收藏 評論

IT劍客行 - dolphinscheduler工作流hive kerberos

第1章 DolphinScheduler簡介 1.1 DolphinScheduler概述 Apache DolphinScheduler是一個分佈式、易擴展的可視化DAG工作流任務調度平台。致力於解決數據處理流程中錯綜複雜的依賴關係,使調度系統在數據處理流程中開箱即用。 1.2 DolphinScheduler核心架構 Dolp

大數據 , MySQL , hive , hadoop , apache

收藏 評論

肥仔魚Liam - Iceberg 在hadoop大數據數據湖領域這麼火

Iceberg 在hadoop大數據數據湖領域這麼火 Apache Iceberg 在 Hadoop 大數據和數據湖領域“爆火”,並非偶然,而是因為它精準解決了傳統 Hadoop 生態(尤其是 Hive)在構建現代數據湖時的核心痛點,同時順應了雲原生、AI 驅動、開放湖倉一體(Lakehouse)的技術演進趨勢。 以下是 Iceberg 走紅的五大關鍵原因(結

大數據 , 數據 , hive , hadoop

收藏 評論

爾等氏人 - PostgreSQL時間點恢復(PITR)

引言 時間點恢復(Point-In-Time Recovery, PITR)是PostgreSQL提供的強大災難恢復功能,允許將數據庫恢復到過去任意時間點的狀態。這一功能基於WAL(Write-Ahead Logging)日誌機制,結合基礎備份和連續歸檔,為數據庫提供了精細化的恢復能力。PITR不僅能夠應對誤刪除、誤更新等人為操作失誤,還能在系統故障後將數據損失降到最低,是企業級數據

redis , 基礎備份 , hive , 數據庫 , postgresql

收藏 評論

Aceryt - ZipArchiveOutputStream 可以創建內部文件夾壓縮文件

java.io的描述: 通過數據流、序列化和文件系統提供系統輸入和輸出。 流: 流是一個很形象的概念.流是一組有順序,有起點和終點的字節集合,是對數據傳輸的總稱或抽象。即數據在兩設備間的傳輸成為流。 流的本質是數據傳輸,根據數據傳輸特性將流抽象為各種類,方便更直觀的進行數據操作。 分類: 根據處理數據類型的不同分為:字符流(reader,wr

System , 大數據 , 字節流 , hive , JAVA

收藏 評論

藍色憂鬱花 - 學習建議,大數據組件那麼多,可以重點學習這幾個

Cloudera、Hadoop的Impala、Hive、Spark、Flink組件在2025年AI時代“數據中台BI”出路 建議由CDH遷移到CMP 7.13平台(類Cloudera CDP,如華為鯤鵬 ARM版)可以做到無縫切換平緩遷移 摘要:2025年數據中台BI架構演進建議:Hadoop生態組件(Hive、Impala、Spark、Flink)將

大數據 , hive , hadoop , SQL

收藏 評論

阿森CTO - Linux命令行工具

@TOC 📝前言 該文章j將介紹Linux中的常用系統工具和命令,如用於分頁顯示文本的more和less、顯示時間的date、管理日曆的cal、文件搜索的find和grep、以及壓縮/解壓縮的zip/unzip和tar。文中詳細解釋了每個命令的語法、功能和常用選項,並提供了示例。 🌠 more more 命令是一個分頁顯示文本文件內容的工具,它

大數據 , yyds乾貨盤點 , 搜索 , hive , 數據倉庫 , Linux

收藏 評論

墨舞青雲 - hive併發寫入

一、概述 Hive由Facebook開源,是一個構建在Hadoop之上的數據倉庫工具 將結構化的數據映射成表 支持類SQL查詢,Hive中稱為HQL 1.讀模式 2.Hive架構 3.使用Hive的原因 Hadoop數據分析的問題: MapReduce實現複雜查詢邏輯開發難度大,週期長 開發速

hdfs , hive併發寫入 , 大數據 , hive , hadoop

收藏 評論

江南獨孤客 - CDH的HDFS DataNODE修改了參數之後,重啓失敗又會回退之前的配置狀態

CDH的HDFS DataNODE修改了參數之後,重啓又會回退之前的配置狀態,日誌裏面的關鍵日誌是: 根據日誌中Permission denied錯誤和健康檢查禁用狀態,結合Cloudera Manager的運行機制,以下是系統性解決方案: 一、核心問題分析 權限拒絕根源 Can't open /var/run/cloud

hdfs , cloudera , 大數據 , hive , 重啓

收藏 評論

雲端創新者 - installet和archive什麼區別

Linux 中的 Install命令 更新時間:2017年09月25日 16:51:45 投稿:mrr install命令的作用是安裝或升級軟件或備份數據,它的使用權限是所有用户。 本文重點給大家介紹Linux 中的 Install命令,感興趣的朋友一起看看吧 install命令的作用是安裝或升級軟件或備份數據,它的使用權限是所有用户

後綴 , 大數據 , 主目錄 , hive , Linux

收藏 評論

技術領航博主 - thinkcmf引入ZipArchive

  最近接了一個建站項目,要求用thinkcmf來搭建,ytkah在想php都大致一樣吧,快速地下載安裝包,可是!怎麼安裝呢?沒看到安裝指引文件或目錄,查看了安裝説明public目錄做為網站根目錄,入口文件在/public/index.php,總算安裝成功了,可是默認站點鏈接不對,z5w.net/public/,多了一個/public/,怎麼把它隱藏呢?

composer , 大數據 , 配置文件 , php , hive

收藏 評論

mob64ca140b0bc8 - Spark on Hive 和 Hive on Spark 區別

文章目錄 1. 實戰概述 2. 實戰步驟 2.1 修改Hive配置文件 2.2 分發Hive配置文件到Spark配置目錄 2.3 分發HikariCP數據庫連接池JAR包 2.4 修改Hadoop核心配置文件 2.5 啓動Hadoop服務 2.6 啓動Hive相關服務

大數據 , 配置文件 , hive , hadoop , Hive on Spark , Hive on YARN

收藏 評論

爾等氏人 - PostgreSQL複製與備份策略

引言 在現代企業級應用中,數據的高可用性和災難恢復能力是系統設計的核心要求。PostgreSQL作為功能強大的開源關係型數據庫,提供了完善的複製和備份機制,能夠滿足不同規模和重要性級別的業務需求。合理設計和實施複製與備份策略,不僅是數據安全的保障,也是業務連續性的重要支撐。 複製機制概述 PostgreSQL支持多種複製方式,主要包括流複製(Streaming Replica

redis , hive , 數據庫 , postgresql

收藏 評論

mob64ca141834d3 - 大數據之Hive安裝配置

Hive 安裝配置教程 (Deepin/Ubuntu) 一、環境準備 1. 前置條件 ✅ JDK 8 已安裝 ✅ Hadoop 已安裝並正常運行 ✅ MariaDB 已安裝並配置好 Hive 數據庫 Hive 版本: 3.1.3 (推薦) 安裝路徑: /usr/local/hive

大數據 , hive , 數據庫 , aigc , bard

收藏 評論

網絡小墨 - SUPPORTED RELEASES 和ARCHIVED RELEASES 區別

一、Debug 和 Release 編譯方式的區別: Debug 通常稱為調試版本,它包含調試信息,並且不作任何優化,便於程序員調試程序。Release Debug 和 Release編譯方式在木馬製作方面的應用是:調試完成以後,使用Release模式編譯,這樣生成的木馬體積可以減小很多 二、編譯器選項: #pragma主

大數據 , hive , 自定義 , 編譯器 , pragma

收藏 評論

mob64ca140651e5 - 24.大數據---Hive的連接三種連接方式_hive連接

Hive中的連接操作詳解 1. 全連接(FULL JOIN) 作用:返回兩個表的所有記錄,匹配失敗時用NULL填充缺失部分 語法: SELECT * FROM table1 FULL JOIN table2 ON table1.key = table2.key 示例:

字段 , 子查詢 , 大數據 , hive , SQL , jquery , 前端開發

收藏 評論

lu952450497 - 數據開發中的技術選型:從業務訴求到方案落地的全流程思考

企業的數據開發體系,往往伴隨着業務規模增長逐步演進。數據的產生源頭複雜、數據量不斷擴大、業務部門對數據的依賴程度提高,導致數據開發能力是否合理選型,將直接影響數據平台的穩定性、擴展性以及成本投入。 一、需求分析是技術選型的起點 在很多實際項目中,技術選型失敗主要不是因為技術不好,而是對實際訴求理解不清。技術選型之前應明確以下問題: 數據規

技術選型 , 大數據 , 數據 , hive , 數據倉庫

收藏 評論

bugouhen - 藍圖快速入門指南_藍圖教程

還在為找不到合適的遊戲風格Logo而煩惱嗎?Blue Archive Logo生成器正是你需要的解決方案!這款基於Canvas和Vanilla JS開發的在線工具,讓你無需任何設計經驗,只需簡單輸入文字即可生成與Blue Archive遊戲風格完美契合的專業級Logo。 ✨ 三步生成專屬Logo 想要快速獲得個性化Logo?只需三個簡單步驟:

Arc , hive , 生成器 , Css , 前端開發 , HTML

收藏 評論

mob64ca14048514 - hive 根據ipv4地址計算客户

首先説結論—— 網絡地址是IP地址子網網段的開始 廣播地址=該IP所在的下一跳-1 例題: 已知IP地址是192.72.20.111,子網掩碼是255.255.255.224,求網絡地址和廣播地址 要知道下一跳就需要先求出網段間隔,網段間隔=256-子網掩碼=256-224=32 可以劃分成8個子網:32,64,96,128,160

廣播地址 , 網絡地址 , 大數據 , hive 根據ipv4地址計算客户 , ip , hive

收藏 評論

mob64ca13fd163c - 基於ROS 2 Galactic Geochelone(銀河系象龜)開發機器人

在 Ubuntu 系統下將 ROS2 的 apt 存儲庫添加到系統中並授權 GPG 密鑰,是安裝 ROS2 的關鍵第一步。下面我為你梳理了詳細步驟和注意事項。 添加存儲庫與授權密鑰 1.確保語言環境支持UTF-8:首先,請確保你的系統語言環境支持 UTF-8。你可以通過以下命令檢查和設置 locale # 檢查當前設置 su

github , 大數據 , hive , ROS2 , Ubuntu

收藏 評論

泰克教育 - 泰漲知識 | Hadoop的IO操作——壓縮/解壓縮

一、 壓縮案例(DEFLATE) import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.io.IOUtils; import org.apache.hadoop.io.compress.CompressionCodec;

大數據 , hive , hadoop , JAVA , apache

收藏 評論

Alluxio - Meta項目功能測試 | 開啓PrestoDB和Aria掃描優化

概要速覽 PrestoDB的Aria項目曾於2020年發佈過一組實驗性功能,用來提高對錶(通過Hive連接器連接並以ORC格式存儲數據)的掃描性能。 在本文中,我們將在基於Docker的PrestoDB測試環境中對這些新功能進行基礎性的測試。[1] Presto Presto 是一款能夠大規模並行處理 (MPP) 的SQL執行引擎。執行引擎與數據存儲是分離的,該項目包含大量插件(又稱為連接器

Facebook , hive , db , aria2 , presto

收藏 評論

mob64ca12f062df - sparksql的saveAsTable 後創建了表但是沒有數據

在使用Spark SQL時,很多用户可能會遇到“使用saveAsTable創建了表但沒有數據”的問題,這種情況可能由於多種原因引起。在本文中,我將詳細介紹如何解決此問題,包括環境準備、集成步驟、配置詳解、實戰應用、性能優化和生態擴展等方面,以確保大家都能順利使用Spark SQL來保存數據到表中。 環境準備 在解決此問題之前,我們需要為Spark SQL設置適合的開發環境。以下是

spark , 技術棧 , hive , aigc

收藏 評論

智能創新者 - odps sql和hive sql的區別

ORACLE是數據庫,有客户端和服務器;     其,具體下載,可見http://www.oracle.com/technetwork/database/enterprise-edition/downloads/index.html   PLSQL Developer只是第三方工具,服務於ORACLE,類似的工具還有Toad,sqlplus,

developer , 大數據 , hive , PLSQL

收藏 評論