tag hive

標籤
貢獻94
136
05:15 PM · Oct 25 ,2025
u_17365737 頭像 u_14535797 頭像 u_16436094 頭像 u_16099326 頭像 u_15702012 頭像 zhaoqianglaoshi 頭像 dataanalysis 頭像 u_16099302 頭像 u_11659620 頭像 u_16213630 頭像 alluxio_com 頭像 u_16213642 頭像

@hive / 博客 RSS 訂閱

u_16099336 頭像

浪人小風光 - archive裏個人存檔處r18g

歸檔到 GLACIER 或 DEEP_ARCHIVE 存儲類的對象無法實時訪問。您必須首先啓動還原請求，然後耐心等待，直到對象的臨時副本根據您在請求中指定的持續時間（天數）變為可用。 Amazon S3 只會在指定的持續時間內還原對象的臨時副本。在此之後，它會刪除還原的對象副本。您可以通過重新發出還原命令來修改已還原副本的到期時間。在這種情況下，Amazon S3 會更新相

大數據 , 數據 , amazon , hive , archive裏個人存檔處r18g , Standard

收藏 評論

u_14731 頭像

killads - 數據湖為什麼比hive快

導讀： 大數據技術的發展歷程中，繼數據倉庫、數據湖之後，大數據平台的又一革新技術——湖倉一體近年來開始引起業內關注。市場發展催生的數據管理需求一直是數據技術革新的動力。比如數據倉庫如何存儲不同結構的數據？數據湖又如何避免因為缺乏治理導致的數據雜亂現象？今天的文章想跟大傢俱體聊聊我們的數棧如何解決這些問題。 你能看到👇👇👇 ▫ 湖倉一體概念簡述 ▫ 數

數據源 , 大數據 , 數據 , hive , 數據倉庫 , 數據湖為什麼比hive快

收藏 評論

u_14499 頭像

coolfengsy - Posts 和 Archive Posts 兩個區別 ELEMENTOR

full paper、short paper、poster、oral： 而CV界的會議一般分三級： oral，需要作者準備PPT上台進行presentation； poster，作者貼一張海報，如果有人感興趣就會到該作者的牆報前面討論； workshop，一般都是某些大牛覺得該領域有哪些方面是研

信息檢索 , 數據挖掘 , 大數據 , hive , ide

收藏 評論

u_16213579 頭像

雲端築夢工匠 - 軟件裏的數據archive

隨着網絡的普及，我們的各種數據基本上都存儲到了電腦、手機、以及各種軟件當中，數據的重要性已經不言而喻，如果重要的數據有丟失或者誤刪，可能會給我們帶來很大的損失。因此，擁有一個好的數據恢復工具很重要，在數據有丟失、誤刪等情況下快速恢復數據，推薦大家用數據恢復軟件EasyRecovery，可以輕鬆恢復各類文檔、音頻、視頻等文件，恢復率高，操作簡單，讓本以為找不到的文件，重現眼前。

大數據 , 數據 , hive , 誤刪 , 數據恢復 , 軟件裏的數據archive

收藏 評論

u_16099295 頭像

IT劍客行 - dolphinscheduler工作流hive kerberos

第1章 DolphinScheduler簡介 1.1 DolphinScheduler概述 Apache DolphinScheduler是一個分佈式、易擴展的可視化DAG工作流任務調度平台。致力於解決數據處理流程中錯綜複雜的依賴關係，使調度系統在數據處理流程中開箱即用。 1.2 DolphinScheduler核心架構 Dolp

大數據 , MySQL , hive , hadoop , apache

收藏 評論

u_16099252 頭像

架構領航博主 - 五年打磨 金山雲分佈式數據庫DragonBase為金融行業提供可靠服務

金山雲數據湖平台用的是Hive，可以添加數據源來連接關係型數據庫、MPP數據庫、對象存儲、Kafka，然後同步數據源的元數據，然後通過數據源來讀寫其中的數據（表、文件、消息topic），這些操作是如何實現的？ 金山雲數據湖平台基於 Hive 構建，其實現“跨源連接、元數據同步、以及統一讀寫”的核心機制主要依賴於 Hive Storage Handlers（存儲處理器

hive , 元數據 , Css , 金山雲 , 前端開發 , HTML

收藏 評論

u_16213566 頭像

雲端小仙童 - hadoo hive zk版本兼容 hadoop和hive版本

1 準備工作 1.1 軟件準備 Hive需要Hadoop的支持，在安裝Hive之前需要正確安裝Hadoop。目前Hive的最新版本為0.13.1，這個版本可在Hadoop 0.20.x, 0.23.x.y, 1.x.y, 2.x.y下使用。本文采用Hadoop 1.x中最新版本1.2.1。Hadoop使用環境中必須由JDK，本文下載JDK 7較新版本。同時,Hive將

大數據 , hadoo hive zk版本兼容 , hive , hadoop , JAVA

收藏 評論

u_14691 頭像

lemon - linux hive 重定向到文件

1、數據流重定向：將某個命令執行後應該出現在屏幕上的數據，給它傳輸到其他地方去 2、(1)---標準輸入（stdin)：代碼為0，使用 或 ; （2）標準輸出(stdout)：代碼為1，使用或者 ; (3)標準錯誤輸出（stderr）：代碼為2，使用 2或者 2. 説明：1：以覆蓋的方法將 [正確的數據]輸出到指定的文件或者設備上； 　　 1：以累加的方法將

linux hive 重定向到文件 , 大數據 , 數據 , hive , 重定向 , 標準輸出

收藏 評論

u_16213354 頭像

mob64ca12ddcacc - spark saveAsTable 數據源拉了兩次數據

在使用 Apache Spark 進行數據處理時，我遇到了一個棘手的問題：使用 saveAsTable 方法將數據保存到 Hive 表時，數據源被拉取了兩次。這種情況不僅影響了處理效率，也浪費了計算資源。為了更好地記錄解決這個問題的過程，我着重從環境預檢、部署架構、安裝過程、依賴管理、配置調優和最佳實踐六個方面進行整理。 環境預檢 在進行解決方案之前，首先要確保我們的環境是配置正

spark , hive , aigc , apache

收藏 評論

u_14224 頭像

14224 - NLog中 maxArchiveDays的歸檔目錄怎麼設置

在所有的應用程序中，日誌功能是不可或缺的模塊，我們可以根據日誌信息進行調試、查看產生的錯誤信息，在ASP.NET Core中我們可以使用log4net或者NLog日誌組件來實現記錄日誌的功能，這裏講解如何在ASP.NET Core中使用NLog。 1、創建項目（這裏使用Core2.2）使用NLog 2、引用NLog動態庫 直接在N

code , 大數據 , 配置文件 , hive , xml

收藏 評論

doge_king 頭像

泊浮目 - 悶聲發大財，Spark&HiveSQL神器大更新

本文在綠泡泡“狗哥瑣話”首發於2025.9.23 -關注不走丟。 大家好這裏是狗哥。在23年11月，我向大家安利我自己寫的SparkHiveSQL VsCode插件，當時主要是這麼幾個功能： 語法檢測功能 format 重構 代碼補全 發現引用 時隔兩年，這個插件其實一直在迭代中。接下來我就向大家介紹一下後續迭代的新功能。 最值得一提的功能：SparkSQL語義檢測 眾所周知，在使用

spark , hive , SQL

收藏 評論

chunzhendegaoshan 頭像

RestCloud - SQL Server到Hive：批處理ETL性能提升30%的實戰經驗

在企業數字化轉型進程中，將 SQL Server 的業務數據同步至 Hive 數據倉庫，是構建大數據分析平台的關鍵一步。然而，當數據量突破千萬級門檻，傳統同步方式往往陷入效率低下、穩定性差的困境。本文將分享使用ETLCLoud工具實現千萬級數據量下SQL Server到Hive高效同步的實戰經驗。 1.配置數據源 來到平台首頁進入數據源管理模塊。 在新建數據源中選擇SQLserver數據源模板

數據同步 , hive , 數據庫 , etl , sqlserver

收藏 評論

mirrorship 頭像

鏡舟科技 - 如何理解 Apache Iceberg 與湖倉一體（Lakehouse）？

一、什麼是湖倉一體（Lakehouse）？ 湖倉一體是一種融合了數據湖的靈活存儲能力與數據倉庫的高效分析功能的現代數據架構。它通過整合兩者的優勢，解決了傳統架構的侷限性，為企業數據處理提供了更全面的解決方案。 數據湖的開放性：支持多格式數據存儲（如 Parquet、ORC），兼容開放生態（如Hive、Iceberg），存儲成本低。 數據倉庫的高性能：提供 ACID 事務、高效查詢和實時分析能

微信 , hive , 數據倉庫 , iceberg , 數據湖

收藏 評論

u_16565911 頭像

南大通用GBase - 南大通用GBase 8c集中式場景下的遠程物理備份恢復

1 概述 數據庫備份是數據安全與業務連續性的生命線，它如同為珍貴數字資產撐起的一把保護傘。備份的意義不僅在於應對硬件故障、系統崩潰等常見風險，更在於防範人為誤操作、惡意攻擊、自然災害等意外威脅。定期可靠的備份策略能在災難發生時，將業務中斷時間縮至最短，做到數據不丟失。在實際應用情況下，備份需要拷貝到異地，保證數據冗餘，保證數據庫服務器宕機不能啓動時，也可以通過異地備份進行數

服務器 , MySQL , hive , 數據庫 , GBase 8c

收藏 評論

u_14535797 頭像

wx5d7321c78b265 - PHP 8.5 在性能、調試和運維方面的新特性

2025 年即將結束，這意味着 PHP 的新版本也已經發布了！ 在本文中，我們將重點介紹那些你在上述文章中找不到的，關於 PHP 8.5 在性能、調試和運維方面的變化。 其中一些改動甚至是由 Tideways 的員工直接貢獻的。 你是不是最好奇 PHP 8.5 是否比舊版本性能更強？可以看看基準測試。 原文鏈接 PHP 8.5 在性能、調試和運維方面的新特性

大數據 , php , hive , INI

收藏 評論

u_16099164 頭像

碼海舵手 - hive ipv6地址轉換十進制

IPv6和IPv4的表示方式　 　　在使用ip地址的時候，經常會聽到IPv6和IPv4 　　那麼他們的區別在哪裏？ 　　一開始的時候，是隻有IPv4地址，IPv4地址只有32位，可以使用，使用的是二進制計數，但是在記錄的時候採用十進制點分法分為四段，比如127.0.0.1，他表示的就是00001111.00000000.00000000.00000001

hive ipv6地址轉換十進制 , 大數據 , ip , hive , 二進制數字 , 十六進制

收藏 評論

u_16213680 頭像

mob64ca140f67e3 - hadoop yarn怎麼定位到數據傾斜的key

數據傾斜是指，map /reduce程序執行時，reduce節點大部分執行完畢，但是有一個或者幾個reduce節點運行很慢，導致整個程序的處理時間很長，這是因為某一個key的條數比其他key多很多（有時是百倍或者千倍之多），這條key所在的reduce節點所處理的數據量比其他節點就大很多，從而導致某幾個節點遲遲運行不完。

數據傾斜 , 大數據 , 數據 , hive , hadoop

收藏 評論

u_16213690 頭像

mob64ca1411e411 - hive 4舍五五

Excel函數千千萬萬，真是讓人眼花繚亂！很多辦公小白經常苦惱，到底該怎麼學習Excel函數呢？ 其實，日常使用Excel的時候，真正用到的函數並不多~今天，小編就來給大家盤點5個日常辦公中最常用到的Excel函數吧~ 一、If公式 If函數是用於快速判斷條件是否成立的一個函數，也是Excel函數中最常被大家使用的函數，因此，學會IF函

hive 4舍五五 , 合併單元格 , 大數據 , hive , 四捨五入 , 成績排名 , 計算機excel四捨五入

收藏 評論

u_16213723 頭像

mob64ca1419e0cc - file時出現current ar archive

1.mysqlclient 目前不支持高版本python3 django.core.exceptions.ImproperlyConfigured: mysqlclient 1.3.13 or newer is required; you have 0.9.3. 原因是由於 mysqlclient 目前不支持高版本python，出現這個錯誤之後可以根

大數據 , MySQL , hive , django , Python

收藏 評論

u_17365737 頭像

泰克教育 - 泰漲知識 | 一文明晰：什麼是等級保護制度？

一、等級保護制度的由來 最早在1994年，國務院頒佈《中華人民共和國計算機信息系統安全保護條例》，規定計算機信息系統實行安全等級保護。 2003年，《國家信息化領導小組關於加強信息安全保障工作的意見》明確指出“實行信息安全等級保護”。 2007年6月，四部門（公安部、國家保密局、國家密碼管理局、國務院信息工作辦公室）聯合出台《信息安全等

安全等級 , 大數據 , hive , 物聯網

收藏 評論

u_16213619 頭像

mob64ca14010a69 - 數據倉庫工具–Hive(歸納第一部分)

可以將結構化的數據文件映射為一張數據庫表，並提供簡單的 SQL 查詢功能，將 SQL 語句轉換為 MapReduce/Tez/Spark 任務運行。 SQL接口：使用 HiveQL（類似 SQL）進行查詢 大數據處理：處理 PB 級別的數據 數據倉庫：適合離線批處理和數據倉庫建設 擴展性：可自定義 UDF、UDAF

大數據 , hive , 數據倉庫 , hadoop , SQL

收藏 評論

dataanalysis 頭像

蔣點數分 - 【SQL週週練】一句 SQL 如何幫助 5 個人買到電影院最好的座位？

大家好，我是“蔣點數分”，多年以來一直從事數據分析工作。從今天開始，與大家持續分享關於數據分析的學習內容。 本文是第 3 篇，也是【SQL 週週練】系列的第 3 篇。該系列是挑選或自創具有一些難度的 SQL 題目，一週至少更新一篇。後續創作的內容，初步規劃的方向包括： 後續內容規劃 1.利用 Streamlit 實現 Hive 元數據展示、SQL 編輯器、 結合Docker 沙箱實現數據分析 Ag

hive , 面試 , 筆試 , 數據分析 , SQL

收藏 評論

u_16099302 頭像

技術極先鋒 - （二）presto安裝並集成hive_presto集成hive

Presto作為分佈式SQL查詢引擎，與Hive的深度集成為大數據分析提供了強大的解決方案。本文將詳細介紹如何實現Presto與Hive的無縫集成，讓您能夠快速查詢Hadoop數據倉庫中的海量數據。 為什麼選擇Presto查詢Hive數據？ ✨ Presto與Hive的集成提供了卓越的性能優勢。相比傳統的Hive查詢，Presto能夠實現亞秒級的交互式查詢響應

數據 , hive , Css , 前端開發 , HTML

收藏 評論

dataanalysis 頭像

蔣點數分 - 【Uber 面試真題】SQL ：每個星期連續5星評價最多的司機

大家好，我是“蔣點數分”，多年以來一直從事數據分析工作。從今天開始，與大家持續分享關於數據分析的學習內容。 本文是第一篇，也是【SQL 週週練】系列的第一篇。該系列是挑選或自編具有一些難度的 SQL 題目，一週至少更新一篇。後續創作的內容，初步規劃的方向包括： 後續內容規劃 1.利用 Streamlit 實現 Hive 元數據展示、SQL 編輯器、 結合Docker 沙箱實現數據分析 Agent

hive , pandas , 數據分析 , SQL , Python

收藏 評論