tag 數據倉庫

標籤
貢獻158
168
01:08 PM · Nov 03 ,2025

@數據倉庫 / 博客 RSS 訂閱

Protonbase - ProtonBase 榮獲 2024 技術卓越獎 · 年度創新產品

經過層層篩選,由 IT 界權威垂直門户 IT168 主辦的 2024 技術卓越獎評選結果正式公佈!在這一激烈競爭的行業盛事中,ProtonBase 憑藉其卓越的技術創新,榮獲「技術卓越獎·年度創新產品」獎項。 自 1999 年創立以來,IT168 始終致力於推動技術進步,見證了無數行業變革。其企業級業務旗艦——ITPUB 論壇,自 2001 年 9 月成立以來,已發展成為中國權威的數據庫及架構技術

MySQL , 數據倉庫 , 數據庫 , postgresql , sqlite

收藏 評論

u_15015752 - 國產大數據平台替換CDH,能源巨頭實現大數據平台全面升級

在數字化浪潮的推動下,大數據平台已成為眾多企業的核心基礎設施。然而,許多早期採用CDH等傳統開源大數據平台的企業,在享受技術紅利的同時,也逐漸遭遇了不少問題:技術棧老舊帶來的維護成本激增、架構僵化導致的業務響應遲緩、以及開源組件拼湊模式下難以彌合的安全與治理鴻溝。 某大型能源集團在面臨上述挑戰時,通過將原有CDH平台替換為星環科技大數據基礎平台TDH,不僅化解了潛在風險,還

大數據 , 數據 , 自主可控 , 案例 , 數據倉庫

收藏 評論

數據科學家 - or的字段需要創建組合索引

ORM字段   1、AutoField     int自增列,必須填入參數 primary_key=True。當model中如果沒有自增列,則自動會創建一個列名為id的列。   2、IntegerField     一個整數類型,範圍在 -2147483648 to 2147483647。   3、CharField     字符類型,必須提供

字段 , or的字段需要創建組合索引 , 大數據 , 字符串 , 數據倉庫 , 數據庫

收藏 評論

網絡小墨 - 論文索引快捷鍵

一、 引言 SCI (Science Citation Index) 科學索引指數是美國Thompson公司推出的一種為科學工作者論文檢索服務的論文引用指標。在我國它成為Thompson ISI論文檢索數據庫的代名詞。Thompson ISI論文檢索數據庫挑選世界上一批有影響的科學刊物,將其論文題目和作者及作者單位、文摘和引用論文進行檢索,建立數據

論文索引快捷鍵 , 大數據 , 數據 , 數據倉庫 , 數據庫 , 參考文獻

收藏 評論

deanyuancn - zos db2

基本概念 Structured Query Language:結構化查詢語言 其實就是定義了操作所有關係型數據庫的規則,每一種數據庫操作的方式存在不一樣的地方,稱為“方言” SQL是Structured Query Language的縮寫,意思是結構化查詢語言,是一種在數據庫管理系統(Relational Database Management System,

大數據 , 數據 , 數據倉庫 , 數據庫 , zos db2 , SQL

收藏 評論

阿里雲大數據AI技術 - MaxCompute SQL AI:讓 SQL 成為你的 AI 語言

MaxCompute SQL AI 全新上線,一句SQL就能用上大模型,零門檻讓數據分析師秒變AI高手。 在大模型能力飛速進化、推理成本持續下降的今天,AI 正從“可選項”變為大數據處理流水線中的“必選項”。越來越多的場景——無論是文本摘要、實體抽取,還是多模態的圖像識別、金融風控中的行為分析——都開始用模型推理替代傳統的規則邏輯,實現更智能、更精準的數據

MaxCompute , 大數據 , 數據倉庫 , AI , 阿里雲 , SQL

收藏 評論

jordana - 怎麼查數據表沒有被使用過的索引或者使用較少的索引

1.1 查詢表中所有的行與列如下,那麼在查詢之前還是一樣要看一下表的結構 desc emp ; 若領導要看所有員工的信息,其實操作上很簡單隻需要在select * 後面加上表名即可,這個時候得到的結果是所有行與列的集合; 1.2從表中檢索部分行 查看公司有多少銷售人員,那麼只需

oracle , 運算符 , 大數據 , 字符串 , 數據 , 數據倉庫

收藏 評論

mob64ca140fd7c1 - 多光譜遙感目標檢測數據集

1.資源一號02C衞星 資源一號02C星(ZY1-02C)於2011年12月22日成功發射,牽頭主用户為自然資源部。ZY1-02C星搭載有全色多光譜相機和全色高分辨率相機,主要任務是獲取全色和多光譜圖像數據,可廣泛應用於自然資源調查與監測、防災減災、農林水利、生態環境、國家重大工程等領域。 ZY1-02C星具有兩個顯著特點:一是配置的10米分

圖像處理 , 數據 , 數據倉庫 , 人工智能 , 多光譜遙感目標檢測數據集 , 計算機視覺

收藏 評論

字節跳動開源 - ByConity 0.3.0 版本發佈,支持倒排索引等新特性

來源|ByConity 開源社區 各位的社區小夥伴們大家好,ByConity 0.3.0 版本於 12 月 18 日正式發佈了,此版本提供了倒排索引,基於共享存儲的選主方式等多項新特性,對冷讀性能進行了進一步的優化,對 ELT 能力也進行了進一步的迭代,同時修復了若干已知問題,進一步提升了系統的性能和穩定性,歡迎大家下載體驗。 GitHub 地址:https://github.com/ByC

索引 , 數據倉庫 , 版本更新 , 開源 , 雲原生

收藏 評論

SelectDB技術團隊 - 數據無界、湖倉無界, Apache Doris 湖倉一體解決方案全面解讀(上篇)

導讀:湖倉一體架構融合了數據湖的低成本、高擴展性,以及數據倉庫的高性能、強數據治理能力,高效應對大數據時代的挑戰。為助力企業實現湖倉一體的建設,Apache Doris 提出了數據無界和湖倉無界核心理念,並結合自身特性,助力企業加速從 0 到 1 構建湖倉體系,降低轉型過程中的風險和成本。本文將對湖倉一體演進及 Apache Doris 湖倉一體方案進行介紹。 在過去的數年間,數據分析技術棧

github , 數據倉庫 , 架構設計 , 數據分析 , 數據湖

收藏 評論

鏡舟科技 - 如何理解 Apache Iceberg 與湖倉一體(Lakehouse)?

一、什麼是湖倉一體(Lakehouse)? 湖倉一體是一種融合了數據湖的靈活存儲能力與數據倉庫的高效分析功能的現代數據架構。它通過整合兩者的優勢,解決了傳統架構的侷限性,為企業數據處理提供了更全面的解決方案。 數據湖的開放性:支持多格式數據存儲(如 Parquet、ORC),兼容開放生態(如Hive、Iceberg),存儲成本低。 數據倉庫的高性能:提供 ACID 事務、高效查詢和實時分析能

微信 , hive , 數據倉庫 , iceberg , 數據湖

收藏 評論

鏡舟科技 - 數據湖和數據倉庫的區別

在當今數據驅動的時代,企業需要處理和存儲海量數據。數據湖與數據倉庫作為兩種主要的數據存儲解決方案,各自有其獨特的優勢與適用場景。本文將客觀詳細地介紹數據湖與數據倉庫的基本概念、核心區別、應用場景以及未來發展趨勢,幫助讀者更好地理解和選擇適合自身需求的數據存儲方案。 一、基本概念 數據湖(Data Lake) 數據湖的概念最早由Pentaho公司的James Dixon在2011年提出,是一種能夠存

大數據 , 數據結構 , 數據倉庫 , 數據分析 , 數據湖

收藏 評論

阿里雲大數據AI - 雲棲實錄|MaxCompute全新升級:AI時代的原生數據倉庫

本文根據2025雲棲大會演講整理而成,演講信息如下: 演講人: 張治國阿里雲智能計算平台事業部MaxCompute負責人 於得水阿里雲智能集團資深技術專家 謝德軍阿里雲智能集團資深技術專家 在雲棲大會的ODPS分論壇上,阿里雲MaxCompute迎來了十五週年的重大技術發佈。從雲原生到AI原生,MaxCompute正式宣告邁入一個全新的發展階段,推出AI原生數據倉庫核心能力

數據倉庫 , 阿里雲 , 人工智能 , 雲原生

收藏 評論

阿里雲大數據AI - 阿里雲DLF 3.0:面向AI時代的智能全模態湖倉管理平台

在2025年雲棲大會上,阿里雲DLF產品負責人李魯兵正式發佈了DLF(DataLakeFormation)3.0,升級為面向AI時代的智能全模態湖倉管理平台。此次發佈標誌着DLF從傳統的湖倉管理工具,全面進化為支持結構化、半結構化與非結構化數據統一管理、安全開放、性能卓越的新一代數據基礎設施。本文將系統梳理DLF3.0的架構演進、核心能力、典型應用場景以及其在實際業務中的落地價值。 一、D

大數據 , 數據倉庫 , 阿里雲 , 數據湖

收藏 評論

SeaTunnel - (三)從分層架構到數據湖倉架構系列:數據倉庫分層之貼源層和數據倉庫層設計

《新興數據湖倉設計與實踐手冊·從分層架構到數據湖倉架構設計(2025 年)》 系列文章將聚焦從數據倉庫分層到數據湖倉架構的設計與實踐。手冊將闡述數據倉庫分層的核心價值、常見分層類型,詳解分層下的 ETL 架構及數據轉換環節,介紹數據倉庫分層對應的技術架構,並以貼源層(ODS)、數據倉庫層(DW)、數據服務層(DWS)為例,深入剖析數湖倉分層設計,最後探討數據倉庫技術趨勢並進行小結。 本文為系列文

大數據 , 數據倉庫 , 數據庫 , 開源 , 數據湖

收藏 評論

數據集成與治理 - 不懂湖倉一體,別説你懂大數據

√不懂湖倉一體,別説你懂大數據 接觸數據的都聽過“湖倉一體”,有人就開始疑惑了:數據湖和數據倉庫不是夠用嗎?為什麼還要多餘再搞一個架構出來? 實際上,你接觸到的數據有:像客户信息、生產日誌和客服錄音等。它們的類型是不統一的,什麼結構化、半結構化甚至非結構化,很多時候它們常因為這個原因導致不能存放在一塊,也不能通用。 怎麼辦? 所以這時候就得靠搭建一個湖倉一體,把這些數據都存好,管好,目的就是為了輕

大數據 , 數據倉庫 , 數據可視化 , 數據庫

收藏 評論

wx579efdd457bb0 - python ddt數據驅動

數據驅動的意義:在自動化測試當中,我們通常會將測試數據從測試代碼中抽離出來放在單獨的文件中,既能減少代碼量,也能降低代碼的維護成本,通過數據的改變從而驅動自動化測試的執行。接觸python自動化測試的第一個框架通常都是unittest,使用@ddt裝飾器來完成數據驅動,ddt意思就是 “Data-Driven Tests”。 項目目錄結構 使用pycharm新

大數據 , 數據倉庫 , 測試數據 , 自動化測試 , Json

收藏 評論

阿森CTO - 自定義類型:結構體深入解析

@TOC 📝前言 本小節,阿森繼續和你一起學習什麼是結構體?結構體類型的聲明和創建,然後就是結構體的初始化,隨即學習結構成員的訪問操作符來更好的打印結構體的數據,當然還有匿名結構體類型,和結構的自引用。文章乾貨滿滿,接下來我們就學習一下結構體吧 😃! 🌠 什麼是結構體? 結構體是一種用户定義的數據類型,它允許

大數據 , yyds乾貨盤點 , 初始化 , 操作符 , 數據倉庫 , 結構體指針

收藏 評論

阿森CTO - C++內存管理的機制

@TOC 📝new和delete操作自定義類型 我們先看malloc與free,調試可以發現並不會調用析構函數 class A { public: A(int a = 0) : _a(a) { cout "A():" this endl; } ~A() { cout "~A():" this endl; }

數組 , 大數據 , yyds乾貨盤點 , 數據倉庫 , 構造函數 , ci

收藏 評論

阿森CTO - 初始化列表與explicit

@TOC 📝再談構造函數 🌠 構造函數體賦值 在創建對象時,編譯器通過調用構造函數,給對象中各個變量一個合適的初始值 class Date { public: Date(int year, int month, int day) { _year = year; _month = month; _day = day;

初始化列表 , 大數據 , yyds乾貨盤點 , 初始化 , 數據倉庫 , 構造函數

收藏 評論

jojo - 如何增加zotero檢索引擎

鄙人習慣 使用Zotero Connector來收集chrome瀏覽器中檢索到的文章 然後自動文章信息自動導入到本地Zotero客户端中 利用Foxit福晰閲讀器來閲讀下載的PDF格式文章 在Zotero中對應文章下建立markdown筆記,便於導出到博客 在Zotero中安裝markdownhere4zo

谷歌學術 , 經驗分享 , 大數據 , 數據倉庫 , 數據庫 , 如何增加zotero檢索引擎 , ci

收藏 評論

mob64ca1414c613 - ubuntu硬盤vdb1 vdb2合併

參考:https://www.ibm.com/developerworks/cn/linux/l-tip-prompt/tip05/index.html 環境:ubuntu18.04 原硬盤:pcie 360g 新增硬盤:sata 1T 所需命令和文件 fdisk mk

命令行 , 大數據 , ubuntu硬盤vdb1 vdb2合併 , 配置文件 , 數據倉庫 , 重啓

收藏 評論

藍色憂鬱花 - 數據倉庫數據傳輸模式 數據倉庫的三種模式

1、數據倉庫 數倉分層:ODS(Operational Data Store)直接存放原始數據,DWD(Data Warehouse Detail)對數據進行清洗 ,DWS(Data Warehouse Service)輕度彙總(存儲每天數據的彙總),DWT(Data Warehouse Topic)重度彙總(存儲一段時間數據的彙總),DIM維度層(事實表的描述信息,何人、

數據倉庫數據傳輸模式 , 數據挖掘 , 大數據 , 數據倉庫 , 數據庫

收藏 評論

mob64ca13fd559d - latex文中怎麼索引圖表

通常中國內地的朋友用TeX都使用Winedt編輯器,建議大家不要違背TeX開源的精神,購買Winedt正版再來使用,費用不高,普通用户也支付得起。 實際上開源的編輯器某些地方已經超過了Winedt,只不過用户使用起來還需自己配置才比較好用罷了。一般用户比較懶,也搞不清怎麼配置,這裏我截圖來講解下,TeXniccenter如何配置起來反向搜索和前向搜

大數據 , TeX , 數據倉庫 , latex文中怎麼索引圖表 , 好用 , 一般用户

收藏 評論