tag 大數據

標籤
貢獻385
291
05:15 PM · Oct 25 ,2025
tech 頭像 elhix0bg 頭像 nebulabio 頭像 u_16272508 頭像 u_15844731 頭像 u_14767244 頭像 dolphinscheduler 頭像 ververica 頭像 seatunnel 頭像 zhaoqianglaoshi 頭像 huikaichedemianbao 頭像 u_17602582 頭像

@大數據 / 博客 RSS 訂閱

u_16213650 頭像

mob64ca14085c24 - 關係型數據庫如何存儲時序數據

關係可以有三種類型：基本類型（基本表或者基表）、查詢表和視圖表 基本類型具有以下6條性質： 1.列是同質的（homogeneous），即每一列中的分量是同一類型的數據，來自同一個域； 2.不同的列可出自同一個域，稱其中的每一列為一個屬性，不同的屬性要給予不同的屬性名。當兩種不同的屬性的值取自同一個域時，要賦予屬性不同的屬性名；

數據項 , 大數據 , 數據 , 數據倉庫 , 數據庫 , 關係型數據庫如何存儲時序數據 , 基本類型

收藏 評論

u_15879876 頭像

Aloudata - AI 數據分析如何保障準確性？構建可信數據基礎成為關鍵

前言： 在數字化轉型浪潮中，企業數據分析決策的時效性與準確性已成為競爭勝負的關鍵。隨着“Data + AI”融合加深，ChatBI 產品爆發式增長。但在當前市場中，大多數 ChatBI 產品依賴大模型直接生成 SQL 的技術路徑（NL2SQL），普遍面臨“大模型幻覺”導致的數據不可信問題——模型可能生成與事實不符、計算邏輯矛盾、口徑不一致甚至完全虛構的數據結果，直接影響分析

大數據 , 數據 , 數據倉庫 , dataagent , 數據分析 , 智能問數 , chatbi

收藏 評論

u_16099335 頭像

碼海無壓 - hive ldap開啓ssl

1.hadoop ha是通過什麼配置實現自動切換的？ 2.配置中mapred與mapreduce的區別是什麼？ 3.hadoop ha兩個namenode之間的關係是什麼？ -- hadoop 版本：2.4.0 -- 安裝包名： hadoop-2.4.0.tar.gz 或者源碼版本 hadoop-2.4.0-sr

hdfs , 大數據 , hive , hadoop , bc , hive ldap開啓ssl

收藏 評論

u_15844731 頭像

阿森CTO - Ext系列文件系統--Ext2 文件系統的認識與構成

@TOC 📝ext2 ⽂件系統 🌠 宏觀認識 所有的準備⼯作都已經做完，是時候認識下⽂件系統了。我們想要在硬盤上儲⽂件，必須先把硬盤格式化為某種格式的⽂件系統，才能存儲⽂件。⽂件系統的⽬的就是組織和管理硬盤中的⽂件。在Linux 系統中，最常⻅的是ext2系列的⽂件系統。其早期版本為ext2，後來⼜發展出ext3和ext4。ext3 和ext4雖然對

大數據 , yyds乾貨盤點 , 數據塊 , 數據倉庫 , 文件大小 , 位圖

收藏 評論

u_16213615 頭像

mob64ca1400133b - Table API & SQL - 概念與通用 API - 《Apache Flink v1.13 官方中文文檔》

1. 項目結構與最小閉環 1.1 建立 TableEnvironment（入口） import org.apache.flink.table.api.*; EnvironmentSettings settings = EnvironmentSettings .newInstance() .inStreamingMo

大數據 , API , flink , Css , SQL , 前端開發 , HTML

收藏 評論

u_12204 頭像

桃太郎 - Python 數據科學入門教程：OpenCV

此文章一共分為四篇 第一篇入門篇（本篇） 第二篇 基礎篇 第三篇 進階篇 第四篇 項目篇 在這篇系列文章中，我將帶你從“完全小白”一路打怪升級到能動手做真實項目。 不堆術語、不講空話，只用你能跑通的代碼 + 能看懂的圖解 + 踩過的坑總結， 手把手拆解 OpenCV

spark , 大數據 , 圖像處理 , 視覺項目 , 計算機視覺 , opencv , Python

收藏 評論

u_14767244 頭像

u_14767244 - Apache Doris 中的 Data Trait：性能提速 2 倍的秘密武器

在數據庫系統的核心層，查詢優化器如同一位精明的策略家，不斷分析數據特徵並制定最優執行計劃。Apache Doris 作為一款高性能的 MPP 分析型數據庫，其優化器內置的 Data Trait 分析機制，通過挖掘數據內在的統計特徵和語義約束，為查詢優化提供了基礎設施。讓我們一起來探索這個強大的功能！ 什麼是 Data Trait？ 想象一下，如果你能提前知道數據的 “性格特徵”，

大數據 , 數據 , 數據倉庫 , 函數依賴 , SQL

收藏 評論

goody 頭像

goody - git倉庫清理瘦身解決 .git文件夾過大的問題_git 清理

有時候git項目源文件明明不大，可能就1M左右，然而拉取卻很慢，整體佔用空間達到幾十上百M，查看提交記錄，發現是有人誤提交了編譯後的target包中的jar包，後來發現誤傳又刪除了。 在 GitLab 中，即使刪除了大文件，它們的歷史記錄仍會保留在倉庫中，導致 .pack 文件過大，影響拉取代碼的速度。要徹底刪除這些大文件的歷史記錄，可以使用 gi

歷史記錄 , elasticsearch , 大數據 , gitlab , 前端開發 , Git , Javascript

收藏 評論

ververica 頭像

ApacheFlink - Flink Agents：基於Apache Flink的事件驅動AI智能體框架

本文基於 Apache Flink PMC成員宋辛童在 Community Over Code Asia 2025 Streaming 專題技術分享中的演講內容整理而成，詳細介紹了Flink Agents項目的技術背景、架構設計和應用前景。 在人工智能技術快速發展的今天，AI應用從簡單的對話交互正在向更加複雜和智能化的方向演進。Apache Flink社區最近推出了一個全新的項目——Flink A

大數據 , flink , 實時計算

收藏 評論

u_16099227 頭像

雲端創新者 - hadoop電影網站用户影評分析的項目

MovieWeb是一個電影相關的網站，它提供的功能包括搜索電影信息、排名或者電影明星資料等。它擁有10000部電影的信息，70000個用户，和超過1千萬的電影評分。借用它的搜索目錄，用户可以通過類型分類、排名和片名瀏覽等方式檢索電影。但如何解決電影智能推薦的問題呢？近日MongoDB分享了他們結合Hadoop的經驗。 MovieWeb基於Pytho

hadoop電影網站用户影評分析的項目 , 大數據 , jar , hadoop

收藏 評論

zzger 頭像

我不是碼農 - kafka stream的自定義時間段窗口實現

最近系統需要做一個日誌平台，對所有接入的系統進行日誌的統計分析，因為之前用的是kafka來實現各業務系統日誌接入日誌平台的，所以想到了直接使用kafka官方本身提供的一個實時計算框架kafka stream。 kafka stream的時間窗口有兩個重要的屬性：窗口大小和步長(移動間隔)，滾動窗口Tumbling Time Window：步長等於窗口大小，滾動窗口是沒有記錄的重疊；跳躍窗口H

大數據 , stream , kafka , 實時計算

收藏 評論

u_13521 頭像

cnolnic - PySpark ML常用轉換器

一、核心架構圖 二、角色分析 在Driver端，通過Py4j實現在Python調用Java的方法，即將用户寫得PySpark程序“映射”到JVM中，例如，用户在PySpark中實例化一個Python的SparkContext對象，最終會在JVM中實例化Scala的SparkContext對象 在Executor端，則

spark , 大數據 , big data , PySpark ML常用轉換器 , JAVA , Python

收藏 評論

u_15505879 頭像

資深程序設計 - 2026版基於python大數據的電影分析可視化系統

1、研究背景 在當今數字化時代，電影產業蓬勃發展，全球電影市場年票房收入持續增長。據統計，2023 年全球電影票房總收入達到數百億美元，電影數量也呈爆發式增長，每年有數千部電影在全球各大院線上映。然而，如此龐大的電影數據藴含着豐富的信息，但缺乏有效的分析手段，使得電影從業者、投資者和觀眾難以從中獲取有價值的知識。傳統的電影分析方法主要依賴人工統計和簡單圖表展示，效率低下且難

大數據 , yyds乾貨盤點 , 數據 , 電影分析 , 後端開發 , JAVA , Python , Web

收藏 評論

u_15591410 頭像

我就是不長肉而已 - SBD3D60V1H-ASEMI可直接替代安世PMEG6010CEJ

編輯：ll SBD3D60V1H-ASEMI可直接替代安世PMEG6010CEJ ASEMI首芯半導體可替代安世半導體功率器件 型號：SBD3D60V1H 品牌：ASEMI 封裝：SOD-323 特性：肖特基二極管 正向電流：1A 反向耐壓：60V 恢復時間：35ns 引腳數量：2 芯片個數：1 芯片尺寸：M

ASEMI , SBD3D60V1H , 大數據 , hadoop , 在51CTO的第一篇博文 , 肖特基二極管

收藏 評論

u_14767244 頭像

u_14767244 - 壓縮率提升 48%，詳解 Apache Doris 存儲壓縮優化之道｜Deep Dive

摘要 本文基於 ClickBench 數據集，展示了 Apache Doris 如何通過選擇壓縮算法、調整數據頁大小與分桶數、優化編碼策略以及改進數據排序來提升壓縮效率。最終，相同數據集的壓縮空間從 16.08 GB 降至 8.2 GB，壓縮率提升 48.6%。通過合理的調整與優化，Doris 成功在保持查詢性能的同時顯著降低了存儲成本。 在分析型數據庫中，列式存儲是壓縮和

大數據 , 字符串 , 數據 , 數據倉庫 , 壓縮算法

收藏 評論

u_16099342 頭像

IT智行者 - 製作投標文件目錄及頁碼索引什麼意思

摘自天極 由於業務的需要，我經常要寫某某項目的設計方案、協議合同等，雖篇幅不大，但都會有目錄。可我覺得目錄的插入總是不盡人意，索性人工編排，那麻煩勁真是一言難盡，不是對不齊，就是格式難看得要命，自從我安裝了OFFICE XP（2002）以後，在WORD中的目錄編排簡直可以説是隨心所欲，這樣的好東西實在不敢獨享，寫出來與大家共享。 　　編制目錄最簡單的方法是使用內置的大

自定義樣式 , 大數據 , 製作投標文件目錄及頁碼索引什麼意思 , 數據倉庫 , 創建目錄 , 選項卡

收藏 評論

u_16213703 頭像

mob64ca14150f43 - spark3 用户權限管理

1 配置 export SCALA_HOME=/Users/zhaoshuai11/work/scala-2.12.14 export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_192.jdk/Contents/Home ## 指定spark老大Master的IP和提交任務

spark , spark3 用户權限管理 , 大數據 , 學習 , hadoop

收藏 評論

u_16213661 頭像

mob64ca140b0bc8 - Spark on Hive 和 Hive on Spark 區別

文章目錄 1. 實戰概述 2. 實戰步驟 2.1 修改Hive配置文件 2.2 分發Hive配置文件到Spark配置目錄 2.3 分發HikariCP數據庫連接池JAR包 2.4 修改Hadoop核心配置文件 2.5 啓動Hadoop服務 2.6 啓動Hive相關服務

大數據 , 配置文件 , hive , hadoop , Hive on Spark , Hive on YARN

收藏 評論

huikaichedemianbao 頭像

合合技術團隊 - 論文解讀-對話中的多模態情感識別綜述

一、簡要介紹 儘管基於文本的情感識別方法已經取得了顯著的成就，但現實世界中的對話系統往往需要比單一模態所能提供的更加細膩的情感理解。因此，多模態情感識別（MERC）成為了提升人機交互自然性和情感理解的關鍵方向。其目標是通過整合文本、語音和視覺信號等不同模態的信息，準確地識別情感。本綜述系統地概述了MERC，包括其動機、核心任務、代表性方法和評估策略。論文進一步探討了最近的趨勢，指出了關鍵挑戰，並

大數據 , 算法 , 人工智能

收藏 評論

u_16099241 頭像

技術領航博主 - thinkcmf引入ZipArchive

　　最近接了一個建站項目，要求用thinkcmf來搭建，ytkah在想php都大致一樣吧，快速地下載安裝包，可是！怎麼安裝呢？沒看到安裝指引文件或目錄，查看了安裝説明public目錄做為網站根目錄,入口文件在/public/index.php，總算安裝成功了，可是默認站點鏈接不對，z5w.net/public/，多了一個/public/，怎麼把它隱藏呢？

composer , 大數據 , 配置文件 , php , hive

收藏 評論

u_16099211 頭像

笑傲江湖求敗 - 國產集中式關係型數據庫

1、數據庫介紹 1.1數據庫定義 所謂的數據庫其實就是數據的集合。用户可以對集合中的數據進行新增、查詢、更新、刪除等操作。數據庫是以一定方式儲存在一起、能與多個用户共享、具有儘可能小的冗餘度、與應用程序彼此獨立的數據集合。 1.2數據庫類型 1.2.1關係型數據庫 1.2.1.1定義 關係型數據庫最典型的數據結構是表，由二維表及其之間的聯繫所組

大數據 , 關係型數據庫 , 數據文件 , 數據倉庫 , 數據庫 , 國產集中式關係型數據庫

收藏 評論

u_16213673 頭像

mob64ca140dc73b - Outlook 正在為項目創建索引 剩餘 135282 個項目尚未創建索引

昨天安裝了中文版的office professional plus 2010（版本號14.0.4734.1000），安裝完後發現outlook2010把2007覆蓋掉了（發現office12文件夾下的outlook.exe重命名為outlook.exe_bk，還有其他幾個outlook相關的dll也被加了_bk後綴，其他的2007和2010都能並行。

大數據 , 數據倉庫 , 加載 , 重新啓動 , Outlook

收藏 評論

u_16213687 頭像

mob64ca141139a2 - abap opensql 帶索引列的內表

MySQL索引：B+樹索引 B+樹索引是傳統意義上的索引，這是目前關係型數據庫系統中查找最為常用和最為有效的索引。B+樹索引的構造類似於二叉樹，根據鍵值快速找到數據 B樹 B+樹是由B樹演化而來的，在瞭解B+樹之前，我們需要對B樹有一點認知。 B樹全稱Balance-tree(平衡多路查找樹)定義如下： 樹中每個結點至多有m 棵

結點 , 大數據 , 數據倉庫 , 子樹 , 子節點

收藏 評論

u_15591410 頭像

我就是不長肉而已 - B5817W-ASEMI可直接替換安世PMEG2005EH

編輯：ll B5817W-ASEMI可直接替換安世PMEG2005EH ASEMI首芯半導體可替代安氏半導體功率器件 型號：B5817W 品牌：ASEMI 封裝：SOD-123 特性：肖特基二極管 正向電流：1A 反向耐壓：20V 恢復時間：35ns 引腳數量：2 芯片個數：1 芯片尺寸：MIL 浪涌電

ASEMI , 大數據 , B5817W , hadoop , 在51CTO的第一篇博文 , PMEG2005EH

收藏 評論