tag 大數據

標籤
貢獻385
324
05:15 PM · Oct 25 ,2025
tech 頭像 elhix0bg 頭像 nebulabio 頭像 u_16272508 頭像 u_15844731 頭像 u_14767244 頭像 dolphinscheduler 頭像 ververica 頭像 seatunnel 頭像 zhaoqianglaoshi 頭像 huikaichedemianbao 頭像 u_17602582 頭像

@大數據 / 博客 RSS 訂閱

fengliudedaxiang_esnzgz 頭像

bigdata1 - 大數據計算引擎正在拋棄 JVM

在寫這篇文章之前，Java 25正式發佈，其中JEP-508Vector API 迎來了第10次孵化，旨在提供一種向量計算的接口，從而獲得比等效標量計算更高的性能。傳統的基於Java虛擬機（JVM）的執行引擎在處理大規模數據時逐漸顯露出性能瓶頸 (標量計算) ，特別是在 CPU 密集型任務和內存管理方面。近年來，眾多大數據計算引擎開始轉向原生（Native）執行模型，採用 C++ 等語言實現向量化

大數據

收藏 評論

daimajiangxin 頭像

代碼匠心 - 從零開始學Flink：數據輸出的終極指南

在實時數據處理的完整鏈路中，數據輸出（Sink）是最後一個關鍵環節，它負責將處理後的結果傳遞到外部系統供後續使用。Flink提供了豐富的數據輸出連接器，支持將數據寫入Kafka、Elasticsearch、文件系統、數據庫等各種目標系統。本文將深入探討Flink數據輸出的核心概念、配置方法和最佳實踐，並基於Flink 1.20.1構建一個完整的數據輸出案例。 一、Flink Sink概述 1. 什

大數據處理 , 大數據 , JAVA , flink , 後端

收藏 評論

ruozxby 頭像

不語 - kibana如何漢化

kibana如何漢化問題 首先kiban是有i18n國際化的配置的，文件在：安裝路徑\kibana-7.6.1-windows-x86_64\x-pack下有個.i18nrc.json文件，裏面表明支持中文 中文的文件在：安裝路徑\kibana-7.6.1-windows-x86_64\x-pack\plugins\translations\translations中有個zh-CN.json文件，

es7 , 大數據 , JAVA , 程序員 , 前端

收藏 評論

u_16099177 頭像

雲端小夢 - 數據倉庫(02)數倉、大數據與傳統數據庫的區別 -

隨着信息技術的飛速發展，企業對數據的依賴日益加深。為了高效地存儲、管理和分析海量數據，數據倉庫（Data Warehouse）應運而生。然而，隨着數據量呈指數級增長以及業務需求的多樣化，傳統的數據倉庫架構逐漸暴露出其侷限性，從而催生了基於大數據技術的新一代數據倉庫——“大數據數倉”。本文將從多個維度對比傳統數倉與大數據數倉的主要區別，幫助讀者更好地理解兩

大數據 , 數據 , 數據倉庫 , 結構化

收藏 評論

u_16213560 頭像

數據小探 - 添加索引 可以階段性執行嗎

1.索引 作用： - 約束 - 加速查找 索引分類(約束)： - 普通索引：加速查找 - 主鍵索引：加速查找 + 不能為空 + 不能重複 - 唯一索引：加速查找 + 不能重複 - 聯合索引(多列) ： - 聯合主鍵索引

表名 , 添加索引 可以階段性執行嗎 , 大數據 , 數據倉庫 , 主鍵 , 二叉樹

收藏 評論

u_16213653 頭像

mob64ca14092155 - PGSQL 外部表能加索引嗎

　　1.SQL不是用來生成報表的語言，所以不建議用它來進行格式轉換； 　　2.必要時考慮用外連接或者CASE表達式來解決問題； 　　3.生成嵌套式表側欄時，如果先生成主表的笛卡爾積再進行連接，很容易就可以完成； 　　4.從行數來看，表連接可以看成乘法。因此，當表之間是一對多的關係時，連接後行數不會增加； 　　5.外連接的思想和集合運算很像，使用外連接可以實

運算符 , 大數據 , 數據倉庫 , 一對一 , 外連接 , PGSQL 外部表能加索引嗎

收藏 評論

u_16213683 頭像

mob64ca14101b2f - yarn 接口返回正在運行的任務信息

HTTP 狀態碼負責表示客户端 HTTP 請求的返回結果、標記服務器端的處理是否正常、通知出現的錯誤等工作。 狀態碼告知從服務器端返回的請求結果 狀態碼的職責是當客户端向服務器端發送請求時，描述返回的請求結果。藉助狀態碼，用户可以知道服務器端是正常處理了請求，還是出現了錯誤。 狀態碼如 200 OK，以 3 位數字和原因短語組成。 數字中的第一位指

大數據 , yarn , yarn 接口返回正在運行的任務信息 , 服務器端 , 客户端 , 狀態碼

收藏 評論

u_15654855 頭像

此星光明 - LBA-ECO ND-07 Microbial Biomass in Cerrado Soils, Brasilia, Brazil

巴西利亞塞拉多土壤中的 LBA-ECO ND-07 微生物生物量 簡介 本數據集報告了巴西利亞塞拉多（Cerrado，一種林地-稀樹草原地區）土壤樣品中的微生物生物量。微生物生物量以磷脂脂肪酸（PLFA）的總濃度來衡量。土壤樣品（0-5 釐米）採集於 2000 年 6 月至 2001 年 6 月，地點為塞拉多兩個原生區域，這兩個區域經歷了不同

數據挖掘 , 大數據 , MySQL , 數據庫 , NASA , Python

收藏 評論

daimajiangxin 頭像

代碼匠心 - 從零開始學Flink：數據轉換的藝術

在實時數據處理流程中，數據轉換（Transformation）是連接數據源與輸出結果的橋樑，也是體現計算邏輯的核心環節。Flink提供了豐富的數據轉換操作，讓開發者能夠靈活地對數據流進行各種處理和分析。本文將以Flink DataStream API為核心，帶你探索Flink數據轉換的精妙世界，並結合之前文章中的Kafka Source實現一個完整的數據處理流程。 一、數據轉換概覽 數據轉換是指將

大數據處理 , 大數據 , JAVA , flink , 後端

收藏 評論

u_16099331 頭像

墨色天香 - mkstorm鍵盤驅動

sep0718 key driver. * * Changelog: * 1-June-2010 LSF Initial version * * * * This program is free software; you can redistribute it and/or modify * it under the terms of the GNU Gener

Storm , 大數據 , include , Linux , mkstorm鍵盤驅動 , define

收藏 評論

u_16773655 頭像

向量檢索 - 如何通過HTTP API插入或更新Doc

本文介紹如何通過HTTP API向Collection中插入或更新Doc。 説明 若調用本接口時Doc Id已存在，則等同於更新Doc；Doc Id不存在，則等同於插入Doc。 若調用本接口時不指定DocId，則等同於插入Doc，DashVector會自動生成Doc Id，並在返回結果中攜帶id信息。

向量檢索 , 大數據 , yyds乾貨盤點 , 數據倉庫 , AI , 數據庫 , 人工智能 , 大模型

收藏 評論

u_12897 頭像

jordana - 滴滴怎麼用storm sniffer

標題：登錄流程 1、用户登錄： 1.1、判斷用户名、密碼、type（區別是員工登錄還是用户登錄）是否為空 1.2、判斷用户名是否存在，不存在 拋出：用户名不存在，請註冊 1.3用户名存在，判斷密碼是否一致 1.3.1、由於數據庫中密碼是通過MD5進行加密過，而前端傳入過來的密碼

微信 , 滴滴怎麼用storm sniffer , Spring Boot , Storm , 大數據 , JAVA , 用户名

收藏 評論

u_15844731 頭像

阿森CTO - C++異常處理

@TOC C++異常處理：底層邏輯、實操方法與實戰技巧 一、背景知識 1.1 C語言的錯誤處理侷限 C語言處理錯誤的核心方式僅有兩種，且都存在顯著短板： 直接終止程序：像assert斷言這類方式，一旦檢測到非法條件（比如數組越界、空指針訪問）就直接終止程序。這種方式對用户極不友好，比如僅因一個參數錯誤就導致整個應用崩潰，完全沒有容錯

大數據 , yyds乾貨盤點 , 拋出異常 , 數據倉庫 , 緩存 , 錯誤碼

收藏 評論

u_17585479 頭像

Tob市場觀測員 - TOB企業如何突破獲客瓶頸：基於數據驅動與智能觸達的技術架構實踐

在當前的商業環境中，TOB（企業服務）領域的競爭日趨白熱化。與TOC業務不同，TOB企業的決策鏈條長、客户畫像複雜、單客價值高，傳統的廣撒網式營銷和單一的銷售漏斗模型日益顯得力不從心。市場部投入大量預算獲取的線索，往往因為無法精準識別其意向度或缺乏有效的持續培育機制，最終沉澱為“死數據”，導致獲客成本（CAC）居高不下，成為制約企業增長的核心瓶頸。如何從海量數據中精準定位高價值潛

大數據 , 數據 , 數據倉庫 , 技術架構 , crm

收藏 評論

u_16099183 頭像

數據科學家 - 將vue項目的npm遷移到yarn

作者：李小成 vue-cli腳手架模板是基於node下的npm來完成安裝，這篇文章主要介紹了vue-cli腳手架的安裝教程圖解 ,需要的朋友可以參考下 vue-cli腳手架模板是基於node下的npm來完成安裝，下面給大家介紹vue-cli腳手架的安裝，具體內容如下所述： https://github.com/vuej

大數據 , yarn , app , 安裝教程 , 將vue項目的npm遷移到yarn , Git

收藏 評論

u_16213658 頭像

mob64ca140a59b0 - deepseek v3商用

一筆4.6億的資金，剛剛流向自動駕駛重卡賽道，融資方：DeepWay深向，這是由百度和獅橋聯合發起的自動駕駛卡車公司。 A輪投後，DeepWay估值已達到30億元。 2022年當下這個時間點，大環境並不理想，一家才成立不久的自動駕駛公司，在這樣一個玩家已經很多的賽道上，憑什麼獲得認可？ 尤其是在幹線物流自動駕駛卡車賽道，已有圖森未來這樣被視作範例的頭部企

大數據 , deepseek v3商用 , 編程語言 , aigc , 人工智能 , JAVA , bard

收藏 評論

u_17602582 頭像

mb69410ac31213c - 華為雲Flexus AI智能體：重塑企業智能化路徑，一站式解鎖效率革命

在數字化浪潮席捲全球的今天，企業對智能化轉型的需求愈發迫切，但開發能力有限、上線週期漫長、數據安全擔憂等痛點，成為阻礙多數企業擁抱AI的“攔路虎”。華為雲基於開源Dify智能體開發平台打造的Flexus AI智能體，以“一站式免費體驗、部署、發佈、監控”為核心，攜20+款貼近業務的智能體模板重磅登場，為非互聯網、技術資源薄弱的企業提供零門檻AI解決方案，用技術賦能業務提質增效，開

大數據 , 數據倉庫 , 官網 , 解決方案 , 調優

收藏 評論

u_15844731 頭像

阿森CTO - vector模擬實現與核心機制

@TOC 📝基本框架 我們先定義自己的命名空間倆封裝自定義的vector類，這樣可以避免與標準庫中的 vector 發生命名衝突。隨即，我們定義模版類vector，三個成員變量都是迭代器，而vector迭代器又是原生指針，所以我們將指針取別名為iterator 框架代碼： namespace self { templateclass

大數據 , yyds乾貨盤點 , 初始化 , 迭代器 , 數據倉庫 , 構造函數

收藏 評論

wl_68521de393432 頭像

WL - hadoop大數據學習01(基礎環境準備)

環境準備 下載centos7 鏡像文件 https://mirrors.aliyun.com/centos/7/isos/x86_64/ 選擇最小安裝版 CentOS-7-x86_64-Minimal-2009.iso 安裝完成之執行下面的命令更新鏡像源: 直接輸入curl -o /etc/yum.repos.d/CentOS-Ba

大數據 , hadoop , JAVA , 後端

收藏 評論

u_12960863 頭像

wx59290cd7bb11a - 別再用 Java 多線程思維寫 Python 了！Asyncio 才是 LLM 高併發的王道

💎 本文價值提示 ​思維重塑​：幫你徹底打破 Java/Spark 的“多線程/多進程”固有思維，理解 Python 獨特的“單線程 + 事件循環”模型。 ​實戰落地​：手把手教你用 Asyncio + httpx 構建一個生產級的 LLM 高併發請求器。 ​避坑指南​：揭秘 90% 轉行工程師都會踩的“阻塞陷阱”和“CPU 密集型誤區”。 ​適用人羣​：

AI轉型 , 大數據 , 數據倉庫 , JAVA , ci , 架構師 , Python

收藏 評論

u_14767244 頭像

u_14767244 - 森馬服飾從 Elasticsearch 到阿里雲 SelectDB 的架構演進之路

森馬引入阿里雲 SelectDB 替換原 Elasticsearch + 業務庫混合架構，統一分析 16+ 核心業務，打通 BI 組件，大幅簡化數據同步鏈路和分析系統架構。實現複雜查詢 QPS 提升 400%，響應時間縮短至秒級，億級庫存流水聚合查詢縮短至 8 秒內的顯著收益，有效驅動森馬全渠道運營效率持續增長與業務創新。 早期架構面臨挑戰 浙江森馬服飾股份有限公司

大數據 , 數據 , elastic , 數據倉庫 , 數據分析

收藏 評論

tech 頭像

青雲交技術圈 - Java 大視界 -- Java 大數據在智能教育學習效果評估與教學質量改進實戰

(centerJava 大視界 -- Java 大數據在智能教育學習效果評估與教學質量改進實戰/center) 引言： 嘿，親愛的 Java 和 大數據愛好者們，大家好！我是CSDN（全區域）四榜榜首青雲交！在《大數據新視界》和《 Java 大視界》專欄攜手探索技術前沿的旅程中，我們一同見證了 Java 大數據在多個領域的輝煌成就。 如今，教育領域正面臨着新的挑戰與機遇，傳統

spark , 大數據 , yyds乾貨盤點 , Java大數據 , AI , JAVA , 智能教育

收藏 評論

tdengine 頭像

TDengine濤思數據 - TDengine IDMP 1.0.9.0 上線：數據建模、分析運行與可視化能力更新一覽

在 TDengine IDMP 持續迭代的過程中，有一類問題會越來越早地出現：不是“能不能實現”，而是“以後用起來會不會變複雜”。 當數據規模開始擴大、模型開始變多、分析邏輯開始演進時，一些看似細節的能力就變得重要起來——比如單位是否統一、分析能否複用、視圖是否可以保存、規則調整後歷史數據如何處理。 TDengine IDMP 1.0.6.0–1.0.9.0 這一階段的更新，正是

異常檢測 , 大數據 , 數據倉庫 , 時序數據庫 , 人工智能 , tdengine

收藏 評論

u_16565911 頭像

南大通用GBase - 南大通用GBase 8a集羣業務及資源使用情況分析方法總結

分析思路 重點從集羣任務、系統資源、集羣狀態及變量三方面進行分析。 1、集羣任務分析： 重點對併發任務數較高、資源使用率較高的集羣進行分析； 定期抽取集羣任務趨勢數據、審計日誌，分析任務數趨勢、重點觀察高併發任務數時點及趨勢，分析不同類型/用户等維度的任務分佈情況、任務總體的耗時情況； 定期對TOP任務(超時SQL、大SQL)進行分析優化； 不

GBase 8a , 高併發 , 大數據 , 數據倉庫 , SQL , 系統資源

收藏 評論