tag 大數據

標籤
貢獻385
296
05:15 PM · Oct 25 ,2025
tech 頭像 elhix0bg 頭像 nebulabio 頭像 u_16272508 頭像 u_15844731 頭像 u_14767244 頭像 dolphinscheduler 頭像 ververica 頭像 seatunnel 頭像 zhaoqianglaoshi 頭像 huikaichedemianbao 頭像 u_17602582 頭像

@大數據 / 博客 RSS 訂閱

ververica 頭像

ApacheFlink - Flink + Fluss 實戰: Delta Join 原理解析與操作指南

在使用FlinkSQL進行實時數據處理的過程中，雙流Join是非常常見的操作之一。典型的場景包括分析廣告效果（曝光流訂單流實時關聯）、實時推薦（點擊流和商品信息）等等。然而，雙流Join需要在狀態中維護兩側全量的歷史數據，以確保計算結果的準確性。隨着作業的持續運行，雙流Join會逐漸帶來一些問題： 運維層面 狀態過大，開發者需要不斷加大作業的資源才能維持較高的吞吐。 C

大數據 , flink , 實時計算

收藏 評論

goody 頭像

goody - yarn 升級electron版本

1. 添加依賴 "electron-updater": "^4.0.0" 升級的時候往往就是因為electron-updater版本不搭配，導致一些亂七八糟的問題出現，此時electron的版本是2.0.4，打包的時候如果electron-updater的版本小於4.0.0，會出現無法打包，所以修改electron-updater的版本為^4.0.0

服務器 , 大數據 , yarn , 新版本 , yarn 升級electron版本 , 檢查更新

收藏 評論

u_16436094 頭像

肥仔魚Liam - 開源AI、BI工具DataEase 連接Cloudera CMP 7.3（或類 CDP 的 CMP 7.13 平台，如華為鯤鵬 ARM 版）支持Hadoop大數據源

截至 2025 年 11 月，DataEase（v2.10+ 版本） 作為一款國產開源、可私有化部署的 BI 可視化工具，已支持對接多種 CMP 7.3 生態及其他主流大數據源。其核心連接方式為 JDBC/ODBC 或原生驅動，適用於金融、政務、製造等行業的混合數據架構。 以下是 DataEase 官方支持或經社區驗證可穩定連接 的 CMP 7.3 及相關hadoop大數據

大數據 , MySQL , hive , bc , hadoop CMP , SQL

收藏 評論

u_16099238 頭像

碼海探險家 - sumo設置公交車站_城市交通仿真平台SUMO.pdf_weixin

SUMO-Web3D：突破性3D交通可視化引擎 — 沉浸式微觀模擬與實時交互體驗 SUMO-Web3D是一款革新性的開源工具，它將傳統的SUMO交通模擬器無縫遷移至3D網頁環境。通過TraCI接口與three.js圖形庫的深度整合，用户可在瀏覽器中直觀觀察車輛行駛、行人流動等微觀交通行為，支持自定義場景配置與多維度交互控制。無論是城市交通規

大數據 , 數據 , hadoop , 3d

收藏 評論

journey_64224c9377fd5 頭像

journey - DataX源碼編譯及示例

1、系統要求 Linux JDK(1.8以上，推薦1.8) Python(2或3都可以) Apache Maven 3.x(Compile DataX) 2、源碼編譯 1、下載代碼，github代碼同步到碼雲上了 git clone https://gitee.com/qzw2015/DataX.git 2、切換tag分支最新release tag git checkout datax_v20

大數據 , 同步 , JAVA

收藏 評論

selectdb 頭像

SelectDB技術團隊 - 終態部署、易擴展、無感升級，Doris Operator 支持高效 Kubernetes 容器化部署方案

容器化憑藉其靈活性、跨平台性、自動化管理和極致彈性，吸引了眾多企業的關注。一些企業希望將 Apache Doris 容器化部署，以實現高效的資源利用與部署迭代。Kubernetes 提供的編排和管理功能，能完成大規模容器部署，但 Kubernetes 自身的複雜性也導致眾多企業面臨部署複雜、運維困難、使用難度高等挑戰。 為滿足用户在 Kubernetes 平台上對 Doris 的高效部署和運維要求

部署 , kubernetes , 大數據 , operators , 數據庫

收藏 評論

vivo_tech 頭像

vivo互聯網技術 - vivo Pulsar萬億級消息處理實踐（1）-數據發送原理解析和性能調優

作者：vivo 互聯網大數據團隊- Quan Limin 本文是vivo互聯網大數據團隊《vivo Pulsar萬億級消息處理實踐》系列文章第1篇。 文章以Pulsar client模塊中的Producer為解析對象，通過對Producer數據發送原理進行逐層分析，以及分享參數調優實戰案例，幫助讀者理解與使用好Producer，並體會到Producer對消息中間件系統穩定性以及處理性能所起

服務器 , 大數據 , JAVA , 消息隊列 , 後端

收藏 評論

nebulabio 頭像

北京辰輝創聚生物 - 重組干擾素蛋白的結構特點與分子性質綜述​

擾素；純化干擾素蛋白；無標籤干擾素；融合標籤干擾素；干擾素蛋白質量評價 一、干擾素的類別與基礎結構特徵 干擾素（interferon，IFN）是一類具有典型結構模式的小分子蛋白，在哺乳動物中廣泛表達，其最顯著的特徵是以摺疊緊湊的 α 螺旋結構或二聚體結構實現分子穩定性。按照分子結構、序列特徵以及受體識別方式的

大數據 , 重組IFN-γ , 干擾素細胞因子 , 數據倉庫 , 重組IFN-β , 重組IFN-α , 重組干擾素蛋白

收藏 評論

u_16099215 頭像

技術領航員 - 關聯字段如何建索引

LOOKUP(lookup_value,loolup_vector,result_vector)從一列或一行或數組中查找一個值 參數： 　　lookup_value：要查詢的值 　　loolup_vector：要查找的範圍 　　result_vector：要獲得的值的範圍 返回： 　　result_vector範圍中的值 VLOOKUP(

偏移量 , 數組 , 大數據 , 數據倉庫 , 函數返回 , 關聯字段如何建索引

收藏 評論

u_16099324 頭像

智能創新夢想家 - workbench如何加索引

初探Drools--搭建 7.11版workbench 前言 workbench搭建 workbench簡單介紹 workbench環境 workbench下載 修改tomcat 配置 1.把war包解壓縮放到tomcat webapps下（將名字改成kie-

tomcat , 大數據 , jar , Drools , 數據倉庫 , xml , workbench如何加索引

收藏 評論

baidujiagoushi 頭像

百度Geek説 - 百度垂搜數據管理系統彈性調度優化實踐

百度垂直搜索系統將搜索核心能力賦能阿拉丁（百度搜索特型結果）、垂直領域搜索、應用內搜索等場景，支撐了數百個檢索場景、百億級內容數據的檢索。隨着接入業務數量和數據量不斷增長，系統在海量數據管理與調度上遭遇新的挑戰，通過垂搜數據管理系統彈性調度優化實踐來滿足業務增長需求。 01 背景 1.1簡介 百度垂搜架構的召回引擎經過歷史架構演進確定了異構部署的架構模型，相較於同構部署在容量自動調整、數據按需存儲

大數據 , 搜索 , 雲原生

收藏 評論

u_16099265 頭像

智能開發者 - 內網yarn

華為雲和AWS雲的VPN都是收費的,華為雲可以包月或按時間/流量計費,AWS那邊沒有找到計費方式,貌似是按出網流量算的.打通內網需要華為雲和AWS雲各創建一個帶有公網IP的網關,兩個網關分別指向對方的公網IP,網關創建成功後就開始收費.而且需要先創建華為雲這邊的網關,因為AWS那邊的網關創建完成後不能修改,如果想要修改,只能刪除重新創建. 1.創建華為雲 虛擬專用網絡-VP

內網 , AWS , 大數據 , yarn , ip , 內網yarn

收藏 評論

u_14850 頭像

ctaxnews - hql和標準sql有什麼區別 hive 不支持修改

學習Hibernate時我們會學習到hql語句，他與sql語句最重要的區別是：hql針對的是實體類的相關屬性，sql針對的數據庫表的相關列。接下來我們來認識和彙總hql與sql語句的幾個區別： 五）hibernate專用查詢 （0）hibernate中的查詢方式 session.

框架 , System , java web , 大數據 , hive , hibernate , Customer

收藏 評論

u_12197 頭像

jack - Hadoop 大數據平台容災部署架構

本講主要剖析Hadoop重要的配置文件。 在前面我們安裝單機版Hadoop以及Hadoop集羣的時候，我們使用的只是可以工作的最小化配置項，有很多重要的配置項都還沒有提及。 首先看一下我們前面對core-site.xml這個配置文件的配置信息: “fs:default.name

大數據 , 雲計算 , hadoop , Hadoop 大數據平台容災部署架構 , 王家林

收藏 評論

elhix0bg 頭像

阿里雲大數據AI - 跨國數倉遷移背後的統一存儲格式創新-Append Delta Table

本系列文章將圍繞東南亞頭部科技集團的真實遷移歷程展開，逐步拆解BigQuery遷移至MaxCompute過程中的關鍵挑戰與技術創新。本篇為第一篇，跨國數倉遷移背後MaxCompute的統一存儲格式創新。 注：客户背景為東南亞頭部科技集團，文中用GoTerra表示 背景 當東南亞頭部科技集團GoTerra決定將其集團數據倉庫從BigQuery遷移至阿里雲MaxCompute時，這一決策背後折射出更深

大數據處理 , 大數據 , 存儲技術 , 數據遷移 , 人工智能

收藏 評論

nebulabio 頭像

北京辰輝創聚生物 - 可溶性蛋白表達指南：原理、系統與策略解析

在重組蛋白研究與製備領域，獲得高產量、高活性的目標蛋白是核心目標。其中，可溶性蛋白表達是實現這一目標的關鍵環節。與以不溶性聚集形式存在的包涵體不同，可溶性表達的蛋白能正確摺疊，以其天然或具有生物活性的構象存在於細胞漿或周質空間中，這對於後續的蛋白純化、功能研究及相互作用分析至關重

大數據 , 真核表達 , 蛋白可溶性 , 數據倉庫 , 原核表達 , 蛋白表達服務 , 蛋白復性

收藏 評論

tech 頭像

青雲交技術圈 - Java 大視界 --Java 大數據在智慧交通公交車輛調度與乘客需求匹配中的應用創新

(centerJava 大視界 --Java 大數據在智慧交通公交車輛調度與乘客需求匹配中的應用創新/center) 引言： 嘿，親愛的 Java 和 大數據愛好者們，大家好！我是CSDN（全區域）四榜榜首青雲交！當城市的車水馬龍逐漸成為生活常態，公交系統作為城市交通的 “血管”，其調度效率與服務質量直接影響着數百萬市民的日常出行體驗。傳統調度模式的侷限性日益凸顯，而 Java

spark , 智慧交通 , 大數據 , yyds乾貨盤點 , 數據 , Java大數據 , JAVA , 公交車輛

收藏 評論

u_12228 頭像

香奈兒 - 反射、枚舉以及lambda表達式_枚舉類為什麼不能被反射

文章目錄 字符串常量池 創建對象的思考 字符串常量池(StringTable) 再談String對象創建 intern方法 反射 定義 用途 反射基本信息 反射相關的類 Class類中的相關方法 反射示例

spark , System , 大數據 , 數據結構 , jvm , intellij idea , JAVA

收藏 評論

dtstack 頭像

袋鼠雲數棧 - 企業數據資產管理核心框架：L1-L5分層架構解析

背景分層結構的背景主要源於數據倉庫和大型信息系統建模的實踐，特別是受到以下方法論的影響： 維度建模：由 Ralph Kimball 提出，強調從業務過程（對應主題域）出發，構建事實表和維度表（對應邏輯實體）。 範式建模：由 Bill Inmon 提出，強調集成的、面向主題的、非易失的數據集合，其EDW（企業數據倉庫）的構建需要自上而下的分層設計。 企業架構框架：如TOGAF，其數據架構部分強調業務

大數據 , 知識 , 數據庫 , 人工智能

收藏 評論

u_16213689 頭像

mob64ca1411a6fc - db2由淺入深

可以説是不知天高地厚。。 可以説是班門弄斧。。 但是，我今天還就這樣走了，我喜歡!!!!!! 注：後續文章，限於篇幅，不懂名詞都有 紫色+下劃線 超鏈接，有興趣，可以查閲； 網上關於Leveldb 的源碼剖析啊，解析啊什麼的有好多，差不多都是大神級別的在搞，如果我們水平相當，那不如湊一對唄： 既然開

大數據 , 數據 , 迭代器 , 數據倉庫 , server , db2由淺入深

收藏 評論

nebulabio 頭像

北京辰輝創聚生物 - 重組細胞因子全解析：定義、分類與應用指南

在生命科學研究的廣闊領域中，重組細胞因子作為一類至關重要的科研試劑，為基礎研究和藥物研發提供了強大的工具。它們不僅在免疫學、細胞生物學、發育生物學等學科中扮演着核心角色，更是現代生物技術產業化應用中的關鍵元件。 一、什麼是重組細胞因子？ 要理

大數據 , 數據倉庫 , 干擾素 , 生長因子 , 集落刺激因子 , 蛋白活性 , 趨化因子

收藏 評論

love51 頭像

GhostLover - 在ROS中實現多Realscene D455數據的讀取併發布

在ros2 humble版本上安裝D455相機並獲取圖像和深度信息 一、安裝ROS2 Humble 二、安裝Intel RealSense SDK 2.1、更新系統依賴： 2.2、安裝構建工具： 2.3、下載並編譯SDK： 三、安裝ROS2的RealSense驅動

環境變量 , 錯誤信息 , 大數據 , 工作區 , hadoop , kobuki ros2

收藏 評論

u_13250 頭像

flybirdfly - df 根據索引其中之一篩選 根據索引名得到索引號

第三章 索引 本章數據： import numpy as np import pandas as pd 一、索引器 1. 表的列索引 列索引是最常見的索引形式，一般通過[]來實現。通過[列名]可以從DataFrame中取出相應的列，返回值為Series，例如從表中取出姓名一列：

機器學習 , 大數據 , 數據倉庫 , pandas , 數據分析 , df 根據索引其中之一篩選 , Python

收藏 評論

collen7788 頭像

collen7788 - 【趙渝強老師】阿里雲大數據集成開發平台DataWorks

DataWorks是阿里雲重要的PaaS（Platform as a Service）平台產品，為用户提供數據集成、數據開發、數據地圖、數據質量和數據服務等全方位的產品服務，一站式開發管理的界面，幫助企業專注於數據價值的挖掘和探索。 DataWorks支持多種計算和存儲引擎服務，包括離線計算MaxCompute、開源大數據引擎E-MapReduce、基於Flink的實時計算、機器學

MaxCompute , 大數據 , yyds乾貨盤點 , 數據倉庫 , 阿里雲 , DataWorks , SQL

收藏 評論