tag 大數據

標籤
貢獻385
325
05:15 PM · Oct 25 ,2025
tech 頭像 elhix0bg 頭像 nebulabio 頭像 u_16272508 頭像 u_15844731 頭像 u_14767244 頭像 dolphinscheduler 頭像 ververica 頭像 seatunnel 頭像 zhaoqianglaoshi 頭像 huikaichedemianbao 頭像 u_17602582 頭像

@大數據 / 博客 RSS 訂閱

u_16099203 頭像

網絡安全守衞 - “雙碳”目標，數字化的新陣地

用數據“掘地三尺”，為零碳排放找出一條最靠譜的路 ——Echo_Wish 的大數據隨想錄 要我説，“零碳排放”這四個字，看着挺玄乎，但真正落地的時候，其本質就一句話：用數據把浪費揪出來，把效率拉上去，把決策變聰明。 你別看很多企業喊着“雙碳目標”，但真正能做到落地推進的，幾乎都是數字化程度高、數據驅動意識強的團隊 —— 因為碳排

單例模式 , 大數據 , 數據 , 開發語言 , hadoop , JAVA

收藏 評論

u_14535797 頭像

wx5d7321c78b265 - 深入理解TPwalletJava編譯器的版本兼容性選項

本文旨在深入解析Java錢包下載編譯器T e k o n . a p p 官網用於控制版本兼容性的關鍵選項，包括已棄用的 `-source` 和 `-target`，以及現代推薦的 `--release`。我們將探討這些選項在限制語言特性、字節碼格式和核心庫依賴方面的作用，並強調 --release 如何作為統一解決方案，確保 Java 應用程序和庫在不同 Java 運行時環境下

大數據 , hive , 字節碼 , JAVA

收藏 評論

u_16099178 頭像

雲端小悟空 - spark 邏輯表和物理表

外鍵 數據庫中的表必須符合規範，才能杜絕數據冗餘、插入異常、刪除異常等現象。規範的過程是分解表的過程。經過分解，同一事物的代表屬性出現在不同的表中。顯然，它們應該保持一致。外鍵的值或者是另外一個表的主鍵值或者為空值*。例如：學號在學生表裏是主鍵，在成績表裏是外鍵。成績表裏的學號一定要是學生表裏的學號。於是，學生表裏的學號和成績表裏的學號就一致了*。

spark , 字段 , 大數據 , 外鍵 , 數據庫 , spark 邏輯表和物理表 , 主鍵

收藏 評論

u_15022783 頭像

u_15022783 - 國產工業時序數據庫—DolphinDB的技術突破與實踐優勢

1. 工業數字化轉型的“數據焦慮” 隨着工業物聯網（IIoT, Industrial Internet of Things）浪潮的全面深入，全球製造業正經歷一場深刻的數字化轉型（Digital Transformation）。數以億計的傳感器和智能設備被部署到生產一線，形成了龐大的工業數據網絡。這場變革的基石——海量、高頻的工業時序數據，也成為了企業邁向智能化生產最大的“數

大數據 , 數據 , 毫秒級 , 數據倉庫 , 高可用

收藏 評論

u_15844731 頭像

阿森CTO - linux指令與實踐文件編寫

@TOC 📝前言 本節阿森將和你一起深入淺出的學習簡單幾條指令，快速上手在linux寫代碼，同時更好的理解指令記憶 🌠 linux目錄結構 在linux系統中，磁盤上的文件和目錄被組成一個樹，每個節點都是目錄或文件，像是一個多叉樹的層次結構。如圖所示： 以上只是展示目錄的結構是目錄樹的結構，以下是 Linux 文件目錄結構的主要組

大數據 , yyds乾貨盤點 , 搜索 , 數據倉庫 , Linux , Css

收藏 評論

u_16099212 頭像

智慧編織者 - 數據倉庫 etl 工具 腳本 kafka 數據倉庫etl開發過程

本文是關於計劃、設計和實現基本數據倉庫解決方案的系列文章的第 3 部分，將設計和實現倉庫 ETL 過程，並瞭解倉庫的性能和安全問題。 請多多支持作者作品RKWeb1.1 asp.net開發模板！ 有效提高asp.net開發效率60%以上的代碼框架！ 類似java的struts+spring+hirbenate 下

商業智能 , 大數據 , 數據倉庫 , 數據庫 , db2 , ibm

收藏 評論

u_16099274 頭像

墨香四溢 - yarn HA切換主節點

今天需要處理一個問題，已經困擾用户3天了。問題是全新構建羣集後，無法模擬故障，手動切換磁盤到其他羣集節點也失敗。簡單的將，配置羣集時，共享磁盤在那個羣集節點上，這些磁盤就一直在該節點上，無法將磁盤切換到其他主機上。即便是將生效的節點關機，磁盤也無法再其他節點掛在。 重新安裝系統，新的主機名和羣集名，重新劃分Lun……統統都試了，無效！經過了4個多小時的排查，終於修復了。

windows , 大數據 , yarn , 主機名 , 操作系統 , server , yarn HA切換主節點

收藏 評論

u_16099262 頭像

信息流星 - db2 刪除分區報錯 set integrity

海量信息即大規模數據，隨着互聯網技術的發展，互聯網上的信息越來越多，如何從海量信息中提取有用信息成為當前互聯網技術發展必須面對的問題。 在海量數據中提取信息，不同於常規量級數據中提取信息，在海量信息中提取有用數據，會存在以下幾個方面的問題： （1）數據量過大，數據中什麼情況都可能存在，如果信息數量只有20條，人工可以逐條進行查找、

海量數據 , 大數據 , 字符串 , 數據 , 算法 , 數據倉庫

收藏 評論

u_16099331 頭像

墨色天香 - vba 根據紙張索引號返回紙張的釐米單位的寬高

Sub glkCurrentDocPageSetup() Dim glkDoc As Document '定義變量 Set glkDoc = Application.ActiveDocument '設置為當前文檔 With glkDoc '設置文檔參數 With .PageSetup '設置【頁面設置】參數 .Orien

經驗分享 , 大數據 , 數據倉庫 , 邊距 , ci , 縮進

收藏 評論

nebulabio 頭像

北京辰輝創聚生物 - 重組蛋白：從基因序列到藥物設計的核心引擎

在現代藥物開發的宏偉藍圖中，重組蛋白已從一個前沿生物技術概念，演變為不可或缺的核心工具與目標。它們如同高度精密的分子鑰匙，不僅幫助科學家解鎖疾病的機制，其本身更是構成新一代療法的主體。理解重組蛋白的技術內涵，是從分子層面洞察現代藥物設計邏輯的起點。 一、 重組蛋白：精準設計的分子機器 重組蛋白是指利用重組DNA技術，在特定的宿主系統中表達和生產的蛋白質

蛋白表達 , 蛋白純化 , 大數據 , Fc融合蛋白 , 數據倉庫 , 翻譯後修飾 , 人源化抗體

收藏 評論

nebulabio 頭像

北京辰輝創聚生物 - 細胞因子風暴：機制、研究與體外模型構建策略

在生命科學和免疫學研究中，“細胞因子風暴”是一個無法忽視的高頻術語。它不僅是重症感染（如COVID-19）、膿毒症、CAR-T治療等過程中危及生命的核心病理生理事件，更是連接基礎免疫與臨牀轉化的關鍵研究節點。從科研試劑的應用角度，深入理解其發生機制並建立可靠的體外研究模型，對於藥物篩選、致病機理探索和安全性評估具有至關重要

體外模型 , 大數據 , 細胞因子 , 數據倉庫 , 生長因子 , CRS , 細胞因子風暴

收藏 評論

u_12897 頭像

jordana - 二級索引存儲多少數據

介紹 Ext2文件系統全稱為Second Extended FileSystem（第二擴展文件系統），既然是第二個那麼就存在第一個，第一個就是擴展文件系統 Extended FileSystem。當然還有Ext3和Ext4，Ext4還是很不錯的的文件系統，但是brtfs是目前的主流Linux文件系統。 磁盤佈局 名詞 引

大數據 , 文件系統 , 數據塊 , 數據倉庫 , Linux , 系統架構 , 二級索引存儲多少數據

收藏 評論

u_12902 頭像

jiecho - 星火飛碼iFlyCode 使用索引庫

Linux簡介 Linux 內核最初只是由芬蘭人林納斯·託瓦茲（Linus Torvalds）在赫爾辛基大學上學時出於個人愛好而編寫的。 Linux 是一套免費使用和自由傳播的類 Unix 操作系統，是一個基於 POSIX 和 UNIX 的多用户、多任務、支持多線程和多 CPU 的操作系統。 Linux 能運行主要的 UNIX 工具軟件、應用程序和網絡協議。它支

大數據 , 多用户 , 星火飛碼iFlyCode 使用索引庫 , 數據倉庫 , 運行級別 , 重啓

收藏 評論

selectdb 頭像

SelectDB技術團隊 - 金融場景 PB 級大規模日誌平台：中信銀行信用卡中心從 Elasticsearch 到 Apache Doris 的先進實踐

導讀：中信銀行信用卡中心每日新增日誌數據 140 億條（80TB），全量歸檔日誌量超 40PB，早期基於 Elasticsearch 構建的日誌雲平台，面臨存儲成本高、實時寫入性能差、文本檢索慢以及日誌分析能力不足等問題。因此使用 Apache Doris 替換 Elasticsearch，實現資源投入降低 50%、查詢速度提升 2～4 倍，同時顯著提高了運維效率。 本文轉錄自陳地長（中信信用卡中

elasticsearch , 日誌分析 , 大數據 , 金融 , 數據庫

收藏 評論

u_15591410 頭像

我就是不長肉而已 - SBD521S-30-ASEMI可直接替代安世1PS79SB10

編輯：ll SBD521S-30-ASEMI可直接替代安世1PS79SB10 型號：SBD521S-30 品牌：ASEMI 封裝：SMAF 正向電流：0.2A 反向電壓：30V 正向壓降：0.55V~0.95V 引線數量：2 芯片個數：1 芯片尺寸：MIL 漏電流：10ua 恢復時間：35ns 浪涌電流

ASEMI , 大數據 , SBD521S-30 , hadoop , 在51CTO的第一篇博文 , 肖特基二極管

收藏 評論

u_16099262 頭像

信息流星 - 2021年最新最全Flink系列教程

1. 什麼時候需要“混用”？ 先用 Table 生態（Catalog、Connector、SQL 函數）做取數/清洗，再回到 DataStream 寫低階算子（自定義定時器、精細狀態）。 某些 無狀態歸一化（大小寫、正則清洗、簡單投影）交給 SQL；複雜業務/亂序處理交給 DataStream。 歷史補數（有界流）走 Ba

服務器 , 大數據 , 自定義 , 後端開發 , flink , SQL , Python

收藏 評論

u_16213615 頭像

mob64ca1400133b - 文件管理索引分配中邏輯塊號與物理塊號

第十一章 EXT2文件系統 以下內容是我對本章部分內容的學習總結 一、EXT2文件系統數據結構 1、虛擬磁盤佈局 每當文件系統需要從包含它的塊設備中讀取信息或數據，就將請求底層的設備驅動讀取一個基本塊大小整數倍的數據塊。 EXT2文件系統將它所使用的邏輯分區劃分成數據塊組。 每個數據塊組都將那些對文件系

文件管理索引分配中邏輯塊號與物理塊號 , 大數據 , 文件系統 , 數據塊 , 數據倉庫 , 描述符

收藏 評論

u_16099257 頭像

編程小匠人 - Flink學習筆記（四）State管理與恢復

Apache Flink State Backends 詳解 1. 基本概念 State Backend（狀態後端）是 Flink 用於存儲和管理狀態的組件。它決定了狀態數據的存儲位置、存儲格式以及如何進行檢查點操作。Flink 提供了多種狀態後端實現，每種都有其特定的適用場景和優缺點。 2. 狀態後端類型 2.1 MemoryS

大數據 , 檢查點 , 後端開發 , flink , harmonyos , apache

收藏 評論

u_16099221 頭像

技術領航者之聲 - DB2 jabcd連接串socketTimeout

以遞歸方式處理數據關係的一種新方法 Birgitta Hauser, 軟件工程師, Toolmaker Advanced Efficiency GmbH 簡介：根據 SQL 標準，分級數據（如組織圖和材料單）或雙向數據（如航班中轉）可以通過使用遞歸通用表表達式 (RCTE) 進行評估。DB2 for i 的 V5R4 版本中提供了 RCTE 功能。其他的數據庫（如 O

大數據 , 遞歸 , 數據 , 數據倉庫 , SQL

收藏 評論

seatunnel 頭像

SeaTunnel - 破 400！Apache SeaTunnel 成為全球開發者共建熱土

隨着 Apache SeaTunnel 項目在全球數據集成領域的不斷髮展壯大，今天我們迎來了一個重要的里程碑 —— GitHub 貢獻者數量正式突破 400 人！ 🎉 這不僅是一個數字的躍升，更是全球開發者對 SeaTunnel 技術價值與開源精神的持續認可和熱情參與。 Apache SeaTunnel 成長軌跡一覽 作為 Apache 軟件基金會旗下的頂級項目，Apache SeaTunne

github , 大數據 , 開源 , seatunnel , 開發者

收藏 評論

u_16099187 頭像

網絡安全俠 - pgsql 實體化視圖索引

簡介： MView中文名稱為實體化視圖（Materialized View），相對於普通的視圖來説，MView的不同之處在於MView實體化視圖管理存儲數據，佔據數據庫的物理空間。MView的結果會保存在一個普通的數據表中，在對MView進行查詢的時候不再會對創建MView的基表進行查詢，而是直接查詢MView對應的結果表，然後通過定期的刷

大數據 , 數據 , 數據倉庫 , 數據庫 , pgsql 實體化視圖索引 , 物化視圖

收藏 評論

yunrizhi_daishuyun 頭像

雲掣科技 - 開源大數據集羣部署（二十一）Spark on yarn 部署

作者：櫰木 1 spark on yarn安裝（每個節點） cd /root/bigdata/ tar -xzvf spark-3.3.1-bin-hadoop3.tgz -C /opt/ ln -s /opt/spark-3.3.1-bin-hadoop3 /opt/spark chown -R spark:spark /opt/spark-3.3.1-bin-hadoop3 2 配置環境變量及

大數據 , 集羣

收藏 評論

163yun 頭像

網易數帆 - 直播預約丨流式湖倉服務，大數據的終結？這場開源發佈會為你揭曉！

【點擊立刻報名】 8月11日，網易數帆將舉辦“企業級流式湖倉服務 Arctic 開源發佈會”，邀請網易數帆大數據產品線及合作伙伴相關負責人聯袂解讀對數據技術演進及 Arctic 開源的思考，介紹 Arctic 項目進展、未來發展及社區規劃，分享企業湖倉一體實踐成果與心得。 數據基礎設施發展的腳步從未停歇，當前風頭正盛的是湖倉一體（Lakehouse）。 湖倉一體，顧名思義

大數據 , 數據結構 , 架構設計 , 架構模式

收藏 評論

u_16213562 頭像

技術極客傳奇 - XSSFSheet獲取列索引

每一個xls都對應一個唯一的HSSFWorkbook，每一個HSSFWorkbook會有若干個HSSFSheet，而每一個HSSFSheet包含若干HSSFRow（Excel 2003中不得超過65535行），每一個HSSFRow又包含若干個HSSFCell（Excel 2003中不得超過256列）。 為了遍歷所有的單元格，我們就得獲得某一個HSSFSheet的所有HSSF

大數據 , 數據倉庫 , i++ , 打開文件 , FileStream , XSSFSheet獲取列索引

收藏 評論