tag 大數據

標籤
貢獻385
323
05:15 PM · Oct 25 ,2025
tech 頭像 elhix0bg 頭像 nebulabio 頭像 u_16272508 頭像 u_15844731 頭像 u_14767244 頭像 dolphinscheduler 頭像 ververica 頭像 seatunnel 頭像 zhaoqianglaoshi 頭像 huikaichedemianbao 頭像 u_17602582 頭像

@大數據 / 博客 RSS 訂閱

u_16099343 頭像

編程夢想編織者 - 兩主三從 分佈式hadoop

分佈式系統中的主從複製基本原理 分佈式系統中的主從複製基本原理 複製指在多台機器上保存相同數據的副本，通過數據的複製，人們希望達到以下目的： 使用户使用物理上離他們更近的的數據，降低訪問延遲。 部分組件出現故障，系統仍然可以繼續工作，提高可用性。 擴展至多台機器以令他們同時提供數據訪問服務，提高讀吞吐量。 本文只討論一些簡

觸發器 , 兩主三從 分佈式hadoop , 大數據 , 數據 , 關係型數據庫 , hadoop

收藏 評論

seatunnel 頭像

SeaTunnel - Apache SeaTunnel 如何將 CDC 數據流轉換為 Append-Only 模式？

RowKindExtractor 是 Apache SeaTunnel 的一個轉換插件，它能將 CDC 數據流轉為 Append-Only 模式，並提取原始 RowKind 信息為新字段。本文將介紹 RowKindExtractor 的核心功能，其在 CDC 數據同步場景下的使用方法，以及配置選項、注意事項及多種應用示例。 RowKindExtractor RowKindExtractor 轉換

大數據 , 開源 , seatunnel , 開發者

收藏 評論

ruanjiankaifa_xiaofanya 頭像

軟件部長 - 數據可視化之旅，從數據洞察到圖表呈現，可視化的產品設計

圖表作為數據可視化的重要工具，是對原始數據進行深度加工與解讀的有效手段，它助力我們洞悉數據背後的真相，使我們能更好地適應這個由數據驅動的世界。無論是工作彙報、項目實施、產品設計、後台界面還是數據大屏展示，圖表都扮演着至關重要的角色。 然而，在實際工作過程中，我發現許多開發人員或者產品經理對於圖表設計的理解與運用並不深入，同時市場上關於圖表設計的系統化資料也相對不夠系統化，難以形成完整的產品設

bi , 大數據 , 數據可視化 , 圖表工具 , 圖表

收藏 評論

u_14767244 頭像

u_14767244 - 十億 JSON 秒級響應：Apache Doris vs ClickHouse，Elasticsearch，PostgreSQL

坦白講，每次看性能測試排行榜，我都會下意識地先找找 Apache Doris 在哪個位置。 這次打開 JSONBench 的榜單，心情一如既往的期待加緊張。 好在結果讓我鬆了一口氣：默認配置下就能排到第三，僅次於維護方 ClickHouse 的兩個版本。 不過，Doris 只能止步於此了嗎？經過一系列優化後，查詢時長能不能再縮短點？和 ClickHouse 的差距在哪裏？

大數據 , 數據 , 數據倉庫 , apache , Json

收藏 評論

elhix0bg 頭像

阿里雲大數據AI - Fusion引擎賦能：流利説如何用阿里雲Serverless Spark實現數倉計算加速

作者：流利説 Ibson（大數據負責人）/ Bruce（數據工程師） 背景介紹 行業 流利説是領先的科技驅動的教育公司，公司自主研發了領先的英語口語評測、寫作打分引擎和深度自適應學習系統，致力於為用户提供一整套系統性的英語學習解決方案，從聽、説、讀、寫多個維度提升用户的英語水平。 業務特徵 AI 打分：利用大數據和人工智能算法對用户英語口語評測、

spark , 大數據 , 數據庫 , 人工智能 , 數據處理

收藏 評論

u_14230 頭像

爛漫樹林 - xaml 綁定索引

Window、Grid、TextBox、Button等，都叫元素 xaml文檔中，用來定義標籤，標籤可以用來描述元素或元素的屬性，如： Window 　　　　Window.Resources 　　　　/Window.Resources 　　/Window Window是元素，Resources是Window的一個屬

xaml 綁定索引 , 命名空間 , 大數據 , 數據倉庫 , xml , ide

收藏 評論

u_16099271 頭像

代碼魔術師之手 - Dubbo基本原理

目錄 1. 為什麼需要DefaultFuture機制？ 1.1 單一長連接的挑戰 1.2 示例場景 2. DefaultFuture的核心設計 2.1 關鍵組件 2.2 響應匹配流程 2.3 超時處理 3. DefaultFuture的線程安全與

服務端 , 大數據 , hadoop , 客户端 , JAVA

收藏 評論

dolphinscheduler 頭像

海豚調度 - 碼住！DolphinScheduler 常見故障 “急救指南”，一文解決服務、調度、連接等難題

概述 Apache DolphinScheduler作為現代化的數據編排平台，在實際部署和使用過程中可能會遇到各種故障和問題。本文將從架構層面深入分析常見故障類型，提供詳細的排查思路和解決方案，幫助運維人員和開發者快速定位並解決問題。 系統架構與核心組件 在開始故障排查前，首先需要了解DolphinScheduler的核心架構： 常見故障分類與排查 1. 服務啓動失敗 症狀描述 服務無

dolphinscheduler , 大數據 , 故障恢復 , 開源 , 技術

收藏 評論

u_16099242 頭像

網線小遊俠 - 深入理解Golang之Map_golang map

好傢伙, 在遊戲開發，尤其是後端服務的構建過程中，我們常常從一個簡單的想法或原型開始。 代碼直接、功能明確，一切看起來都很好。但隨着項目複雜度的提升，最初的“簡潔”設計往往會變成“僵化”的枷鎖。 0.需求分析 我想我需要一張地圖,作用如下: 1.記錄所有人的位置, 2.快速的拿到某個角色的信息 3.快速拿到某個位

大數據 , 初始化 , hadoop , Layout , Json

收藏 評論

u_16099271 頭像

代碼魔術師之手 - 2011-2022年高職大數據競賽-賽題任務剖析

目錄 一、環境準備 （一）新建maven項目 （二）添加框架支持 （三）修改maven倉庫地址 （四）pom文件 （五）新建scala目錄 二、編寫具體代碼 （一）全量抽取 （二）增量抽取 題目一：兩個時

spark , 字段 , 大數據 , hive , Css , 前端開發 , HTML

收藏 評論

u_16099280 頭像

編程小達人之心 - SQL小白學習路徑

SQL（Structured Query Language）作為數據庫查詢語言，是每個數據分析師、後端工程師和數據庫管理員的必備技能。但是，光看理論不夠，只有通過大量練習才能真正掌握SQL。今天就為大家推薦幾個優質的SQL練習平台，幫助你從零基礎到熟練掌握。 一、適合入門的平台 1. SQLZoo - 最適合零基礎 推

大數據 , 學習 , hadoop , 數據庫 , 官網 , SQL

收藏 評論

u_16213651 頭像

mob64ca14089531 - spark 心跳超時配置

Flask框架學習總結 Flask的特點 輕量、簡潔、擴展性強 常用的擴展包：wtf、sqlalchemy、login、script、migrate、mail 創建虛擬環境：mkvirtualenv 創建虛擬環境，workon 進入虛擬環境，deactivate退出虛擬環境

spark , 大數據 , 數據 , spark 心跳超時配置 , 狀態碼 , Python

收藏 評論

u_16819153 頭像

數據礦工 - 57頁滿分可編輯PPT | 數字化轉型全面戰略屋模板

本PPT為戰略屋模板，主要是企業數字化轉型相關戰略模板PPT，所有模板可以修改，直接可以用作彙報使用。這份模板共五十七頁，按戰略屋形式排列。首頁給出數字化轉型總綱，隨後把基礎設施、數據治理、安全策略、技術中台、業務中台、營銷計劃、招聘方案、年度里程碑做成獨立模塊。每頁留好可編輯的圖表、色塊與提示文字，用户可直接填入企業數據、進度與指標，快速生成彙報文件。

大數據 , 數據 , 可編輯 , 人工智能 , 基礎設施 , Css , 前端開發 , HTML

收藏 評論

u_15434217 頭像

文傳商訊 - Aspect 將雲端人力資源體驗與開發者工具拓展至新區域，推出人工智能驅動的預測功能

丹佛--雲端人力資源管理解決方案領先供應商 Aspect 於今日宣佈舉行 2025 年第四季度產品發佈會，內容包含人工智能驅動的通話量預測分析、拓展加拿大、英國及歐洲區域業務，以及新的員工績效管理功能。這次發佈標誌著 Aspect 實現其使命的重要步伐：透過智能化、現代化的工具賦能人力資源，驅動營運效率與員工敬業度。 AI驅動的預測為人力資源規劃帶

大數據 , API , 數據倉庫 , 人力資源管理 , 開發人員

收藏 評論

u_16213694 頭像

mob64ca1412b28c - 「RocketMQ技術專題」幫你梳理RocketMQ/Kafka的選擇理由及二者PK

一、先分清：兩家店 “主打啥”（定位） 店類型 對應 MQ 主打能力（一句話） 像生活裏的啥？

spark , 定時任務 , 大數據 , 高可用

收藏 評論

dayong_59b0e68b1ed0d 頭像

六邊形架構 - 別再盲目地堆砌技術了！大部份大數據項目的失敗，都是因為架構設計沒做對！

關注我，獲取更多企業級架構和人工智能應用實踐和落地的深度指南。 大家好，我是Kenyon。最近有朋友向我請教："勇哥，我們公司上了一套大數據的平台，投入了不少的資源，可運行了半年多了，數據的處理還是慢得離譜，投入的成本居高不下，分析師整天抱怨數據的質量差，領導對此也不太滿意。請問這大數據架構設計到底應該怎麼搞呢？" 嗯，這個問題實在是太常見了。作為一名參與設計和落地多個企業級的大數據平台的架構師，

大數據 , 數據採集 , 架構設計 , 系統架構 , 數據處理

收藏 評論

u_14457 頭像

clghxq - dcoekr 國內倉庫設置

距2021數據技術嘉年華(2021 DTC)開始僅有1個月啦！ 本屆大會設置1個主論壇、12個專題論壇，將帶來超過60場主題演講！ （圖為部分出席嘉賓） 本文根據 韓鋒老師在2020數據技術嘉年華(2020 DTC)分享的主題《AnalyticDB，金融級雲原生數據倉庫及最佳實踐》整理而成。 一

大數據 , 雲計算 , 數據倉庫 , dcoekr 國內倉庫設置 , 數據庫 , 雲原生 , Python

收藏 評論

u_87634 頭像

新新人類 - Spark大數據分析技術 spark 大數據

Apache Spark最初在2009年誕生於美國加州大學伯克利分校的APM實驗室，並於2010年開源，如今是Apache軟件基金會下的頂級開源項目之一。Spark的目標是設計一種編程模型，能夠快速地進行數據分析。Spark提供了內存計算，減少了IO開銷。另外Spark是基於Scala編寫的，提供了交互式的編程體驗。經過10年的發展，Spark成為了炙手可熱的大數據處理平台，目前

spark , Spark大數據分析技術 , 大數據 , 搜索 , 應用程序 , hadoop

收藏 評論

nebulabio 頭像

北京辰輝創聚生物 - 手足口病主要病原體：腸道病毒EV71結構與重組蛋白研究全解析

腸道病毒71型（Enterovirus 71， EV71）作為小RNA病毒科腸道病毒屬的重要成員，是引致手足口病重症及神經系統併發症的主要病原體。因其顯著的公共衞生重要性，EV71已成為病毒學、免疫學及疫苗研發領域的關鍵模型。 EV71的病毒學特徵與結構基礎 EV71屬於小RNA病毒科腸道病毒屬，是一種無包膜的正單鏈RNA病毒。病毒顆粒呈二十面

重組蛋白酶 , EV71重組蛋白 , 大數據 , 數據倉庫 , EV71抗原 , EV71抗體

收藏 評論

nebulabio 頭像

北京辰輝創聚生物 - 重組蛋白在細胞培養中的應用：功能、選擇與常見問題指南

在現代化的生物科研領域，重組蛋白已成為細胞培養體系中不可或缺的工具。它們以高純度、高批次一致性和無動物源污染的優勢，精確調控着細胞的生長、分化與功能。 一、 細胞粘附與鋪展：構建培養的“地基” 成功的細胞培養始於細胞的成功粘附與鋪展。這一類蛋白主要作為細胞外基質（ECM）或其關鍵組分，為細胞提供錨定點，激活細胞

大數據 , 細胞因子 , 信號通路 , 數據倉庫 , 細胞粘附 , 免疫細胞激活 , 生物試劑

收藏 評論

nebulabio 頭像

北京辰輝創聚生物 - 干擾素：定義、類型與科研應用全解析

在生命科學研究的武器庫中，干擾素作為一類關鍵的核心科研試劑，始終佔據着舉足輕重的地位。它是機體抵禦病毒入侵的首道防線，更是連接先天免疫與適應性免疫的重要橋樑。對於從事病毒學、免疫學、腫瘤學及藥物開發的研究人員而言，深入理解干擾素的類型與功能，是設計嚴謹實驗、解讀複雜生物學現象的基

免疫調節 , 大數據 , 重組蛋白 , Ⅱ型干擾素 , 數據倉庫 , Ⅰ型干擾素

收藏 評論

u_16565911 頭像

南大通用GBase - 南大通用GBase 8a 數據庫磁盤瓶頸優化方案

一、現狀背景 當前某集羣部分節點磁盤使用率已達 95% 以上，因數據量增長觸發存儲瓶頸。結合 Gbase 8a 數據庫特性，可以提供 “表重建壓縮優化” 與 “服務器擴容” 雙方案，供業務評估選擇。 二、優化方案 方案一：表重建壓縮優化（歷史數據高壓縮處理） 1. 操作原理 通過調整表壓縮級別，對歷史數據進行高壓縮處理。當前數據庫默認壓縮

GBase 8a , 服務器 , 大數據 , 數據 , 數據倉庫 , 數據庫

收藏 評論

nebulabio 頭像

北京辰輝創聚生物 - HEK293細胞：為什麼它是重組蛋白表達的黃金標準？

在生命科學和生物製藥領域，HEK293細胞已成為重組蛋白表達不可或缺的工具。這種由人胚胎腎細胞轉化而來的細胞系，因其獨特的生物學特性，被譽為重組蛋白表達的"黃金標準"。那麼，究竟是什麼讓HEK293細胞在眾多表達系統中脱穎而出？ 卓越的蛋白表達能力 HEK293細胞最顯著的特點是高效的蛋白表達能力。這得益於其特殊的起源——通過腺病毒DN

大數據 , 瞬時轉染 , 數據倉庫 , 重組蛋白表達 , 懸浮培養 , HEK293細胞 , 病毒載體生產

收藏 評論

ruanjiankaifa_xiaofanya 頭像

軟件部長 - 3步完成專業級可視化看板，讓向上管理事半功倍！

面對突如其來的重要彙報，您是否曾陷入時間緊迫與完美呈現的雙重困境？想要在短時間內打造出既全面又引人注目的可視化看板，卻苦於設計技巧的匱乏與審美眼光的侷限？別擔心，JVS-BI您的智慧彙報加速器，正蓄勢待發，助您輕鬆搞定~！！！ 一、解鎖彙報新速度，選擇好可視化神器 想象一下，只需半小時的時間，您就能從零開始，打造出令人矚目的專業可視化看板。這一切，得益於可是配置工具的的強大助力。它不僅擁有直觀易用

bi , 大數據 , 看板 , 圖表 , 報表

收藏 評論