tag 大數據

標籤
貢獻385
313
05:15 PM · Oct 25 ,2025
tech 頭像 elhix0bg 頭像 nebulabio 頭像 u_16272508 頭像 u_15844731 頭像 u_14767244 頭像 dolphinscheduler 頭像 ververica 頭像 seatunnel 頭像 zhaoqianglaoshi 頭像 huikaichedemianbao 頭像 u_17602582 頭像

@大數據 / 博客 RSS 訂閱

dolphinscheduler 頭像

海豚調度 - 新手教程：用外部 PostgreSQL 和 Zookeeper 啓動 Dolphinscheduler

本文將帶你一步步通過外部PostgreSQL和Zookeeper來啓動Apache DolphinScheduler。無論你是新手還是有經驗的開發者，都能輕鬆跟着這些步驟在Linux/Unix環境中完成安裝和配置。除了常見的安裝步驟，我們還會分享一些集羣部署的技巧，讓你輕鬆擴展系統規模。 當然，如果遇到數據庫連接、Zookeeper連接或者啓動服務的問題，不用擔心，文中也有詳細的排查方案，幫你輕

大數據 , zookeeper , postgresql , 開源 , JAVA

收藏 評論

tech 頭像

青雲交技術圈 - Java 大視界 -- Java 大數據在智能教育自適應學習系統中的學習效果評估指標體系構建與應用

(centerJava 大視界 -- Java 大數據在智能教育自適應學習系統中的學習效果評估指標體系構建與應用/center) 引言： 嘿，親愛的 Java 和 大數據愛好者們，大家好！我是CSDN（全區域）四榜榜首青雲交！凌晨兩點，北京海淀區某重點中學初三學生張曉陽完成了英語語法專項訓練。基於 Java 構建的智能教育系統，在 1.8 秒內完成了對其學習過程的深度解碼：通過分

spark , 大數據 , yyds乾貨盤點 , 數據 , Java大數據 , JAVA , flink

收藏 評論

nebulabio 頭像

北京辰輝創聚生物 - 細胞培養必看：如何選擇適合的白介素進行實驗？

在細胞通訊的網絡中，白介素作為一類關鍵的細胞因子，承擔着傳遞信息、調控免疫反應的核心職責。這些由免疫細胞及其他多種細胞分泌的小分子蛋白質，是探索生命科學，尤其是免疫學、腫瘤學及幹細胞研究等領域不可或缺的工具分子。本文旨在從技術層面，系統梳理白介素家族的特性、功能機制及其在科學研究

大數據 , 細胞因子 , 重組蛋白 , 數據倉庫 , 免疫應答 , JAK-STAT , 科研試劑

收藏 評論

baidujiagoushi 頭像

百度Geek説 - 基於Flink的配置化實時反作弊系統

導讀 本文詳細闡述了基於Flink構建的實時反作弊流式過濾系統，針對大流量場景下的複雜特徵計算、高頻策略熱更新、模擬過濾驗證及多場景數倉對接等核心挑戰，提出來多項解決方案，實現了秒級特徵計算的實時過濾功能，有效支撐高併發場景下的精準風控判定，並通過ClickHouse與圖靈雙鏈路數據輸出，滿足實時監控與離線分析的多樣化需求，為互聯網業務提供了高吞吐、低延遲、強穩定的實時反作弊解決方案。 01 簡介

大數據 , 配置 , flink

收藏 評論

secretflow 頭像

隱語SecretFlow - 隱語1.0正式發佈｜MVP部署體驗包、資源調度框架Kuscia全新亮相！

2023 年 7 月 ７ 日，在世界人工智能大會組委會辦公室指導下，隱語開源社區攜手螞蟻集團和機器之心共同主辦的數據要素與隱私計算論壇在上海世博會議中心舉行。論壇上，螞蟻集團隱私計算部總經理、隱語社區負責人王磊發佈了隱語 1.0 版本，並對隱語 1.0 版本框架拓展與升級進行了整體介紹。隱語 1.0 版本不僅進一步擴大了開源範圍，還對整體架構進行了調優拓展，核心內容涉及產品層、資源層、互聯互通等

大數據 , 隱私 , 人工智能 , 計算機科學

收藏 評論

u_16099353 頭像

漫步雲端的豬 - yarn ACCEPTED 優化

最近玩家爆炸性增長，使得原來設計的WS和數據庫那塊承受了更大的壓力，開始有點受不住了，於是理所當然的優化開始了。。。 這裏説幾個數據庫優化的建議和方法： 在數據庫優化工作中，使數據儘可能的小，使表在硬盤上佔據的空間儘可能的小，這是最常用、也是最有效的手段之一。因為縮小數據，相對來説可以提高硬盤的讀寫速度，並且在查詢過程中小表的內容處理時所

服務器 , 大數據 , yarn , 存儲 , 數據庫 , 工作 , yarn ACCEPTED 優化

收藏 評論

u_16099249 頭像

雲端築夢大師 - DB25需要驅動嗎

摘要：物聯網設備產生的數據是典型的時序數據，而時序數據庫是存儲時序數據的專業數據庫系統，因此數據壓縮對時序數據庫來説是一項必不可少的能力。 根據IDC的一份白皮書預測，到2025年全球數據總量將達到175ZB，其中物聯網設備將生成90ZB數據，佔比50%以上。以往物聯網數據基本上都是先存儲起來再處理，如今這一處理模式開始向“實時處理”模式轉型。即便如此，數

DB25需要驅動嗎 , 大數據 , 數據 , 數據壓縮 , 數據倉庫 , 壓縮算法

收藏 評論

u_16213668 頭像

mob64ca140caeb2 - storm control 設置多少

重要組件 SteamVR_Camera VR攝像機，主要功能是將Unity攝像機的畫面進行變化，形成Vive中的成像畫面 使用方法： l 在任一個攝像機上增加腳本 l 點擊Expand按鈕 完成以上操作後，原本的攝像機會變成如下結構 l Origin：位置 l Head：頭部 l Eye：眼睛 l Ear

storm control 設置多少 , System , Storm , 大數據 , 觸摸板 , Standard

收藏 評論

dolphinscheduler 頭像

海豚調度 - DolphinScheduler 如何高效調度 AnalyticDB on Spark 作業？

DolphinScheduler是一個分佈式易擴展的可視化DAG工作流任務調度開源系統，能高效地執行和管理大數據流程。用户可以在DolphinScheduler Web界面輕鬆創建、編輯和調度雲原生數據倉庫 AnalyticDB MySQL 版的Spark作業。 前提條件 AnalyticDB for MySQL集羣的產品系列為企業版、基礎版或湖倉版。 AnalyticDB for MySQ

spark , 大數據處理 , dolphinscheduler , 大數據 , 開源

收藏 評論

u_16272508 頭像

事辯天下 - IDC：奧哲，2025H1蟬聯第一！

國際權威機構IDC近日正式發佈《2025上半年IDC中國低代碼和零代碼軟件市場追蹤》報告。報告顯示，奧哲再次榮膺中國低零代碼軟件市場獨立廠商第一! 自2020年以來，奧哲已連續多年穩居低零代碼軟件市場獨立廠商榜首，且市場份額持續增長，奠定中國低代碼第一品牌地位。這一成績不僅印證了奧哲在數智化領域的深厚積澱，更標誌着奧哲在AI時代的戰略轉型初見成效，持續領跑行業發展。

大數據 , 數據 , 數據倉庫 , 企業級 , 解決方案

收藏 評論

u_16099166 頭像

數據小香 - cdh平台hive的show locks表的mode類型都是什麼意思

參數查詢 #死鎖檢測 show variables like '%innodb_deadlock_detect%'; #鎖超時時間 show variables like '%innodb_lock_wait_timeout%'; #立即獲得表鎖請求的次數 SHOW STATUS LIKE 'Table_locks_immediate%

大數據 , MySQL , hive , 讀鎖 , 數據庫 , 訪問表

收藏 評論

u_16099224 頭像

IT劍客之家 - 關於數倉建設及數據治理的超全概括

在大數據時代，數據倉庫作為企業數據架構的核心組成部分，其治理水平直接決定着數據分析的準確性和業務決策的有效性。隨着數據規模的不斷擴大和數據應用的日益複雜，數據倉庫治理已成為企業數據管理的重要課題，需要從技術、管理、流程等多個維度系統推進。 數據倉庫治理的必要性與挑戰 數據倉庫治理的核心目標是確保數據倉庫的數據質量、運行效率和使用價值。在實踐中，數據倉庫面臨

大數據 , 數據 , 數據倉庫 , 數據質量

收藏 評論

u_14405 頭像

fjfdh - 大數據和人工智能的未來在中國 - 靈玖lingjoin的個人空間 -

在當今快速發展的數字化時代，數據已經成為一種無形的資源，甚至被譽為“新石油”。大數據和人工智能（AI）的結合，正推動着各個行業的變革，無論是製造業、醫療健康，還是金融服務、零售等領域，數據驅動的決策正在深刻改變着業務模式和社會結構。本文將探討大數據與人工智能如何塑造未來，並推動各行各業的創新與發展。 一、大數據與人工智能：改變世界的雙引擎 大

大數據 , 數據 , 人工智能 , memcached , Css , 前端開發 , HTML

收藏 評論

u_16213684 頭像

mob64ca14106f2f - 談談“數據庫中間件”生態與發展-

在信息技術的廣闊天地裏，中間件就像是一位默默無聞的幕後英雄，為各種軟件系統的高效運行和協同工作立下了汗馬功勞。瞭解中間件的起源與發展歷程，能讓我們清晰地看到它是如何一步步走到今天，以及它在現代信息技術中扮演着怎樣不可或缺的角色。接下來，就讓我們一起走進中間件的前世今生。 目錄 起源背景 發展階段 早期

中間件 , 大數據 , 後端開發 , 人工智能 , harmonyos

收藏 評論

yunrizhi_daishuyun 頭像

雲掣科技 - 開源大數據集羣部署（二十）Trino部署

作者：櫰木 1 解壓trino的包到opt目錄 cd /root/bigdata tar -xzvf trino-server-389.tar.gz -C /opt/ ln -s /opt/trino-server-389 /opt/trino 2 創建trino用户，並配置專屬jdk11 useradd trino su – trino chown -R trino:hadoop /opt/tr

大數據 , 雲原生 , 集羣

收藏 評論

u_12897 頭像

jordana - vue 循環數組 數組加索引怎樣實現

一.Vue初體驗： 二.Vue條件命令： 三.Vue循環指令： 四.Vue處理用户輸入： 五.Vue組件初體驗： 六.Vue實例： 七.Vue模板語法： 八.Vue計算屬性： 九.Vue.js偵聽器： 十.Vue.js的class綁定： 十一.Vue style綁定

vue.js , 大數據 , vue 循環數組 數組加索引怎樣實現 , Vue的for循環 , 數據倉庫 , Vue.js的數組對象循環 , Vue的列表渲染

收藏 評論

u_16099353 頭像

漫步雲端的豬 - halcon 字典索引

1 什麼是索引器？ 　　索引器提供了一種訪問類或者結構的方法，即允許按照與數組相同的方式對類、結構或接口進行索引。 　　例如：Dictionary（詞典類）的賦值取值方式。 2 數字索引器 　　2.1 定義一個索引器類 public class University { private const int MAX =

索引器 , List , System , 大數據 , 數據倉庫 , halcon 字典索引

收藏 評論

ververica 頭像

ApacheFlink - Flink基於Paimon的實時湖倉解決方案的演進

引言 現代數據環境要求架構能夠無縫融合數據湖的靈活性與傳統數據倉庫的性能特徵。隨着企業越來越多地採用實時分析來驅動業務決策，ApacheFlink作為流處理引擎與ApachePaimon作為湖存儲格式的結合，已成為構建強大實時湖倉平台的引人注目的解決方案。 本文整理自 Apache CommunityOverCode Asia 2025 大會上，阿里雲技術專家，Apache Flink Commi

大數據 , flink , 實時計算

收藏 評論

u_17602582 頭像

mb69410ac31213c - AI不再是大廠專屬！華為雲Flexus AI智能體免費體驗

隨着大模型的持續突破，AI智能體熱度持續提升。今年以來，從初創企業到科技巨頭紛紛加快佈局，智能體應用場景持續拓展。但在AI技術席捲各行各業的今天，一個現實的困境擺在無數中小企業面前：巨頭們動輒投入千萬級研發資金組建AI團隊，而自身卻因技術和成本壁壘，只能在智能化轉型的門外徘徊。 無需配置、點擊即用、免費使用……打破AI技術鴻溝的關鍵，就是降低門檻，減少中小企業的使用成本。近

大數據 , 數據倉庫 , 雲服務 , 應用場景 , 生產力工具

收藏 評論

u_12902 頭像

jiecho - apache atlas 不使用hadoop

Atlas就是Microsoft推出的在asp.net中實現類似Ajax的 rich client 和客户端與服務器異步通信的技術，以下介紹我初步實踐的結果： 首先安裝VS.net2005,2003應該是不可以的。 然後安裝Atlas插件，可在以下地址下載 http://www.microsoft.com/downloads/

System , 大數據 , hadoop , HTML , Web

收藏 評論

u_16213681 頭像

16213681 - 數據庫原理與應用.（Oracle版）pdf

內容提要 本書系統地講述了數據庫系統的基本概念、基本原理和基本設計方法，並基於目前最流行的大型關係數據庫之一——Oracle 11g，循序漸進地介紹了數據庫的管理、實現及應用。本書注重理論與實踐相結合，以一個讀者耳熟能詳的教學管理系統為例貫穿全書，力求對數據庫理論和應用進行精煉，保留實用的部分，使其更加通俗易懂。使用目前流行的高級程序設計語言C#，介紹了基於Oracle 1

大數據 , 數據倉庫 , H2 Database 建錶帶索引語句 , 數據庫 , 數據結構與算法 , SQL , c

收藏 評論

u_14767244 頭像

u_14767244 - 浩瀚深度：從 ClickHouse 到 Doris，支撐單表 13PB、534 萬億行的超大規模數據分析場景

浩瀚深度（[SHA: 688292]）旗下企業級大數據平台選擇 Apache Doris 作為核心數據庫解決方案，目前已在全國範圍內十餘個生產環境中穩步運行，其中最大規模集羣部署於 117 個高性能服務器節點，單表原始數據量超 13PB，行數突破 534 萬億，日均導入數據約 145TB，節假日峯值達 158TB，是目前已知國內最大單表。憑藉 Apache Doris 的高可靠、

hdfs , 大數據 , 數據 , 數據倉庫 , apache

收藏 評論

u_16099192 頭像

架構魔法之光 - spark iceberg 合併小文件源碼

拆分文件可以用 dd split csplit，通常用split比較方便，支持按行、按大小等分割文件 合併文件用 cat file1 file2 file3 mergeFile 拆分合並後 用MD5值校驗 md5sum file 在linux下，切割和合並文件可以使用split和cat命令來實現。 文件切割 文件切割模式分為兩種：文本文件和二

spark , 文件名 , 大數據 , 文本文件 , 文件大小

收藏 評論

u_16213596 頭像

mob64ca13fb6939 - Swing開發教程從入門到實踐(一)

終極指南：如何快速打造現代Java Swing界面——FlatLaf完整入門教程 🚀 FlatLaf是一款開源的跨平台Java Swing外觀組件庫，以其極簡扁平設計、多主題支持和HiDPI適配能力，成為現代桌面應用界面美化的首選方案。無論是開發輕量級工具還是企業級應用，FlatLaf都能讓你的Swing程序瞬間擁有優雅、專業的視覺體驗。

大數據 , 初始化 , hadoop , JAVA , Swing

收藏 評論