tag 大數據

標籤
貢獻385
328
05:15 PM · Oct 25 ,2025
tech 頭像 elhix0bg 頭像 nebulabio 頭像 u_16272508 頭像 u_15844731 頭像 u_14767244 頭像 dolphinscheduler 頭像 ververica 頭像 seatunnel 頭像 zhaoqianglaoshi 頭像 huikaichedemianbao 頭像 u_17602582 頭像

@大數據 / 博客 RSS 訂閱

u_15831703 頭像

wei_shuo - GLM-4.7 & MiniMax M2.1 限免上線！工程級 Agent 模型正式接入 AI Ping

前言：從"能生成"到"能長期跑"的工程級大模型 大模型產業落地階段，工程交付穩定性與長時 Agent 運行效率成為核心衡量標準，GLM-4.7 與 MiniMax M2.1 作為國產模型兩條差異化成熟路線的代表，跳出單輪生成質量侷限，聚焦真實場景長期穩定運行能力。AI Ping 平台整合多供應商資源，實現兩款旗艦模型免費開放與統一調度，通過標準化測試、可視化看板與智

大數據 , API , hadoop , 3d , Max

收藏 評論

minghecloud 頭像

茗鶴APS和MES - APS系統在汽車零部件廠的應用：實現高效、精準生產排產

汽車零部件製造具有組件工藝精密、同一零部件客户需求多樣、供應鏈需響應迅速的行業特性，其核心生產環節的協同效率直接影響產品質量與企業交付能力。APS系統通過構建"需求-產能-物流"的一體化調度模型，將離散的生產要素轉化為協同聯動的有機整體，為零部件廠解決多工藝銜接難題、平衡客户優先級、穩定產線運行提供了系統性解決方案。 產品工藝路線協同 汽車零部件的原材準備、成型加工、

數字化轉型 , 大數據 , 精益生產 , 生產計劃

收藏 評論

u_16213704 頭像

mob64ca14154457 - E2.在shell中正確退出當前表達式

Shell Daily 2025-12-19: 優雅退場 (Trap) 寫腳本時，我們通常會在末尾寫上一句 rm /tmp/data_export.tmp 來清理現場。但如果腳本執行中途報錯退出了？或者用户不耐煩按了 Ctrl+C 強行終止？那行清理代碼永遠不會執行，垃圾文件就會日積月累。 要想寫出“死得體面”、不留垃圾的健壯腳本，你不能只關注開始，更要關注結束。這時

大數據 , 刪除文件 , hadoop , 臨時文件 , shell

收藏 評論

u_16213671 頭像

mob64ca140d61c6 - h2過濾條件使用大於小於會使用索引嗎

1.結論 對於輸入過濾條件後BOS報“列名不正確”的過濾條件，要在列名前增加x2標識 無效的過濾 FNumber in (002,003,004,005,011,020) 正確的過濾 x2.FNumber in (002,003,004,005,011,020) 2.完全可以不看的探索過程 有客户需要我

標識符 , 字段 , 大數據 , h2過濾條件使用大於小於會使用索引嗎 , 數據 , 數據倉庫

收藏 評論

kpaas 頭像

KPaaS集成擴展平台 - 跨境電商企業如何打通領星ERP與金蝶雲星空？接口字段與同步邏輯

對於使用領星ERP進行跨境電商運營管理，同時依賴金蝶雲星空處理財務與供應鏈等核心業務的企業而言，打通兩個系統之間的數據壁壘，實現高效、穩定、實時的數據同步，成為亟待解決的技術挑戰。 本文將從技術視角出發，深入探討領星ERP與金蝶雲星空之間常見的集成場景及對應接口參數，並結合數據集成平台解決方案，分析如何以更靈活、低代碼的方式構建穩定可靠的數據通道。 典型集成場景與數據

異構數據源管理 , ETL工具 , 大數據 , yyds乾貨盤點 , 數據倉庫 , 異構數據整合 , 系統集成 , 數據集成與應用集成

收藏 評論

u_15444077 頭像

u_15444077 - 警惕大數據處理中的“檢查者悖論”

本文分享自天翼雲開發者社區《警惕大數據處理中的“檢查者悖論》.作者：王****淋 什麼是檢查者悖論： 觀察的角度不同，得出的統計結論也不同。有時又稱為"候車悖論", "等待時間悖論" 為了形象説明，我們設計了一種模擬場景: 班級人數統計，來用實例説明這個問題 模擬場景: 班級人數統計 小明與小華要完成一個任務：統計學校中的 平均班級人數。但二

大數據 , 數據倉庫

收藏 評論

ververica 頭像

ApacheFlink - Forrester發佈流式數據平台報告：Flink 創始團隊躋身領導者行列，實時AI能力獲權威認可

近日，全球權威研究機構 Forrester 正式發佈《The Forrester Wave™: Streaming Data Platforms, Q4 2025》報告（後簡稱“報告”），Ververica 首次進入領導者象限，成為該年度報告中最受關注的"新晉領導者"。 Ververica 由 Apache Flink 的創始團隊建立，這一突破性成就標誌着 Ververica 在全球流式數據平台領

大數據 , flink , 實時計算

收藏 評論

u_14767244 頭像

u_14767244 - 字節跳動：Apache Doris + AI 一站式融合數據引擎的探索與實踐

隨着人工智能技術在業務中的滲透，我們逐漸意識到：AI 不僅是提升效率的工具，更是重構數據處理與消費方式的核心驅動力。在這一背景下，我們思考：能否構建一款「AI + Data」一站式融合的數據引擎？ 它不僅能夠統一處理文本、音視頻等非結構化數據與傳統結構化數據，還能為算法工程師提供流暢的數據開發體驗，實現數據處理與 AI 模型無縫銜接，並能確保數據處理負載與在線服務負載完全隔離。這是 20

大數據 , 數據 , 搜索 , 數據倉庫 , AI , 人工智能 , Python

收藏 評論

writers 頭像

思否編輯部 - 共歲寒之約！VeloxCon China 2025 參會攻略出爐

作為全球 Velox 社區的重要年度活動，這是 VeloxCon 首次來到中國。 大會不僅邀請到 Meta 核心開發團隊，更特別聚焦中國技術生態，邀請了來自螞蟻集團、阿里雲、騰訊、小紅書等企業的工程師與技術負責人，分享 Velox 在本土業務中的真實應用。 從大模型訓練的數據 pipeline 優化、湖倉一體下的查詢加速，到流批融合執行與 GPU 資源協同。這些實踐源於高併發、強實時、大規模的生產

大數據 , gpu , 開發者

收藏 評論

u_12207 頭像

衞斯理 - spark sql中over函數range和rows框架

本文基於 sqlite3 進行測試，準備工作如下 import sqlite3 conn = sqlite3.connect('window.db') cur = conn.cursor() ##### 原始數據 sql = '''select * from window;''' cur.execute(sql) print(cur.fetchall()) #

spark , 大數據 , sqlite , SQL , 窗口函數

收藏 評論

u_16106567 頭像

建投數據 - 以“居安思危”之智，夯實數字時代業務連續性基石——建投數據通過ISO22301再認證

近日，建投數據順利通過ISO22301業務連續性管理體系再認證。這標誌着建投數據在系統性風險管控、應急響應與業務連續運營能力等方面，持續符合國際標準，其數字化服務的可靠性與韌性再次獲得權威認可。 業務連續性管理作為一套科學系統的管理流程，旨在引導企業主動識別關鍵業務運營中的潛在威脅，構建從預案制定、資源儲備到響應恢復的全方位彈性體系。通過持續規劃、演練、評審與改進，

大數據 , 系統故障 , 數據倉庫 , 最小化 , 解決方案

收藏 評論

u_16099264 頭像

碼農小哥 - 論文收錄索引和收錄號

SCI （《科學引文索引》，英文全稱為 Science Citation Index ）是美國科學情報研究所（ Institute for Scientific Information ，簡稱 ISI ）出版的一部世界著名的期刊文獻檢索工具，其出版形式包括印刷版期刊和光盤版及聯機數據庫，現在還發行了互聯網上 Web 版數據庫。 SCI 收錄全世界出

大數據 , 數據倉庫 , 論文收錄索引和收錄號 , 數據庫 , 常用詞 , ci

收藏 評論

u_15459354 頭像

ApacheSeaTunnel - 深陷 Sqoop+Canal 困境？中控技術用 SeaTunnel 打造高效數據採集破局方案

核心數據一致性達99.99%、開發效率提升50%、運維成本降低70%——這是中控技術採用 Apache SeaTunnel 構建數據採集框架及相關數據服務體系後的實測成效。 上週 Apache SeaTunnel 線上 Meetup 上，中控技術工程師崔俊樂分享了這家大型工業 AI 平台型公司的實踐經驗。我們已將視頻內容整理成文，供行業同仁參考借鑑。 作者簡介 崔俊樂，中控技

spark , 大數據 , 運維 , 開源 , seatunnel , apache

收藏 評論

u_16213582 頭像

mob64ca13f7ecc9 - Python 入門教程

什麼是 MCP？ Model Context Protocol (MCP) 直譯就是“模型上下文協議”，其實它就是一個標準接口，讓大模型可以像插 USB-C 接口一樣，去訪問你的工具、代碼庫和數據源。在 Claude Code 中，可以通過MCP連接到數百個外部工具和數據源。 當工具變成一個 MCP 服務器，Claude Code 這類客户端就能發現這個工具（

github , 大數據 , AI編程 , chatgpt , 前端開發 , qwen , Javascript

收藏 評論

u_16213624 頭像

mob64ca140234eb - yarn run serve打包帶前綴

在linux下最常見的壓縮文件通常都是以.tar.gz為結尾的，除此之外還有.tar, .gz, .bz2, .zip等等。以前也介紹過linux系統中的後綴名其實要不要無所謂，但是對於壓縮文件來講必須要帶上。這是為了判斷壓縮文件是由哪種壓縮工具所壓縮，而後才能去正確的解壓縮這個文件。以下介紹常見的後綴名所對應的壓縮工具。 .gz

文件名 , 大數據 , yarn , 壓縮文件 , 解壓縮 , yarn run serve打包帶前綴

收藏 評論

wl_68521de393432 頭像

WL - hadoop 大數據學習03（hadoop生態以及非高可用集羣搭建）

hadoop 大數據主要生態組成架構圖以及描述 HDFS 高吞吐量的分佈式文件系統 YARN 用於任務調度和資源管理及分配的框架 MapReduce 運行與YARN之上，用於並行處理大數據的框架 Zookeeper 高性能的分佈式應用協調服務 Flume 日誌收集服務，用於將大量日誌數據衝不同的來源收集、聚合、最終移動到一個具體中心進行存續 Sqoop 用於將關係型數據庫與hado

hdfs , 大數據 , yarn , hadoop

收藏 評論

u_15844731 頭像

阿森CTO - STM32的USART串口通信

@TOC 一、通信接口 通信的目的:將一個設備的數據傳送到另一個設備，擴展硬件系統通信協議︰制定通信的規則，通信雙方按照協議規則進行數據收發 二、串口通信 串口是一種應用十分廣泛的通訊接口，串口成本低、容易使用、通信線路簡單，可實現兩個設備的互相通信 單片機的串口可以使單片機與單片機、單片機與電腦、單片機與各式各樣的模塊互相通信，極大地擴展

串口 , 大數據 , yyds乾貨盤點 , 數據 , 數據倉庫 , 寄存器

收藏 評論

u_15015752 頭像

u_15015752 - 什麼是圖數據庫（Graph Database）？一文了解圖數據庫

圖數據庫（Graph Database）是一種以“圖結構”為核心的數據管理系統，通節點（Node）、關係（Edge）和屬性（Property）來表示和存儲數據，重點描述數據之間的關聯關係。與傳統關係型數據庫以表和外鍵為中心不同，圖數據庫將關係進行直接存儲和計算，能夠高效地進行多跳關聯查詢和複雜關係分析，特別適合用於社交網絡、推薦系統、知識圖譜、風控反欺詐等以關係密集型數據為核心的

圖數據庫 , 大數據 , 數據 , 數據倉庫 , 關係數據庫

收藏 評論

u_16213631 頭像

mob64ca1403c772 - id字段作為數據庫索引

id 屬性 id屬性指定 HTML 元素的唯一 ID。id屬性的值在 HTML 文檔中必須是唯一的。 id屬性用於指向樣式表中的特定樣式聲明。JavaScript 也可使用它來訪問和操作擁有特定 ID 的元素。 id 的語法是：寫一個井號 (#)，後跟一個 id 名稱。然後，在花括號 {} 中定義 CSS 屬性。

大數據 , 數據倉庫 , id字段作為數據庫索引 , HTML , 前端

收藏 評論

u_16213651 頭像

mob64ca14089531 - hadoop設置map併發數

1、Mapper的key排序方式默認為快速排序，合併切片文件時用的是歸併排序，繼承Mapper類 * 驅動類關聯map：job.setMapperClass(WordcountMapper.class); 2、Reducer需要繼承Reducer類，重寫reduce(key, values, context)

數據傾斜 , 大數據 , hadoop設置map併發數 , hadoop , 自定義

收藏 評論

q_bit 頭像

qbit - 面向學科領域的網絡信息資源深度聚合與服務研究——Part5（qbit學習記錄）

圖書信息 《面向學科領域的網絡信息資源深度聚合與服務研究》 項目背景 本書是國家社科基金重大項目“面向學科領域的網絡信息資源深度聚合與服務研究”的結項成果， 孫建軍教授是該項目的首席專家。 回目錄 第五部分 學科網絡資源聚合 10 學科網絡資源的主題聚合 10.1 基於關聯數據的學科網絡資源主題聚合 10.1.1 學科網絡資源主題聚合可行性分析 10.1.2 學科網絡資源主

大數據

收藏 評論

alluxio_com 頭像

Alluxio - Meta公司內部項目-RaptorX：將Presto性能提升10倍

概要速覽 RaptorX是Meta（前“Facebook公司”，下文統稱“Meta”）公司的一個內部項目名稱，目的是為了降低查詢延遲，讓Presto的查詢性能大大超越原生（vanilla） Presto，這篇文章介紹了RaptorX的關鍵模塊——分層緩存。 有了分層緩存，我們能夠將查詢性能提升10倍。這一新的架構不僅可以完勝像Raptor之類以性能為導向的連接器，還具有向存儲分離化（即存算分離架構

Facebook , 大數據 , 分佈式系統 , meta , presto

收藏 評論

u_16099350 頭像

架構設計師 - 不同的項目目錄yarn的版本不一致

這個本來是打算寒假在家看的，對操作系統有一個大概的瞭解，沒想到受疫情影響，就一直呆在家了，這個系列也算是更新完了 而這花了二個星期的時間把王道的操作系統也看了一遍，主要是看書，做後面的習題，主要是選擇，大題略看了一下，接下來就是再複習繼續寫題了。 1. 文件，抽象一個磁盤塊集合 一個文件對應這一堆的磁盤塊 2. 文件系統，抽象整個磁盤(

文件控制塊 , 不同的項目目錄yarn的版本不一致 , 大數據 , yarn , 文件系統 , 目錄樹

收藏 評論

u_17022799 頭像

亞拉索第一 - 用 DevUI MateChat 搭一個企業知識庫 Copilot

企業裏做知識庫 Copilot 這件事，在 2025 年幾乎已經成了中後台產品的標配需求。 研發同學想快速查接口規範、排查流程和上線 checklist 客服想一鍵找到話術模板和工單歸因口徑；運營想問動 SOP @和數據口徑 大家都知道模型側可以接，但是真正拖慢落地的反而是前端交互：用户不知道該怎麼問、也不知道系統能答什麼 LLM

大數據 , 數據倉庫 , 開發者 , 結構化 , HTML

收藏 評論