tag 數據處理

標籤
貢獻31
83
12:06 AM · Oct 27 ,2025
chunzhendegaoshan 頭像 elhix0bg 頭像 njwutong 頭像 writers 頭像 jeecg 頭像 daimajiangxin 頭像 u_16213358 頭像 jamesfancy 頭像 u_16213639 頭像 u_16993624 頭像 u_16175512 頭像 u_16970152 頭像

@數據處理 / 博客 RSS 訂閱

chunzhendegaoshan 頭像

RestCloud - SaaS 系統越來越多，為什麼需要一個 iPaaS 來統一管理？

近年來，企業數字化轉型加速，SaaS應用如雨後春筍般涌現。從客户關係管理（CRM）的 Salesforce，到人力資源管理（HRM）的 Workday；從國內協同辦公的釘釘、飛書，到財務系統的金蝶雲、用友雲；企業不再依賴單一系統，而是廣泛採用多個垂直領域的 SaaS 工具來提升效率。 然而，SaaS 帶來的“便利”背後，隱藏着數據孤島的情況出現。 一、SaaS 爆發：便利與複雜並存 當企業同時使用

saas , API , ipaas , 數據處理 , 數據傳輸

收藏 評論

elhix0bg 頭像

阿里雲大數據AI - 雲棲實錄 | 通義實驗室基於MaxCompute進行大模型數據管理及處理

本文根據9月25日雲棲大會--《通義基於MaxCompute進行大模型數據管理及處理》演講整理而成，演講信息如下： 演講人：曾劍元通義實驗室系統研發總監 主要內容： _AI數據的特點，跟傳統大數據的區別_ _通義實驗室為什麼基MaxCompute來構建我們的數據平台_ _通義實驗室的大模型的數據平台架構_ AI數據區別於傳統數據的三個特點 第一個特點是數據組織的無標準。像傳統大數據基本上是一個大寬

通義千問 , 阿里雲 , 數據處理 , 大模型

收藏 評論

chunzhendegaoshan 頭像

RestCloud - Kingbase與ETL：如何實現金融級數據庫的安全數據同步

在當今的數字化時代，金融行業面臨着數據安全與數據孤島的雙重挑戰，需要將分散在不同系統和數據庫中的數據進行安全且高效的整合，以實現數據的統一管理和深度分析。Kingbase作為一款金融級數據庫，以其卓越的安全性和穩定性為企業提供了可靠的數據存儲解決方案。而ETL數據集成技術則是實現數據同步與整合的關鍵手段。本文將詳細介紹如何通過ETL技術實現從Kingbase數據庫到Greenplum同步。 —、E

數據同步 , 數據庫 , etl , 數據處理 , 數據傳輸

收藏 評論

daimajiangxin 頭像

代碼匠心 - 從零開始學Flink：事件驅動

在實時計算領域，很多業務邏輯天然適合“事件驅動”模式：當事件到達時觸發處理、在某個時間點觸發補償或彙總、根據狀態變化發出告警等。Apache Flink 為此提供了強大的 ProcessFunction 家族（KeyedProcessFunction、CoProcessFunction、BroadcastProcessFunction 等），它們在算子層面同時具備“事件處理 + 定時器 + 狀態”

大數據 , 事件驅動 , JAVA , flink , 數據處理

收藏 評論

chunzhendegaoshan 頭像

RestCloud - Doris 高速查詢背後的秘密：如何用 ETL 工具提升數據導入效率

當前正處於數據大爆發時代，數據海量增長的同時，決策時效性要求也提高了， 企業不再滿足於T+1的報表，而是需要秒級甚至毫秒級的實時數據分析來支撐運營決策（如實時風控、精準營銷、業務監控）。另一方面，技術架構的複雜性與成本效率之間的矛盾： 傳統大數據架構（如Hadoop生態）組件繁多、架構複雜、運維成本高，很多企業渴望更簡單、更一體化的解決方案。在這個背景下，“速度”與“易用性” 成為了下一代數據分析

數據庫 , postgresql , etl , dorisdb , 數據處理

收藏 評論

chunzhendegaoshan 頭像

RestCloud - IDC中國集成平台技術評估報告，谷雲科技iPaaS平台獲八項滿分

近日，國際數據公司（IDC）發佈《中國企業集成平台（iPaaS）技術評估》報告，圍繞應用集成、數據集成、API 集成與管理、消息集成、AI 賦能、穩定性與安全性、服務與支持、場景方案與落地、開放性與兼容性、易用性等十大維度，對國內主流 iPaaS 平台進行全面評估。 在本次評估中，谷雲科技表現卓越，其 iPaaS 集成平台在應用集成、數據集成、API 集成、API 管理、消息集成、穩定性與安全性、

idc , API , 數據安全 , ipaas , 數據處理

收藏 評論

u_13778063 頭像

u_13778063 - 為什麼 RAG 落地難？解析數據處理 “三重困境”，事件驅動架構如何破局？

作者：稚柳 前言 當企業想用大模型和內部非公開信息打造智能問答系統時，RAG（Retrieval-Augmented Generation，檢索增強生成）已成為必備技術。然而，在實際落地中，構建 RAG 應用的數據準備過程繁瑣複雜且充滿挑戰，讓很多企業和開發者望而卻步。本文將介紹構建 RAG 的最佳實踐：通過阿里雲事件總線 EventBridge 提供的多源 RAG

EventBridge , 數據 , 雲計算 , 阿里雲 , 雲服務 , 數據處理 , 結構化

收藏 評論

jamesfancy 頭像

邊城 - 在前端使用 JS 進行分類彙總

最近遇到一些同學在問 JS 中進行數據統計的問題。雖然數據統計一般會在數據庫中進行，但是後端遇到需要使用程序來進行統計的情況也非常多。.NET 就為了對內存數據和數據庫數據進行統一地數據處理，發明了 LINQ (Language-Integrated Query)。其實 LINQ 語法本身沒什麼，關鍵是為了實現 LINQ 而設計的表達式樹、IEnumerable 和 IQueryable 的各種擴

lodash , 數據處理 , 前端 , Javascript

收藏 評論

chunzhendegaoshan 頭像

RestCloud - 如何藉助ETL工具實現庫存運營分析

如何藉助ETL工具實現庫存運營分析 在當今快節奏的商業環境中，庫存運營分析成為企業提升效率、降低成本、搶佔市場先機的關鍵環節。然而，很多企業在庫存運營分析過程中，常常面臨數據分散、數據質量差、分析效率低等問題，導致無法及時準確地掌握庫存狀況，做出科學的決策。而 ETL 工具的出現，為解決這些難題提供了有效的方案。接下來演示如何通過ETL工具ETLCloud來實現庫存運營分析。 數據源準備 庫存運營

數據挖掘 , 數據庫 , etl , 數據處理 , 數據傳輸

收藏 評論

u_16213358 頭像

mob64ca12dedda8 - langchain mapReduceChain 是什麼

在當今數據驅動的世界中，處理和分析大量信息變得尤為重要。正是在這樣的背景下，LangChain 的 mapReduceChain 概念被提出。mapReduceChain 是一種用於分佈式計算的高效工作流，它結合了“映射”和“歸約”兩個步驟來處理數據，幫助工程師和數據科學家更快速地獲取和處理信息。 權威定義：mapReduceChain 是一個將數據處理過程自動化的工具，它使

歸約 , 時間複雜度 , aigc , 數據處理

收藏 評論

writers 頭像

思否編輯部 - VeloxCon 2025 完整議程發佈!

近幾年，開源數據處理生態在核心功能逐步完善的基礎上，正將更多精力投入到性能調優、資源節省和執行層創新上。Velox 作為這一演進中的代表性項目，早已走出單一公司邊界，被多家全球領先的企業廣泛用於生產環境，支撐從複雜分析、高吞吐寫入到 AI 訓練數據流水線等多樣化場景。這些企業也逐步成為 Velox 生態的共建核心，深度參與功能迭代、穩定性優化與湖格式集成，推動項目成為全球協作的開源基礎設施。 12

開源 , 開發者 , 數據處理

收藏 評論

u_16213394 頭像

mob64ca12e77061 - llama運行命令

llama運行命令是一種強大的工具，能夠幫助我們更高效地進行各種計算和數據處理。在使用llama命令的過程中，我們可能會遇到一些問題。本文將通過環境配置、編譯過程、參數調優、定製開發、生態集成和進階指南等方面，指導大家如何成功解決“llama運行命令”的問題。 環境配置 首先，請確保你的環境已準備好。以下是適用於llama的環境配置思維導圖，幫助你直觀理解各個組件： mind

複雜度 , 數據可視化 , aigc , 數據處理

收藏 評論

u_16213639 頭像

mob64ca1405a060 - 一文詳解大規模數據計算處理原理及操作重點_weixin

文章目錄 引言 一、技術演化：大規模數據處理的三個時代 1. 石器時代 —— MapReduce誕生前的混沌狀態 2. 青銅時代 —— MapReduce的革命與標準化 3. 蒸汽機時代 —— FlumeJava/Apache Beam引領新紀元 二、MapReduc

數據 , map reduce , 後端開發 , 數據處理 , harmonyos , 大規模數據處理 , beam

收藏 評論

u_16993624 頭像

長腿大壯 - H2 數據庫中的字符串與數值處理關鍵字

H2 數據庫中的字符串與數值處理關鍵字 在 H2 數據庫的日常數據處理中，字符串和數值是最常見的數據類型，一批專門處理這類數據的關鍵字，就像精準的 “數據加工器”，能快速完成格式轉換、內容提取、數值計算等操作，讓數據處理既高效又精準。 字符串處理關鍵字 字符串處理關鍵字能對文本數據進行各種加工，CONCAT、SUBSTRING、TRIM、LOWER、UPPER是其中的常用成員

oracle , 取整 , 字符串 , 數據庫 , 數據處理

收藏 評論

u_16099296 頭像

mob6454cc73e9a6 - python標準庫pathlib常見操作

文章目錄 1 pathlib 庫簡介 1.1 為什麼要使用 pathlib？ 2 基本操作介紹 2.1 路徑操作 2.1.1 導入和創建 Path 對象 2.1.2 路徑拼接和解析 2.1.3 路徑判斷和解析

pathlib , 開發語言 , 後端開發 , 人工智能 , 數據處理 , harmonyos , Python

收藏 評論

writers 頭像

思否編輯部 - 從引擎創新到生態協同，VeloxCon China 2025 在京順利舉辦

2025 年 12 月 13 日，VeloxCon China 2025 在北京成功舉辦。作為 Velox 項目首次在中國舉辦的線下技術大會，匯聚了來自Meta、IBM、螞蟻集團、阿里雲、騰訊、小米、小紅書等企業的數十位核心貢獻者與一線工程師。 大會通過 18 場演講將 Velox 置於真實業務場景之中，系統展示了其在架構演進、AI 數據處理、湖倉加速、流批融合等方向的最新實踐。這些分享不僅直面性

架構設計 , 人工智能 , 開發者 , 數據處理

收藏 評論

u_16175512 頭像

mob649e81673fa5 - aigc 拓撲數據分析

在當今數據驅動的時代，“AIGC 拓撲數據分析”已經成為企業洞察數據規律、優化資源配置的重要工具。通過利用拓撲數據分析（TDA）技術，我們能夠從複雜的數據中提取潛在的模式和結構，從而助力決策和業務發展。 問題背景 隨着業務的發展，我們的數據庫規模不斷擴大，數據量達到 $N = 10^6$ 條用户記錄，結構複雜度超過 $D = 100$ 維，這對數據分析的實時性和準確性提出了挑戰。

數據 , aigc , 解決方案 , 數據處理

收藏 評論

u_16970152 頭像

求知上進 - Python 數據結構：集合推導式

Python 集合推導式是一種強大的特性，能夠簡化代碼，提高可讀性，同時為複雜的數據處理任務提供靈活和高效的解決方案。在這篇文章中，我們將深入探討集合推導式，從其基本語法、應用場景到高級技巧，以確保你能夠在實際編程中自如地運用它。 一、集合推導式的概念與語法 1.1 什麼是集合推導式？ 集合推導式是在一個可迭代對象（如列表、元組、字符串等）上進行迭代，並通過一個

數據 , 人工智能 , 深度學習 , 數據處理 , 迭代

收藏 評論

u_16213650 頭像

mob64ca14085c24 - JavaScript插件化開發教程 （一）_javascript技巧

f(x)是一款強大的終端JSON查看器和處理器，其核心優勢在於可擴展的JavaScript處理能力。作為專業的JSON數據處理工具，f(x)允許開發者通過自定義插件和函數來擴展其功能，滿足各種複雜的數據處理需求。 為什麼需要f(x)插件開發？ f(x)內置了豐富的JavaScript處理功能，但實際業務場景往往需要定製化的數據處理邏輯。通過插件開發，你可以：

插件開發 , 後端開發 , 數據處理 , Json , Python

收藏 評論

u_16099257 頭像

編程小匠人 - 我“對地觀測大數據應對全球變化”獲聯合國獎項 - 靈玖lingjoin的個人空間 -

在當今的石油與天然氣勘探開發中，隨鑽測井技術已成為提高鑽井效率、降低開發風險和實現複雜油氣藏精準開採的核心利器。其中，定向測斜功能如同給鑽頭裝上了“GPS導航”，實時指引其在地層中穿行。而動態旋轉定向傳感器，正是這項功能中一項革命性的技術突破，它徹底改變了傳統的測量模式，將定向鑽井的精準性與效率提升到了全新高度。 一、 核心功能：從“靜態瞄準”到“動態鎖定”

陀螺儀 , 文心一言 , 數據 , aigc , 數據處理

收藏 評論

chunzhendegaoshan 頭像

RestCloud - Oracle數據庫數據集成：ETL 與 CDC 的國產化最佳實踐

在數字經濟加速滲透的當下，企業數據資產的價值釋放成為核心競爭力的關鍵。作為全球企業級數據庫領域的 “標杆產品”，Oracle 數據庫承載着金融、能源、製造等關鍵行業的核心業務數據。然而，隨着國產化替代浪潮的推進，如何在保障數據安全與業務連續性的前提下，實現 Oracle 數據庫與國產 IT 體系的數據無縫流轉，成為企業數字化轉型的重要課題。其中，ETL與 CDC兩大技術，憑藉各自的優勢成為 Ora

oracle , 數據同步 , etl , 數據處理 , 數據傳輸

收藏 評論

u_16099199 頭像

數據俠客行 - 用python批量提取excel單元格圖片並保存

一、快速掌握excel分析技能 1、excel學習 excel教程不要太多，如何快速學習excel，我之前也回答過，反正就是逮住一本教程，照着練： 把一本體系化的excel教程吃透了，就足以應對業務工作所需的數據分析了。 2、excel實操 好用的函數能讓你數據分析時，如有神助，下面是我在數據分析時

python做excel數據分析統計服 , 數據 , 後端開發 , 數據分析 , 數據處理 , Python

收藏 評論

u_16213425 頭像

mob64ca12eee07b - phidata llama

在現代數據分析與處理領域，"phidata llama" 是一個頻繁出現的問題，主要涉及數據集成、處理與分析的複雜性。本文促使我們記錄學習和解決這一問題的整個過程，以幫助團隊及相關領域的從業者更好地應對類似挑戰。以下是針對這個問題的詳細覆盤記錄。 問題背景 在某大型數據業務的運作中，用户對數據分析的處理需求日益增加，尤其是對實時數據處理的要求。在一個複雜的數據流架構中，團隊經歷了

System , aigc , Processing , 數據處理

收藏 評論

u_16213669 頭像

mob64ca140ce312 - 互聯網百萬級應用的大數據處理問題 - 虎子 -

告別卡頓：Fathom Lite如何高效處理百萬級訪問數據 你是否曾因網站分析工具加載緩慢而錯失關鍵決策時機？當用户訪問量突破百萬級，傳統工具常常陷入數據處理的泥潭。本文將揭示Fathom Lite如何通過精妙的狀態管理與性能優化，讓大數據分析像瀏覽網頁一樣流暢。讀完你將掌握：輕量級架構的優勢、實時數據處理機制、內存優化技巧以及生產

數據 , postgresql , 數據處理 , 前端開發 , Javascript

收藏 評論