tag 數據處理

標籤
貢獻31
78
12:06 AM · Oct 27 ,2025
chunzhendegaoshan 頭像 elhix0bg 頭像 njwutong 頭像 writers 頭像 jeecg 頭像 daimajiangxin 頭像 u_16213358 頭像 jamesfancy 頭像 u_16213639 頭像 u_16993624 頭像 u_16175512 頭像 u_16970152 頭像

@數據處理 / 博客 RSS 訂閱

chunzhendegaoshan 頭像

RestCloud - 如何讓後端工程師願意寫文檔？API管理的好處

上週，某大型零售企業的開發團隊在整合新CRM系統時遭遇了嚴重瓶頸。前端團隊反覆詢問後端"這個接口的參數結構是什麼？"，而運維人員則因缺乏清晰的API文檔無法及時排查數據同步問題。最終，本應兩週完成的集成項目拖延了近一個月。這不是個例——在API驅動的企業數字化轉型中，文檔缺失已成為阻礙效率的關鍵瓶頸。本文面向企業IT負責人、後端開發工程師和系統架構師，探討如何讓API文檔從"負擔"變為"資產"。

API , ipaas , 數據處理 , api設計

收藏 評論

chunzhendegaoshan 頭像

RestCloud - IDC中國集成平台技術評估報告，谷雲科技iPaaS平台獲八項滿分

近日，國際數據公司（IDC）發佈《中國企業集成平台（iPaaS）技術評估》報告，圍繞應用集成、數據集成、API 集成與管理、消息集成、AI 賦能、穩定性與安全性、服務與支持、場景方案與落地、開放性與兼容性、易用性等十大維度，對國內主流 iPaaS 平台進行全面評估。 在本次評估中，谷雲科技表現卓越，其 iPaaS 集成平台在應用集成、數據集成、API 集成、API 管理、消息集成、穩定性與安全性、

idc , API , 數據安全 , ipaas , 數據處理

收藏 評論

chunzhendegaoshan 頭像

RestCloud - SaaS 系統越來越多，為什麼需要一個 iPaaS 來統一管理？

近年來，企業數字化轉型加速，SaaS應用如雨後春筍般涌現。從客户關係管理（CRM）的 Salesforce，到人力資源管理（HRM）的 Workday；從國內協同辦公的釘釘、飛書，到財務系統的金蝶雲、用友雲；企業不再依賴單一系統，而是廣泛採用多個垂直領域的 SaaS 工具來提升效率。 然而，SaaS 帶來的“便利”背後，隱藏着數據孤島的情況出現。 一、SaaS 爆發：便利與複雜並存 當企業同時使用

saas , API , ipaas , 數據處理 , 數據傳輸

收藏 評論

jamesfancy 頭像

邊城 - 在前端使用 JS 進行分類彙總

最近遇到一些同學在問 JS 中進行數據統計的問題。雖然數據統計一般會在數據庫中進行，但是後端遇到需要使用程序來進行統計的情況也非常多。.NET 就為了對內存數據和數據庫數據進行統一地數據處理，發明了 LINQ (Language-Integrated Query)。其實 LINQ 語法本身沒什麼，關鍵是為了實現 LINQ 而設計的表達式樹、IEnumerable 和 IQueryable 的各種擴

lodash , 數據處理 , 前端 , Javascript

收藏 評論

u_13778063 頭像

u_13778063 - 為什麼 RAG 落地難？解析數據處理 “三重困境”，事件驅動架構如何破局？

作者：稚柳 前言 當企業想用大模型和內部非公開信息打造智能問答系統時，RAG（Retrieval-Augmented Generation，檢索增強生成）已成為必備技術。然而，在實際落地中，構建 RAG 應用的數據準備過程繁瑣複雜且充滿挑戰，讓很多企業和開發者望而卻步。本文將介紹構建 RAG 的最佳實踐：通過阿里雲事件總線 EventBridge 提供的多源 RAG

EventBridge , 數據 , 雲計算 , 阿里雲 , 雲服務 , 數據處理 , 結構化

收藏 評論

daimajiangxin 頭像

代碼匠心 - 從零開始學Flink：事件驅動

在實時計算領域，很多業務邏輯天然適合“事件驅動”模式：當事件到達時觸發處理、在某個時間點觸發補償或彙總、根據狀態變化發出告警等。Apache Flink 為此提供了強大的 ProcessFunction 家族（KeyedProcessFunction、CoProcessFunction、BroadcastProcessFunction 等），它們在算子層面同時具備“事件處理 + 定時器 + 狀態”

大數據 , 事件驅動 , JAVA , flink , 數據處理

收藏 評論

chunzhendegaoshan 頭像

RestCloud - Kingbase與ETL：如何實現金融級數據庫的安全數據同步

在當今的數字化時代，金融行業面臨着數據安全與數據孤島的雙重挑戰，需要將分散在不同系統和數據庫中的數據進行安全且高效的整合，以實現數據的統一管理和深度分析。Kingbase作為一款金融級數據庫，以其卓越的安全性和穩定性為企業提供了可靠的數據存儲解決方案。而ETL數據集成技術則是實現數據同步與整合的關鍵手段。本文將詳細介紹如何通過ETL技術實現從Kingbase數據庫到Greenplum同步。 —、E

數據同步 , 數據庫 , etl , 數據處理 , 數據傳輸

收藏 評論

elhix0bg 頭像

阿里雲大數據AI - 雲棲實錄 | 通義實驗室基於MaxCompute進行大模型數據管理及處理

本文根據9月25日雲棲大會--《通義基於MaxCompute進行大模型數據管理及處理》演講整理而成，演講信息如下： 演講人：曾劍元通義實驗室系統研發總監 主要內容： _AI數據的特點，跟傳統大數據的區別_ _通義實驗室為什麼基MaxCompute來構建我們的數據平台_ _通義實驗室的大模型的數據平台架構_ AI數據區別於傳統數據的三個特點 第一個特點是數據組織的無標準。像傳統大數據基本上是一個大寬

通義千問 , 阿里雲 , 數據處理 , 大模型

收藏 評論

chunzhendegaoshan 頭像

RestCloud - Doris 高速查詢背後的秘密：如何用 ETL 工具提升數據導入效率

當前正處於數據大爆發時代，數據海量增長的同時，決策時效性要求也提高了， 企業不再滿足於T+1的報表，而是需要秒級甚至毫秒級的實時數據分析來支撐運營決策（如實時風控、精準營銷、業務監控）。另一方面，技術架構的複雜性與成本效率之間的矛盾： 傳統大數據架構（如Hadoop生態）組件繁多、架構複雜、運維成本高，很多企業渴望更簡單、更一體化的解決方案。在這個背景下，“速度”與“易用性” 成為了下一代數據分析

數據庫 , postgresql , etl , dorisdb , 數據處理

收藏 評論

chunzhendegaoshan 頭像

RestCloud - Kafka實時數據管道：ETL在流式處理中的應用

過去，企業數據集成大多采用ETL（提取、轉換、加載）批處理模式，即在夜間或業務低峯期將數據從業務庫同步到數據倉庫。然而，在數字化轉型的浪潮下，實時推薦、實時風控、實時監控等場景要求數據能在秒級甚至毫秒級內得到處理和分析。 ETLCloud作為一個專業的數據集成平台，提供了強大的實時數據集成與ETL處理能力，能夠高效採集業務系統的增量數據並進行實時轉換。然而，在實際應用中，任何處理平台都會面臨資源（

數據同步 , etl , 數據處理 , kafka , 數據傳輸

收藏 評論

njwutong 頭像

吳大同 - qData 數據中台完整功能介紹 —— 商業版與開源版功能對比

一、qData 數據中台概覽 在數字化轉型的大背景下，數據已經成為企業最核心、最具價值的資產。qData 數據中台，作為企業數據治理與應用的關鍵平台，憑藉高性能與創新理念脱穎而出。它秉持 “高效、安全、靈活、開放” 的設計原則，致力於為企業打造一站式的數據解決方案。 qData 數據中台具備多方面優勢：在 數據接入 上，能夠廣泛兼容主流數據庫與消息隊列，確保異構數據順暢匯聚；在 數據建模 上，提供

大數據 , 開源軟件 , springboot , JAVA , 數據處理

收藏 評論

chunzhendegaoshan 頭像

RestCloud - 企業怎麼挑合適的數據集成工具?

我們先來看一個常見的現象，大家也可以看下當前是否也遇到這類情況。 某大型製造企業在推進數字化轉型過程中，面臨一個典型的困境：生產系統的實時工單數據存於MySQL，倉儲物流使用SAP HANA，客户行為日誌流經Kafka，而集團BI分析依賴的卻是每月手動導出的Excel報表。多個團隊嘗試用腳本拼接數據，結果導致數據延遲嚴重、口徑不一，甚至出現財務對賬偏差。更棘手的是，當安全審計要求追溯某條銷售記錄的

數據同步 , etl , 數據處理 , apache , 數據傳輸

收藏 評論

njwutong 頭像

吳大同 - 從兼容到極致性能——qData數據中台商業版核心指標解讀

在數字化轉型的背景下，企業對數據中台的要求越來越高——既要兼容信創環境，又要在性能上經得起大規模業務的考驗。qData 數據中台商業版針對這些關鍵問題，設定了一系列清晰的技術指標和性能指標。 一、技術指標 1. 架構與兼容 信創適配：核心模塊已在國產 X86 CPU、國產操作系統及達夢數據庫環境下完成兼容性驗證。 多引擎支持：批處理（Spark）與流處理（Flink）雙引擎共存，可按業務場

大數據 , 開源軟件 , 數據中台 , 數據處理 , 數據治理平台

收藏 評論

chunzhendegaoshan 頭像

RestCloud - 從 Oracle 到 TiDB，通過ETL工具，高效實現數據拉通

在當前企業數字化轉型的浪潮中，打破數據孤島、實現異構數據庫間的數據高效流轉已成為提升業務敏捷性與決策效率的關鍵。許多企業在要將 Oracle 數據庫中的海量數據準確地同步至TiDB 分佈式數據庫時遇到了挑戰。這一過程不僅要求數據的絕對一致性，還對同步效率、運維成本和控制靈活性提出了極高要求。 選擇一款強大的ETL工具是成功的關鍵。本文將詳細闡述如何利用ETLCloud這一企業級數據集成平台，構建一

oracle , 數據同步 , etl , 數據處理 , tidb

收藏 評論

mirrorship 頭像

鏡舟科技 - 數據湖典型架構解析：2025 年湖倉一體化解決方案

數據湖架構概述：從傳統模型到 2025 年新範式 數據湖作為存儲海量異構數據的中央倉庫，其架構設計直接影響企業數據價值的釋放效率。傳統數據湖架構主要關注數據的存儲和管理，而 2025 年的數據湖架構已經演變為更加智能化、自動化的綜合性數據平台。 數據湖本質上是一個存儲庫，允許企業以原生格式存儲各類數據，包括結構化、半結構化和非結構化數據。與傳統數據倉庫相比，數據湖採用“讀時模式”（schema-o

架構 , starrocks , 數據分析 , 數據湖 , 數據處理

收藏 評論

elhix0bg 頭像

阿里雲大數據AI - 阿里雲 AI 搜索開放平台新增：服務開發能力

隨着 AI 技術的快速發展，用户對 以算法驅動的 AI 搜索相關能力需求日益增長。AI 搜索開放平台已提供20+原子化服務能力，可靈活組合搭建AI搜索。本期發佈將重點解決用户在代碼開發中的不便，通過集成 dsw 能力，新增 notebook 功能，為用户提供更便捷的代碼編寫、調試及運行環境，進一步提升服務調試體驗。 一、產品能力 1. 文檔解析服務 支持文檔、圖片分鐘級解析，針對 PDF、DOC、

搜索引擎 , 大數據 , 人工智能 , 數據分析 , 數據處理

收藏 評論

chunzhendegaoshan 頭像

RestCloud - 第三方供應商不提供API接口？教你四步破解集成難題

API開放需求 在企業數字化轉型過程中，異構系統之間的連接是信息化階段不可或缺的一環。通過應用API，企業能夠實現不同系統、平台和應用之間的數據交換與功能調用，從而形成端到端的業務流程協同。然而，很多企業在集成第三方供應商的業務系統時，經常會遇到供應商不提供API接口的困境。作為企業的IT管理者，我們必須理解供應商的立場，並採取合適的技術措施來應對這種挑戰。本文將從供應商心態、集成技術措施、以及如

API , 數據安全 , ipaas , 數據處理 , 接口

收藏 評論

chunzhendegaoshan 頭像

RestCloud - ETL數據集成丨實現SQLServer數據庫的高效實時數據同步

SQL Server，作為一款功能強大的關係型數據庫管理系統（RDBMS），在企業級應用中佔據着舉足輕重的地位。它不僅提供了可靠的數據存儲與管理能力，還集成了高級數據分析、報表服務、集成服務以及商業智能等功能，為複雜業務場景提供了全面的解決方案。 SqlServer核心特性 高性能與高可用性：SQL Server通過先進的查詢優化器、並行處理技術和內存數據庫功能（如In-Memory OLTP

數據同步 , 數據庫 , etl , sqlserver , 數據處理

收藏 評論

chunzhendegaoshan 頭像

RestCloud - ETL數據集成丨將SQL Server數據同步至Oracle的具體實現

一、背景 在構建企業級數據架構時，將SQL Server數據庫的數據同步至數倉數據庫（如Oracle）是一項至關重要的任務。這一過程不僅促進了跨系統數據的一致性與可用性，還為數據分析、商業智能以及決策支持系統提供了堅實的數據基礎。 二、SQL Server的用户信息數據同步至Oracle數據庫實操 假設我們現在有個業務場景，需要將SQL Server的用户信息數據同步至Oracle數據庫中。可以使

oracle , 數據庫 , etl , sqlserver , 數據處理

收藏 評論

jeecg 頭像

JEECG低代碼平台 - JeecgBoot 中如何對敏感信息進行脱敏處理？

數據脱敏即將一些敏感信息通過加密、格式化等方式處理，展示給用户一個新的或是格式化後的信息，避免了敏感信息的暴露。 一、接口脱敏註解 針對接口數據實現脱敏加密，只加密，一般此方案用於數據加密展示。 1.1 註解介紹 註解 作用域 描述 @Sensitive 實體 脱敏加密註解，表示接口返回這個實體的值進行脱敏處理 1.2

加密 , jeecg-boot , 低代碼 , encode , 數據處理

收藏 評論

u_16175443 頭像

mob649e8156b567 - LangChain UnstructuredExcelLoader

LangChain UnstructuredExcelLoader 是一種用於處理和解析非結構化 Excel 數據的工具。隨着數據分析的複雜性增加，越來越多的企業需要在大量信息中提取有價值的洞見。在此背景下，如何有效使用 LangChain UnstructuredExcelLoader 變得尤為重要。本文將詳細探討在使用該工具時可能遭遇的問題及解決方案。 背景定位 在企業數據處

數據 , 初始化 , aigc , 數據處理

收藏 評論

u_16213408 頭像

mob64ca12eab427 - llamafactory 全參數微調顯存

llamafactory全參數微調顯存問題的解決方案 在AI研發的過程中，全參數微調顯存問題逐漸顯露出其重要性。隨着模型規模的不斷擴大和訓練數據的增加，如何有效管理顯存變得尤為關鍵。llamafactory框架的使用也推動了這一問題的複雜性。在這篇覆盤記錄中，我們將深入分析和解決llamafactory的全參數微調顯存問題，確保在數據處理與模型訓練中能高效利用硬件資源。 背景定位

使用場景 , 數據 , aigc , 數據處理

收藏 評論

u_16213403 頭像

mob64ca12e98e58 - safetensors ollama

safetensors ollama是一種用於處理安全張量的工具，旨在提高數據處理的安全性和效率。下面我將詳細記錄如何解決與“safetensors ollama”相關的問題，包括環境準備、分步指南、配置詳解、驗證測試、優化技巧以及擴展應用。 環境準備 在開始之前，我們需要確保系統中安裝了所有的前置依賴。以下是需要的依賴和版本兼容性矩陣： 依賴

bash , aigc , 數據處理 , Python

收藏 評論

u_16213630 頭像

mob64ca14038b36 - javascript第二階段——WEB-APIS_Feliks.的博客-博客

JavaScript-Algorithms之Web API集成：Fetch與算法結合 【 你是否曾遇到前端數據處理卡頓、排序加載緩慢的問題？本文將展示如何通過Fetch API與javascript-algorithms項目中的經典算法結合，構建高效數據處理流程。讀完本文你將掌握：異步數據獲取與算法協同、大數據集前端優化技巧、常見算法在Web

API , 數據處理 , 前端開發 , Javascript

收藏 評論