tag 數據處理

標籤
貢獻31
86
12:06 AM · Oct 27 ,2025
chunzhendegaoshan 頭像 elhix0bg 頭像 njwutong 頭像 writers 頭像 jeecg 頭像 daimajiangxin 頭像 u_16213358 頭像 jamesfancy 頭像 u_16213639 頭像 u_16993624 頭像 u_16175512 頭像 u_16970152 頭像

@數據處理 / 博客 RSS 訂閱

u_14767244 頭像

u_14767244 - SelectDB 在 AWS Graviton ARM 架構下相比 x86 實現 36% 性價比提升

在海量數據分析中，追求高性價比已成為各大企業的主流趨勢。ARM 架構憑藉其高能效和低成本的特點，逐漸在數據中心崛起，成為理想的高性價比選擇。基於 ARM 架構的 AWS Graviton 系列處理器，正是這一趨勢的典型代表。Graviton 處理器不僅在計算性能上表現優異，同時顯著降低了運行成本，尤其在數據密集型任務中展現出明顯優勢。與傳統的 x86 架構處理器相比，Graviton 提

AWS , 大數據 , 數據倉庫 , 性能比較 , 數據處理

收藏 評論

u_13200571 頭像

鹽焗西蘭花 - 數組高階方法：map、filter、reduce實戰指南

數組高階方法：map、filter、reduce實戰指南 文章簡介 在HarmonyOS應用開發中，數組操作是日常開發的重要組成部分。本文將深入探討三個核心的數組高階方法：map、filter和reduce，幫助開發者掌握這些強大的數據處理工具。 官方參考資料： ArkTS語言介紹 MDN-數組 版本説明：本文所有

數組 , 移動開發 , 數據 , Android , 數據處理

收藏 評論

chunzhendegaoshan 頭像

RestCloud - 如何通過ETL對WebService進行調用

一、WebService WebService是基於Web協議和數據格式的分佈式組件，通過網絡暴露功能接口，實現跨平台、跨語言的互操作性。它作為服務導向架構（SOA）的核心，為企業提供了強大的系統集成和數據共享能力。 在企業中，WebService扮演着至關重要的角色。它加速了異構系統之間的集成，降低了複雜度，提高了整體性能和可靠性。通過複用WebService接口，開發者能夠快速實現所需功能，提

數據倉庫 , 數據庫 , etl , 數據處理 , webservice

收藏 評論

chunzhendegaoshan 頭像

RestCloud - 神州通用數據庫的 ETL 集成方案：兼容性與性能實戰

在數字化時代，數據已經成為企業的重要資產，而神州通用數據庫它以其卓越的兼容性和出色的性能，為企業數據管理提供了強大的支持。採用了先進的數據庫內核技術和優化算法，能夠高效處理大規模數據，支持高併發訪問，滿足企業級應用對性能的嚴格要求。它在事務處理、查詢優化、數據存儲等方面都進行了深度優化，確保在各種複雜場景下都能提供穩定、高效的性能表現。本文將詳細闡述如何利用ETLCloud企業級數據集成平台，實現

數據同步 , 數據庫 , etl , 數據處理 , 數據傳輸

收藏 評論

elhix0bg 頭像

阿里雲大數據AI - AI搜索 MCP最佳實踐

背景 那些 LLM 不知道的事 嘗試直接詢問LLM“今天天氣如何”時，會發現LLM無法回答——它既不知道“今天”是哪天，也無法獲取地理位置信息。這揭示了LLM的侷限：缺乏與外部工具和實時數據的交互能力。 為解決這一問題，MCP（Model Context Protocol）應運而生。通過標準化協議，MCP使LLM能夠自主調用工具（如天氣API、地理位置服務），並解耦Agent與Tools的開發，顯

大數據 , 搜索 , 人工智能 , 檢索系統 , 數據處理

收藏 評論

chunzhendegaoshan 頭像

RestCloud - ETL數據集成中的數據映射與轉換規則

企業每天都需要處理海量的數據，如何將分散在不同系統中的數據高效地整合起來，是企業在轉型過程中需要面對的一個十分關鍵的課題。 ETL（Extract-Transform-Load，提取-轉換-加載)作為數據集成的核心技術，能夠完美地解決這個問題。在ETL流程中，數據映射與轉換規則的設計尤為重要，它們是構建高效數據流的關鍵環節。 本文將圍繞ETL數據集成中的數據映射與轉換規則，探討其重要性、設計原則以

數據 , etl , 數據處理

收藏 評論

daimajiangxin 頭像

代碼匠心 - 從零開始學Flink：實時流處理實戰

在大數據處理領域，實時流處理正變得越來越重要。Apache Flink作為領先的流處理框架，提供了強大而靈活的API來處理無界數據流。本文將通過經典的SocketWordCount示例，深入探討Flink實時流處理的核心概念和實現方法，幫助你快速掌握Flink流處理的實戰技能。 一、實時流處理概述 1. 流處理的基本概念 流處理是一種持續處理無界數據的計算範式。與批處理不同，流處理系統需要在數據到

大數據 , JAVA , flink , 數據處理 , 後端

收藏 評論

u_17589746 頭像

Java後端的Ai之路 - DeepSeek數據飛輪大揭秘

🌟 什麼是數據飛輪？簡單説就是"用數據餵養AI，AI越用越聰明" 想象一下，你開了一家咖啡館，顧客每次喝完咖啡都給你打分，你根據這些反饋不斷調整咖啡配方，越做越對顧客的口味。數據飛輪就是這個原理，但用在AI模型上。 專業術語圖説明 🚀 真實案例：海天瑞聲 × 華為 × DeepSeek 數據飛輪 📌 案例背景 2025年5月23日，在鯤鵬昇騰開發者峯

文心一言 , 數據 , aigc , 數據處理 , 性能提升

收藏 評論

elhix0bg 頭像

阿里雲大數據AI - Fusion引擎賦能：流利説如何用阿里雲Serverless Spark實現數倉計算加速

作者：流利説 Ibson（大數據負責人）/ Bruce（數據工程師） 背景介紹 行業 流利説是領先的科技驅動的教育公司，公司自主研發了領先的英語口語評測、寫作打分引擎和深度自適應學習系統，致力於為用户提供一整套系統性的英語學習解決方案，從聽、説、讀、寫多個維度提升用户的英語水平。 業務特徵 AI 打分：利用大數據和人工智能算法對用户英語口語評測、

spark , 大數據 , 數據庫 , 人工智能 , 數據處理

收藏 評論

dayong_59b0e68b1ed0d 頭像

六邊形架構 - 別再盲目地堆砌技術了！大部份大數據項目的失敗，都是因為架構設計沒做對！

關注我，獲取更多企業級架構和人工智能應用實踐和落地的深度指南。 大家好，我是Kenyon。最近有朋友向我請教："勇哥，我們公司上了一套大數據的平台，投入了不少的資源，可運行了半年多了，數據的處理還是慢得離譜，投入的成本居高不下，分析師整天抱怨數據的質量差，領導對此也不太滿意。請問這大數據架構設計到底應該怎麼搞呢？" 嗯，這個問題實在是太常見了。作為一名參與設計和落地多個企業級的大數據平台的架構師，

大數據 , 數據採集 , 架構設計 , 系統架構 , 數據處理

收藏 評論

chunzhendegaoshan 頭像

RestCloud - ETL調優指南：內存、併發、批量插入的取捨

在數據驅動的時代，高效、穩定的ETL流程是數據倉庫、數據湖乃至現代數據平台的基石。設計流程的時候我們想要通過提高併發來加速處理，又希望利用大批量插入來減輕數據庫壓力，同時還得時刻警惕內存溢出（OOM） 。這三者相互關聯、相互制約，本文將探討如何在這三者之間做出最明智的取捨，從而打造出既快又穩的ETL管道。 一、內存、併發和批量插入 內存：內存是ETL流程中的硬約束。不同於CPU使用率可以短暫峯值，

etl , 併發 , 數據處理 , 數據傳輸

收藏 評論

elhix0bg 頭像

阿里雲大數據AI - 阿里雲 EMR Serverless Spark： 面向 Data+AI 的高性能 Lakehouse 產品

作者：玄橙 - 阿里雲 EMR Serverless Spark 產品專家 EMR Serverless Spark 是一款面向 Data+AI 的高性能 Lakehouse 產品。它為企業提供了一站式的數據平台服務，包括任務開發、調試、調度和運維等，極大地簡化了數據處理和模型訓練的全流程。同時，它100%兼容開源 Spark 生態，能夠無縫集成到客户現有的數據平台。使用 EMR Serverle

spark , 大數據 , 人工智能 , serverless , 數據處理

收藏 評論

chunzhendegaoshan 頭像

RestCloud - ETL中配置的增量同步不生效？最常見的5個坑

在當今數據驅動的時代，增量同步已成為企業實現高效數據集成、實時分析和業務決策的基石。它避免了全量同步的資源浪費，只傳輸變更數據，大幅提升系統性能和響應速度。然而，許多團隊在部署增量同步時，卻頻頻遭遇“數據不更新”“同步任務卡死”“歷史數據丟失”等棘手問題。這不僅拖累業務效率，更可能導致關鍵決策基於過時信息。本文將深度剖析最常見的5個坑點， 一、CDC（變更數據捕獲）未開啓 它能夠精確地記錄數據表中

數據同步 , 數據庫 , etl , 數據處理 , 數據傳輸

收藏 評論

u_17213027 頭像

wx676be6175e246 - Android中的乘法運算：基礎與實現

在Android開發中，乘法運算是一個基礎但至關重要的數學操作，廣泛應用於UI設計、數據處理和算法實現等多個場景。本文將從基礎概念、應用場景和代碼示例三個方面介紹Android中的乘法運算。 基礎概念 乘法運算在數學中表示將兩個數相加多次的快捷方式。在Android中，乘法運算遵循Java語言規則，支持整數、浮點數等多種數據類型。基本語法為r

移動開發 , Android , 數據處理 , 代碼示例

收藏 評論

jeecg 頭像

JEECG低代碼平台 - GitHub Star 排名靠前的 AI 開源項目推薦（Java 版）

隨着人工智能（AI）技術的快速發展，Java 作為企業級應用開發的重要語言，也涌現出許多優秀的 AI 開源項目。這些項目涵蓋了從自然語言處理、對話系統、大模型集成，到 AI 工作流編排和低代碼平台等多個領域，極大地便利了開發者構建智能應用的過程。本文將為你盤點 GitHub 上最受歡迎且實用的十大 Java AI 開源項目，助力你在 AI 領域的開發之路。 1. JeecgBoot — AI

jeecg-boot , ai開發 , 自然語言處理 , 開源 , 數據處理

收藏 評論