tag 大數據

標籤
貢獻386
330
05:15 PM · Oct 25 ,2025
tech 頭像 elhix0bg 頭像 nebulabio 頭像 u_16272508 頭像 u_15844731 頭像 u_14767244 頭像 dolphinscheduler 頭像 ververica 頭像 seatunnel 頭像 zhaoqianglaoshi 頭像 huikaichedemianbao 頭像 u_17602582 頭像

@大數據 / 博客 RSS 訂閱

u_16099267 頭像

雲端創新夢想家 - 人工智能+智能製造--中國製造未來方向_人工智能製造

引言 人工智能（AI）正在全球範圍內迅速發展，並深刻影響各行各業。尤其在製造業，AI技術的應用已成為提升生產力、優化供應鏈、減少成本和提升產品質量的重要工具。智能製造是工業4.0的核心，而人工智能無疑是這一進程的核心驅動力。AI的引入不僅僅是為了實現自動化，更在於通過數據驅動的智能決策來提升生產效率和響應市場需求的能力。 本文將探討人工智能在

機器學習 , spark , 大數據 , 數據 , hadoop , 人工智能

收藏 評論

u_16099337 頭像

IT獨行俠客 - 常用數據清洗方法大盤點_51CTO博客

大數據清洗：從“髒數據”到“黃金礦”的魔法變身術 關鍵詞：數據清洗、髒數據、ETL、數據質量、大數據優化、特徵工程、Pandas實戰 摘要：大數據時代，“數據是黃金”的説法早已深入人心，但剛從業務系統、傳感器或用户行為中採集到的數據，往往像剛從河裏撈上來的沙子——混着泥土、石頭、碎玻璃，甚至還有爛葉子。要想從這些“髒

spark , 髒數據 , 大數據 , 數據清洗 , 數據 , AI

收藏 評論

u_17585479 頭像

Tob市場觀測員 - 企業數據API對接中的技術挑戰與架構選型分析

在企業數字化轉型過程中，數據API對接已成為系統互聯與數據流轉的核心環節。隨着業務系統數量增加與數據源多樣化，企業在實施跨平台數據接口時常面臨穩定性、安全性與可維護性等多重挑戰。本文將從技術視角分析此類問題的成因，並探討可行的架構設計路徑。 一、數據API對接的典型技術難點 1. 協議與格式異構性：不同系統可能採用RESTful、SOAP、GraphQL等協議，數據序

字段 , 大數據 , 數據 , API , 數據倉庫

收藏 評論

u_16213619 頭像

mob64ca14010a69 - 數據倉庫工具–Hive(歸納第一部分)

可以將結構化的數據文件映射為一張數據庫表，並提供簡單的 SQL 查詢功能，將 SQL 語句轉換為 MapReduce/Tez/Spark 任務運行。 SQL接口：使用 HiveQL（類似 SQL）進行查詢 大數據處理：處理 PB 級別的數據 數據倉庫：適合離線批處理和數據倉庫建設 擴展性：可自定義 UDF、UDAF

大數據 , hive , 數據倉庫 , hadoop , SQL

收藏 評論

u_14344 頭像

冷月星 - hadoop商用價格

無論國內外，大公司對數據都有着無窮無盡的渴望，隨着業務開展，數據來源越來越多，數據格式多樣，體量也越來越大，因此基於結構化數據的關係型數據庫很快趨於瓶頸。公司們都在思考着如何尋找一個合適的工具來解決大數據量下的計算和存儲問題。你可能會想到超算和HPC，但只有幾個巨頭玩得起，中小企業基本很難承擔其自建費用。後來，谷歌連發了3篇關鍵性的論文：GoogleFS, MapReduce和B

hadoop商用價格 , 大數據 , 數據 , 微服務 , hadoop

收藏 評論

u_16106567 頭像

建投數據 - 建投數據榮獲“2025年北京企業評價協會科技創新產品獎”

近日，2025年北京企業評價協會科技創新獎評選結果正式揭曉，建投數據憑藉“人力資源管理信息系統”在眾多參選項目中脱穎而出，成功榮獲“科技創新產品獎”。 “北京企業評價協會科技創新獎”於2009年4月獲北京市科學技術委員會批准設立，旨在表彰在科技創新領域做出顯著貢獻的企業與個人，推動首都經濟建設和社會發展，分享科技創新經驗成果，從而推動科技成果轉化與應用，是北京市科技

大數據 , 數據倉庫 , 人力資源管理 , 應用場景 , 解決方案

收藏 評論

u_12897 頭像

jordana - 權限控制_多租户系統設計之權限控制_weixin

Uberi/speech_recognition多租户架構：隔離與資源分配方案 在企業級語音識別應用中，多租户（Multi-Tenancy）架構面臨着數據隔離、資源競爭和識別精度平衡的核心挑戰。Uberi/speech_recognition作為一款支持多引擎的Python語音識別庫，通過模塊化設計和靈活配置機制，為構建多租户系統提供了基礎

多租户 , 大數據 , hadoop , 語音識別 , Git

收藏 評論

tech 頭像

青雲交技術圈 - Java 大視界 -- Java 大數據機器學習模型在遙感圖像土地利用分類中的優化與應用

(centerJava 大視界 -- Java 大數據機器學習模型在遙感圖像土地利用分類中的優化與應用/center) 引言 嘿，親愛的 Java 和 大數據愛好者們，大家好！我是CSDN（全區域）四榜榜首青雲交！隨着衞星遙感技術的飛速發展，我們得以從 “上帝視角” 俯瞰地球，海量遙感圖像數據如同寶庫，藴藏着土地利用的關鍵信息。但面對這 “數據洪流”，傳統分類方法如同在茫茫大海撈

機器學習 , spark , hdfs , 大數據 , yyds乾貨盤點 , 數據 , Java大數據 , 遙感圖像

收藏 評論

elhix0bg 頭像

阿里雲大數據AI - 最佳實踐 | 在 EMR Serverless Spark 中實現 Doris 讀寫操作

背景信息 EMR Serverless Spark 是一款面向 Data+AI 的高性能 Lakehouse 產品。它為企業提供了一站式的數據平台服務，包括任務開發、調試、調度和運維等，極大地簡化了數據處理和模型訓練的全流程。同時，它100%兼容開源 Spark 生態，能夠無縫集成到客户現有的數據平台。使用 EMR Serverless Spark，企業可以更專注於數據處理分析和模型訓練調優，提高

spark , 大數據 , 雲原生 , serverless

收藏 評論

u_16272508 頭像

事辯天下 - 從全球議題到日常餐桌：COP30視角下的植物基實踐

近期，在地球的另一端，一場重要的氣候變化大會正在亞馬孫雨林腹地舉行。 11月10日至21日，《聯合國氣候變化框架公約》第三十次締約方大會（COP30）在巴西亞馬孫雨林地區的帕拉州首府貝倫市舉辦。這是COP首次開到“地球之肺”裏，也為全球應對氣候變化提供了更迫切的背景與象徵意義。 今年也是《巴黎協定》達成十週年的關鍵節點。在過去的十年裏，全球主要温室氣體濃度持續

sed , 大數據 , 數據倉庫 , 參考資料 , 協作平台

收藏 評論

u_17602582 頭像

mb69410ac31213c - 華為雲Flexus AI智能體點擊即用！中小企業也能“0門檻”擁抱AI

在人工智能浪潮席捲全球的今天，從語言生成到圖像識別，從數據分析到決策輔助，AI技術正以前所未有的速度重塑各行各業。 但廣大中小企業卻並未充分享受到AI帶來的時代紅利，面對模型部署複雜、人才儲備不足、試錯成本高昂等諸多問題，該如何跨越技術鴻溝？近日，華為雲推出的Flexus AI智能體，以20+款開箱即用的智能體、0門檻免費體驗，解決了中小企業“AI應用最後一公里”，幫助企業

大數據 , 數據倉庫 , 官網 , 調優 , 性能提升

收藏 評論

u_16099168 頭像

代碼匠人之心 - spark 任務中如何連接高可用hive server

• /dependency• • dependency • groupIdmysql/groupId • artifactIdmysql-connector-java/artifactId • version5.1.38/version • /dependency • • depende

spark , 大數據 , maven , xml , apache

收藏 評論

u_17365737 頭像

泰克教育 - 泰漲知識 | 一文明晰：什麼是等級保護制度？

一、等級保護制度的由來 最早在1994年，國務院頒佈《中華人民共和國計算機信息系統安全保護條例》，規定計算機信息系統實行安全等級保護。 2003年，《國家信息化領導小組關於加強信息安全保障工作的意見》明確指出“實行信息安全等級保護”。 2007年6月，四部門（公安部、國家保密局、國家密碼管理局、國務院信息工作辦公室）聯合出台《信息安全等

安全等級 , 大數據 , hive , 物聯網

收藏 評論

u_12205 頭像

小魚兒 - FIND_IN_SET 字段是text 可以加索引嗎

error: Found text " " where item tag is expected 如果你是自己創建的一個文件，裏面自己寫string name="key"value/string然後再拷貝到strings.xml中，或者從別的文檔中拷貝粘貼的，，則可能會出現上述為題，非常噁心 這個錯誤的原因是空格的格式不正確而引起的 解決方案： 1.在ec

大數據 , 數據倉庫 , xml , JAVA , 解決方案

收藏 評論

selectdb 頭像

SelectDB技術團隊 - SelectDB 實時分析性能突出，寶舵成本鋭減與性能顯著提升的雙贏之旅

BOCDOP 寶舵早期基於 TiDB 構建實時數倉，隨着數據量增長，在數據處理效率、OLAP 能力擴展、功能支持、成本與資源方面存在一定優化空間。為提升數據分析能力並優化成本，寶舵引入 SelectDB，達成寫入速度提升 10 倍，成本直降 30% 的顯著成效。 本文轉錄自高瑞軍（寶尊科技 高級架構師）在 Doris Summit Asia 2024 上的演講，經編輯整理。 業務背景 寶尊集團創立

大數據 , 數據倉庫 , 實時 , 數據庫 , 電商

收藏 評論

u_16099178 頭像

雲端小悟空 - 訓練特徵索引

之前介紹的StringIndexer是針對單個類別型特徵進行轉換，倘若所有特徵都已經被組織在一個向量中 ，又想對其中某些單個分量進行處理時，Spark ML提供了VectorIndexer類來解決向量數據集中的類別 性特徵轉換。通過為其提供maxCategories超參數，它可以自動識別哪些特徵是類別型的，並且將原始 值轉換為類別索引。

spark , 數據集 , 大數據 , 訓練特徵索引 , 數據倉庫 , 人工智能

收藏 評論

u_16213723 頭像

mob64ca1419e0cc - file時出現current ar archive

1.mysqlclient 目前不支持高版本python3 django.core.exceptions.ImproperlyConfigured: mysqlclient 1.3.13 or newer is required; you have 0.9.3. 原因是由於 mysqlclient 目前不支持高版本python，出現這個錯誤之後可以根

大數據 , MySQL , hive , django , Python

收藏 評論

kpaas 頭像

KPaaS集成擴展平台 - 主數據實時同步：為什麼 CIO 要優先考慮？

越來越多 CIO 開始意識到：技術架構可以迭代，應用系統可以替換，但數據的一致性與可信度，才是決定數字化成敗的底層基石。而在所有數據類型中，主數據（Master Data）——如客户、供應商、物料、組織架構等核心業務實體——因其跨系統、高複用、強關聯的特性，成為數據治理的“牛鼻子”。 然而，現實卻令人憂心：銷售在 CRM 中錄入的客户信息，與財務在 ERP 中使用的客户編碼

主數據管理 , 大數據 , yyds乾貨盤點 , 數據孤島解決方案 , MDM , 數據倉庫 , 異構數據整合 , 數據一致性

收藏 評論

tech 頭像

青雲交技術圈 - Java 大視界 --Java 大數據在智能醫療遠程手術機器人控制與數據傳輸中的技術支持

(centerJava 大視界 --Java 大數據在智能醫療遠程手術機器人控制與數據傳輸中的技術支持/center) 引言： 嘿，親愛的 Java 和 大數據愛好者們，大家好！我是CSDN（全區域）四榜榜首青雲交！當手術台從醫院的無影燈下延伸至雲端，Java 大數據又將如何以代碼為刃，跨越時空守護生命？讓我們一同走進《Java 大視界 --Java 大數據在智能醫療遠程手術機器

spark , 大數據 , yyds乾貨盤點 , 數據 , Java大數據 , 機器人 , JAVA , 智能醫療

收藏 評論

u_16213688 頭像

mob64ca14116c53 - 開箱！NVIDIA DGX A100(80G)_嗶哩嗶哩

AI創新的火花：NVIDIA DGX Spark開箱與深度解析 引言：當桌面迎來PetaFLOP級AI算力 長久以來，擁有數據中心級的AI算力似乎是少數頂尖實驗室和大型企業的專屬。然而，NVIDIA通過一款顛覆性的產品，徹底改變了這一格局。今天，我們懷着無比激動的心情，為大家帶來NVIDIA DGX Spark的獨家開箱評測。這款被稱

spark , 大數據 , nvidia , 人工智能 , DGX , Css , 前端開發 , HTML

收藏 評論

u_17578926 頭像

AI科技 - AI決策更優卻遭“人類本能”牴觸，這是為何？

近日，36氪發佈的專題報道《當AI決策優於人類，我們為何會抗拒？》引發廣泛關注。文章以IBM Watson在癌症診療、便利店全鏈路AI接管等真實案例為切入口，指出技術本身並非失敗的根源，而是人機關係的設計缺失導致的抗拒情緒。 一、黑箱效應與信任缺失 AI算法往往隱藏決策依據，用户難以驗證其背後邏輯，形成“門衞問題”。文章強調，提升信任的關鍵在於三點：擬人化、透

數字化轉型 , 鏈路 , 大數據 , 自動駕駛

收藏 評論

tech 頭像

青雲交技術圈 - Java 大視界 -- Java 大數據在智能教育虛擬學習環境構建與用户體驗優化中的應用

(centerJava 大視界 -- Java 大數據在智能教育虛擬學習環境構建與用户體驗優化中的應用/center) 引言： 嘿，親愛的 Java 和 大數據愛好者們，大家好！我是CSDN（全區域）四榜榜首青雲交！在技術的浩瀚星河中，我們一路相伴，見證了 Java 大數據在各個領域的璀璨綻放。 如今，教育領域正經歷着前所未有的數字化浪潮，智能教育虛擬學習環境成為教育未來發展

spark , Java 大數據 , 大數據 , yyds乾貨盤點 , 數據 , JAVA

收藏 評論

u_17365737 頭像

泰克教育 - 泰漲知識 | RDD編程

一、RDD操作 1、創建操作 ①從文件創建 文件的一行對應RDD的一個元素： a.從本地文件創建 //格式：sc.textFile("file://本地文件絕對路徑") valrdd =sc.textFile("file

spark , 大數據 , hive , hadoop , Scala

收藏 評論

zhaoqianglaoshi 頭像

趙渝強老師 - 【趙渝強老師】大數據生態圈中的組件

  大數據體系架構中的組件非常多，每個組件又屬於不同的生態圈系統。從最早的Hadoop生態圈體系開始，逐步有了Spark生態圈體系和Flink生態圈體系。因此在學習大數據之前有必要了解一下每一個生態圈體系中具體包含哪些組件，以及它們的作用又是什麼。   視頻講解如下： https://www.bilibili.com/video/BV1UE421N7RC/?aid=1655938699

spark , 大數據 , hadoop , flink , kafka

收藏 評論