tag 大數據

標籤
貢獻394
338
05:15 PM · Oct 25 ,2025
tech 頭像 nebulabio 頭像 elhix0bg 頭像 u_16272508 頭像 u_15844731 頭像 u_14767244 頭像 dolphinscheduler 頭像 ververica 頭像 seatunnel 頭像 zhaoqianglaoshi 頭像 huikaichedemianbao 頭像 u_17602582 頭像

@大數據 / 博客 RSS 訂閱

elhix0bg 頭像

阿里雲大數據AI - 最佳實踐 | 在 EMR Serverless Spark 中實現 Doris 讀寫操作

背景信息 EMR Serverless Spark 是一款面向 Data+AI 的高性能 Lakehouse 產品。它為企業提供了一站式的數據平台服務，包括任務開發、調試、調度和運維等，極大地簡化了數據處理和模型訓練的全流程。同時，它100%兼容開源 Spark 生態，能夠無縫集成到客户現有的數據平台。使用 EMR Serverless Spark，企業可以更專注於數據處理分析和模型訓練調優，提高

spark , 大數據 , 雲原生 , serverless

收藏 評論

u_16272508 頭像

事辯天下 - 從全球議題到日常餐桌：COP30視角下的植物基實踐

近期，在地球的另一端，一場重要的氣候變化大會正在亞馬孫雨林腹地舉行。 11月10日至21日，《聯合國氣候變化框架公約》第三十次締約方大會（COP30）在巴西亞馬孫雨林地區的帕拉州首府貝倫市舉辦。這是COP首次開到“地球之肺”裏，也為全球應對氣候變化提供了更迫切的背景與象徵意義。 今年也是《巴黎協定》達成十週年的關鍵節點。在過去的十年裏，全球主要温室氣體濃度持續

sed , 大數據 , 數據倉庫 , 參考資料 , 協作平台

收藏 評論

u_17602582 頭像

mb69410ac31213c - 華為雲Flexus AI智能體點擊即用！中小企業也能“0門檻”擁抱AI

在人工智能浪潮席捲全球的今天，從語言生成到圖像識別，從數據分析到決策輔助，AI技術正以前所未有的速度重塑各行各業。 但廣大中小企業卻並未充分享受到AI帶來的時代紅利，面對模型部署複雜、人才儲備不足、試錯成本高昂等諸多問題，該如何跨越技術鴻溝？近日，華為雲推出的Flexus AI智能體，以20+款開箱即用的智能體、0門檻免費體驗，解決了中小企業“AI應用最後一公里”，幫助企業

大數據 , 數據倉庫 , 官網 , 調優 , 性能提升

收藏 評論

u_16099168 頭像

代碼匠人之心 - spark 任務中如何連接高可用hive server

• /dependency• • dependency • groupIdmysql/groupId • artifactIdmysql-connector-java/artifactId • version5.1.38/version • /dependency • • depende

spark , 大數據 , maven , xml , apache

收藏 評論

u_17365737 頭像

泰克教育 - 泰漲知識 | 一文明晰：什麼是等級保護制度？

一、等級保護制度的由來 最早在1994年，國務院頒佈《中華人民共和國計算機信息系統安全保護條例》，規定計算機信息系統實行安全等級保護。 2003年，《國家信息化領導小組關於加強信息安全保障工作的意見》明確指出“實行信息安全等級保護”。 2007年6月，四部門（公安部、國家保密局、國家密碼管理局、國務院信息工作辦公室）聯合出台《信息安全等

安全等級 , 大數據 , hive , 物聯網

收藏 評論

u_12205 頭像

小魚兒 - FIND_IN_SET 字段是text 可以加索引嗎

error: Found text " " where item tag is expected 如果你是自己創建的一個文件，裏面自己寫string name="key"value/string然後再拷貝到strings.xml中，或者從別的文檔中拷貝粘貼的，，則可能會出現上述為題，非常噁心 這個錯誤的原因是空格的格式不正確而引起的 解決方案： 1.在ec

大數據 , 數據倉庫 , xml , JAVA , 解決方案

收藏 評論

selectdb 頭像

SelectDB技術團隊 - SelectDB 實時分析性能突出，寶舵成本鋭減與性能顯著提升的雙贏之旅

BOCDOP 寶舵早期基於 TiDB 構建實時數倉，隨着數據量增長，在數據處理效率、OLAP 能力擴展、功能支持、成本與資源方面存在一定優化空間。為提升數據分析能力並優化成本，寶舵引入 SelectDB，達成寫入速度提升 10 倍，成本直降 30% 的顯著成效。 本文轉錄自高瑞軍（寶尊科技 高級架構師）在 Doris Summit Asia 2024 上的演講，經編輯整理。 業務背景 寶尊集團創立

大數據 , 數據倉庫 , 實時 , 數據庫 , 電商

收藏 評論

u_16099178 頭像

雲端小悟空 - 訓練特徵索引

之前介紹的StringIndexer是針對單個類別型特徵進行轉換，倘若所有特徵都已經被組織在一個向量中 ，又想對其中某些單個分量進行處理時，Spark ML提供了VectorIndexer類來解決向量數據集中的類別 性特徵轉換。通過為其提供maxCategories超參數，它可以自動識別哪些特徵是類別型的，並且將原始 值轉換為類別索引。

spark , 數據集 , 大數據 , 訓練特徵索引 , 數據倉庫 , 人工智能

收藏 評論

u_16213723 頭像

mob64ca1419e0cc - file時出現current ar archive

1.mysqlclient 目前不支持高版本python3 django.core.exceptions.ImproperlyConfigured: mysqlclient 1.3.13 or newer is required; you have 0.9.3. 原因是由於 mysqlclient 目前不支持高版本python，出現這個錯誤之後可以根

大數據 , MySQL , hive , django , Python

收藏 評論

kpaas 頭像

KPaaS集成擴展平台 - 主數據實時同步：為什麼 CIO 要優先考慮？

越來越多 CIO 開始意識到：技術架構可以迭代，應用系統可以替換，但數據的一致性與可信度，才是決定數字化成敗的底層基石。而在所有數據類型中，主數據（Master Data）——如客户、供應商、物料、組織架構等核心業務實體——因其跨系統、高複用、強關聯的特性，成為數據治理的“牛鼻子”。 然而，現實卻令人憂心：銷售在 CRM 中錄入的客户信息，與財務在 ERP 中使用的客户編碼

主數據管理 , 大數據 , yyds乾貨盤點 , 數據孤島解決方案 , MDM , 數據倉庫 , 異構數據整合 , 數據一致性

收藏 評論

tech 頭像

青雲交技術圈 - Java 大視界 --Java 大數據在智能醫療遠程手術機器人控制與數據傳輸中的技術支持

(centerJava 大視界 --Java 大數據在智能醫療遠程手術機器人控制與數據傳輸中的技術支持/center) 引言： 嘿，親愛的 Java 和 大數據愛好者們，大家好！我是CSDN（全區域）四榜榜首青雲交！當手術台從醫院的無影燈下延伸至雲端，Java 大數據又將如何以代碼為刃，跨越時空守護生命？讓我們一同走進《Java 大視界 --Java 大數據在智能醫療遠程手術機器

spark , 大數據 , yyds乾貨盤點 , 數據 , Java大數據 , 機器人 , JAVA , 智能醫療

收藏 評論

u_16213688 頭像

mob64ca14116c53 - 開箱！NVIDIA DGX A100(80G)_嗶哩嗶哩

AI創新的火花：NVIDIA DGX Spark開箱與深度解析 引言：當桌面迎來PetaFLOP級AI算力 長久以來，擁有數據中心級的AI算力似乎是少數頂尖實驗室和大型企業的專屬。然而，NVIDIA通過一款顛覆性的產品，徹底改變了這一格局。今天，我們懷着無比激動的心情，為大家帶來NVIDIA DGX Spark的獨家開箱評測。這款被稱

spark , 大數據 , nvidia , 人工智能 , DGX , Css , 前端開發 , HTML

收藏 評論

u_17578926 頭像

AI科技 - AI決策更優卻遭“人類本能”牴觸，這是為何？

近日，36氪發佈的專題報道《當AI決策優於人類，我們為何會抗拒？》引發廣泛關注。文章以IBM Watson在癌症診療、便利店全鏈路AI接管等真實案例為切入口，指出技術本身並非失敗的根源，而是人機關係的設計缺失導致的抗拒情緒。 一、黑箱效應與信任缺失 AI算法往往隱藏決策依據，用户難以驗證其背後邏輯，形成“門衞問題”。文章強調，提升信任的關鍵在於三點：擬人化、透

數字化轉型 , 鏈路 , 大數據 , 自動駕駛

收藏 評論

tech 頭像

青雲交技術圈 - Java 大視界 -- Java 大數據在智能教育虛擬學習環境構建與用户體驗優化中的應用

(centerJava 大視界 -- Java 大數據在智能教育虛擬學習環境構建與用户體驗優化中的應用/center) 引言： 嘿，親愛的 Java 和 大數據愛好者們，大家好！我是CSDN（全區域）四榜榜首青雲交！在技術的浩瀚星河中，我們一路相伴，見證了 Java 大數據在各個領域的璀璨綻放。 如今，教育領域正經歷着前所未有的數字化浪潮，智能教育虛擬學習環境成為教育未來發展

spark , Java 大數據 , 大數據 , yyds乾貨盤點 , 數據 , JAVA

收藏 評論

u_17365737 頭像

泰克教育 - 泰漲知識 | RDD編程

一、RDD操作 1、創建操作 ①從文件創建 文件的一行對應RDD的一個元素： a.從本地文件創建 //格式：sc.textFile("file://本地文件絕對路徑") valrdd =sc.textFile("file

spark , 大數據 , hive , hadoop , Scala

收藏 評論

zhaoqianglaoshi 頭像

趙渝強老師 - 【趙渝強老師】大數據生態圈中的組件

  大數據體系架構中的組件非常多，每個組件又屬於不同的生態圈系統。從最早的Hadoop生態圈體系開始，逐步有了Spark生態圈體系和Flink生態圈體系。因此在學習大數據之前有必要了解一下每一個生態圈體系中具體包含哪些組件，以及它們的作用又是什麼。   視頻講解如下： https://www.bilibili.com/video/BV1UE421N7RC/?aid=1655938699

spark , 大數據 , hadoop , flink , kafka

收藏 評論

u_16565911 頭像

南大通用GBase - 南大通用GBase 8a_SENSITIVE_DIRECTORY_ACCESS_DISABLE 參數介紹

參數名：_sensitive_directory_access_disable參數 參數值：字符串類型，支持正則、分隔符號，默認ssh 參數可見範圍：不可被show 功能説明： 安全漏洞審查中認為導出數據到/home/xxx/.ssh/目錄中可能存在安全隱患， 增加_sensitive_di

GBase 8a , 文件名 , 大數據 , 字符串 , 數據倉庫 , 默認值

收藏 評論

u_16213630 頭像

mob64ca14038b36 - Ssearc索引器作用

索引器允許類或者結構的實例按照與數組相同的方式進行索引取值，索引器與屬性類似，不同的是索引器的訪問是帶參的。 索引器和數組比較： (1)索引器的索引值(Index)類型不受限制 (2)索引器允許重載 (3)索引器不是一個變量 索引器和屬性的不同點 (1)屬性以名稱來標識，索引器以函數形式標識 (2)索引器可以被重載，屬性不可以 (3

索引器 , Test , System , 大數據 , 數據倉庫 , Ssearc索引器作用

收藏 評論

u_17536710 頭像

mb68d4f4b730ca5 - 企業高質量發展評價體系實施的難易程度

在數聚股份看來， 政府部門對企業實施高質量發展評價過程中，有構建評價體系是其中最關鍵的部分，本文主要從體系構建的角度側面的呈現實施的難易程度。而大數據採集及可視化將貫穿全過程。 首先我國最新2017年版國民經濟行業分類(GB/T 4754-2017)將現行行業分為20大類，4個層級，共1775個小項，因此在指定評價體系過程中第一步需要考慮的就是行業分類對體系的影響。不同行業

大數據 , bi工具 , 數據採集 , 數據可視化 , 人工智能 , 數據分析

收藏 評論

vivo_tech 頭像

vivo互聯網技術 - vivo Celeborn PB級Shuffle優化處理實踐

作者： vivo 互聯網大數據團隊-Wang Zhiwen、Cai Zuguang vivo大數據平台通過引入RSS服務來滿足混部集羣中間結果（shuffle 數據）臨時落盤需求,在綜合對比後選擇了Celeborn組件，並在後續的應用實踐過程中不斷優化完善，本文將分享vivo在Celeborn實際應用過程中對遇到問題的分析和解決方案，用於幫助讀者對相似問題進行參考。 1分鐘看圖掌握核心觀點

大數據 , shuffle , RSS

收藏 評論

u_16213609 頭像

mob64ca13fe9c58 - 科學引文索引WOS

SCI EI ISTP ISR SSCI簡介 《科學引文索引》（SCI） 《科學引文索引》（Science Citation Index,簡稱SCI）是美國科學情報研究所出版的一種世界著名的綜合性科技引文檢索刊物。該刊於1963年創刊，原為年刊，1966年改為季刊，1979年改為雙月刊。多年來，SCI數據庫不斷髮展，已經成為當代世界最重要的大型數據庫，被列在國際著名檢

工程技術 , 大數據 , 技術類 , 數據倉庫 , 科學引文索引WOS , ci

收藏 評論

u_13360 頭像

level - 大數據系統需要把數據都放入hadoop中嗎

大數據發展過程的關鍵要素 數據源的三個層次： 1 緯度較少、數據量小 2 緯度豐富、數據量巨大（大數據）。 3 數據正確、及時、具有代表性 樣本數據=總體數據（全數據）。 對業務目標而言，數據是否“全”才是關鍵。 全數

大數據 , 數據 , hadoop , 數據治理 , 全數據

收藏 評論

u_15844731 頭像

阿森CTO - VSCode部署Ubantu雲服務器，與Xshell進行本地通信文件編寫

@TOC 📝前言 本文目的是講使用Vscode連接Ubantu,與本地Xshell建立通信同步文件編寫。 查看本機系統相關信息： cat /etc/lsb* DISTRIB_ID=Ubuntu: 表示這是 Ubuntu 發行版。 DISTRIB_RELEASE=22.04: 表示這是 Ubuntu

發行版 , 大數據 , yyds乾貨盤點 , 數據倉庫 , 打開文件 , Ubuntu

收藏 評論

u_16213644 頭像

mob64ca1406d617 - doris中bitmap索引

在Oracle中，索引基本分為以下幾種：B*Tree索引，反向索引，降序索引，位圖索引，函數索引，interMedia全文索引等，其中最常用的是B*Tree索引和Bitmap索引。 (1)、與索引相關視圖查詢DBA_INDEXES視圖可得到表中所有索引的列表；訪問USER_IND_COLUMNS視圖可得到一個給定表中被索引的特定列。 (2)、組

doris中bitmap索引 , 大數據 , 數據 , 操作符 , 數據倉庫 , 位圖

收藏 評論