tag 大數據

標籤
貢獻394
337
05:15 PM · Oct 25 ,2025
tech 頭像 nebulabio 頭像 elhix0bg 頭像 u_16272508 頭像 u_15844731 頭像 u_14767244 頭像 dolphinscheduler 頭像 ververica 頭像 seatunnel 頭像 zhaoqianglaoshi 頭像 huikaichedemianbao 頭像 u_17602582 頭像

@大數據 / 博客 RSS 訂閱

u_16099316 頭像

數據探索先鋒 - db2 shell腳本批量插入數據

《DB 查詢分析器》批量執行DML語句並返回更詳細的信息 馬根峯 ( 廣東聯合電子收費股份有限公司, 廣州 510300) 摘要本文簡單闡明瞭DB 查詢分析器訪問DB2時批量執行DML語句，並返回更詳細的信息。 關鍵詞 DB 查詢分析器；DML；數據庫客户端工具 DB Query Analy

大數據 , 數據倉庫 , 數據庫查詢 , 數據庫 , SQL , db2 shell腳本批量插入數據 , 查詢分析器

收藏 評論

u_17585479 頭像

Tob市場觀測員 - 企業獲客路徑的技術性拆解：從流量到線索的工程化實現

在當前的商業環境中，企業獲客已從單純的營銷活動演變為一個涉及數據、技術和流程的複雜系統工程。核心挑戰在於，如何將分散的公域流量與私域觸點高效連接，並實現潛在客户信息的結構化沉澱與有效轉化。本文旨在從技術實現與業務邏輯融合的視角，中立分析這一過程的關鍵環節與可選方案。 一、問題根源：獲客效率瓶頸的技術性歸因 獲客效率的瓶頸往往並非源於單一渠道的失效，而是系統性的數據孤島

機器學習 , 大數據 , 數據 , 數據倉庫 , 觸點

收藏 評論

u_15316473 頭像

阿里雲大數據AI技術 - 雲棲實錄 | 洋錢罐基於 EMR Serverless 產品構建全球一體化數字金融平台

演講人：宋曉峯洋錢罐大數據運維總監 十年破壁：從數據築基到智能生態的全鏈路實踐 一、數據築基——自建大數據集羣的攻堅與突破 背景介紹 瓴嶽科技（Fintopia）是以大數據和人工智能為基礎的數字科技集團，為全球用户提供卓越的金融體驗。2015年成立至今，瓴嶽科技始終聚焦消費金融，業務遍佈中國大陸、東南亞、拉丁美洲和非洲等；集團旗下擁有洋錢罐、Easycas

spark , 大數據 , starrocks

收藏 評論

chen_67f9ccbe6f07b 頭像

異常君 - 【大數據內核解密】HDFS 架構與數據模型：從理論到實戰全解析

作為 Hadoop 生態系統的基石，HDFS (Hadoop Distributed File System)為大數據應用提供了高吞吐量、高容錯性和高可用性的存儲解決方案。本文將深入剖析 HDFS 的核心架構、數據模型和關鍵機制，帶你全面瞭解這個分佈式文件系統的內部工作原理。 一、HDFS 主從架構：NameNode 與 DataNode 的協作機制 HDFS 採用典型的主從架構設計，由一個 Na

hdfs , 大數據 , hadoop , 後端

收藏 評論

u_16213598 頭像

mob64ca13fbd761 - （I）Banach空間和不動點定理 4: Schauder 不動點及其應用

本節的主要內容在於lambda函數和let函數，通過兩種新的函數形式減少了定義的使用，對過程設計進行了簡化。 lambda函數用於減少define的使用，使得過程的編制更加符合直覺，通過lambda(x)（fx)的形式可以減少很多函數體外的定義過程。 let函數更多用於定義局部變量，通過let體內的定義可以直接完成局部變量的運算，但需要注意區分

d3 , 大數據 , hadoop , 函數體 , 局部變量

收藏 評論

vivo_tech 頭像

vivo互聯網技術 - Spark on K8s 在vivo大數據平台的混部實戰

作者：vivo 互聯網大數據團隊- Qin Yehai 在離線混部可以提高整體的資源利用率，不過離線Spark任務部署到混部容器集羣需要做一定的改造，本文將從在離線混部中的離線任務的角度，講述離線任務是如何進行容器化、平台上的離線任務如何平滑地提交到混部集羣、離線任務在混部集羣中如何調度的完整實現以及過程中的問題解決。 一、在離線業務差異 互聯網數據業務服務一般可以分為在線服務和離線任務兩

spark , 容器 , 大數據

收藏 評論

u_14405 頭像

fjfdh - 訂單狀態字段的選擇性不高怎麼設計索引

當你開始構建或重構一個複雜系統的時候，請先把大的設計原則寫下來，然後在這些設計原則的框架內做推演。 昀哥 2020年10月23日 一，開展詳細設計之前請先把大的設計原則寫下來 每一位設計師都需要知道這個常識： 當你開始構建或重構一個複雜系統的時候，請先把大的設計原則寫下來，然後在這些設計原則的框架內做推演。 而不是這種常見的工作方式：

字段 , 系統設計 , 大數據 , 訂單狀態字段的選擇性不高怎麼設計索引 , 數據倉庫 , 設計原則

收藏 評論

u_15879876 頭像

Aloudata - Data Agent 精選推薦，推動人人都是分析師願景落地

摘要 在數據量爆炸式增長與業務決策實時性要求提升的雙重驅動下，Data Agent（數據智能體）正從輔助工具向企業核心數據分析中樞演進。其通過融合大模型能力與數據管理和分析技術，為企業提供“對話即分析”、“自動找根因”、“一鍵生成報告”等智能化數據分析服務，推動“人人都是分析師”的願景落地。 前言：當數據分析遇上 AI，Data Agent

大數據 , data , 數據倉庫 , 數據分析 , 智能問數 , chatbi

收藏 評論

u_16099331 頭像

墨色天香 - volta 無法刪除yarn

今天準備把虛擬機裏的10g卸載 卸載沒有用自帶的UnInstall工具 之前看warehouse的講課視頻 憑記憶手動卸載了下 刪除註冊表，包括HKEY_LOCAL_MACHINE\SOFTWARE和HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSe

oracle , 大數據 , yarn , 無法刪除 , volta 無法刪除yarn , 重啓

收藏 評論

u_13303 頭像

colddawn - 大數據系列 -- 數據埋點_51CTO博客

8.1.2 埋點實現方式分類 8.1.2.1 代碼埋點 原理： 在代碼中手動插入埋點邏輯，精準捕獲特定事件（如按鈕點擊、頁面加載）並上報數據。可根據埋點位置分為前端埋點（客户端）和後端埋點（服務端）。 實現步驟： 確定需求：明確需監控的事件（如“加入購物車”按鈕點擊）及數據維度（如用户 ID、時間戳）。 插

大數據 , 數據 , app , 埋點 , 數據治理 , 後端開發 , harmonyos

收藏 評論

u_16213625 頭像

mob64ca1402665b - Spark SQL 優化筆記

1. 數據存儲與格式優化 選擇合適的文件格式：推薦使用 Parquet、ORC 等列式存儲格式，壓縮率高，查詢快。 分區存儲：根據業務字段（如日期、地區等）合理分區，減少掃描數據量。 避免小文件：合併小文件，減少文件系統開銷，提高並行度。 2. SQL 查詢優化 謂詞下推（Predic

spark , 大數據 , SQL

收藏 評論

xiaoxiansheng_5e75673e1ae30 頭像

BugShare - 嘿嘿，一個簡單ElasticSearch小實現

週五臨近下班，原本打算摸摸魚，結果產品經理來個新需求。領導覺得 AI 服務器報價太貴，想先做個“低成本替代方案”來演示一下分析效果。於是，需求會議就開了。其中有一塊功能是 “檢索內容高亮顯示並展示匹配度”，產品經理説這可以考慮用 Elasticsearch 實現。行吧，需求是他提的，代碼自然就得咱來寫了。那就開幹吧 💪 一、啓動 Elasticsearch 服務（Docker 簡單搞定） 這裏用

vue.js , elasticsearch , 大數據 , springboot , Docker

收藏 評論

u_16213666 頭像

mob64ca140c3859 - 15個參考文獻spark

開頭先跟小夥伴們講述一些DJ的兩大類分，一大類是媒體DJ(這個就不多説啦)、第二大類是夜店DJ，也是要介紹的重點。夜店DJ，英文：Night of Shop DJ 或者叫 Disco Music Jockey，早在一次世界大戰之前就已經有DISCO存在，不過那時候沒有現在這麼瘋狂，直到1972年"Cherry Lips"樂隊的一首"Play the Fu

spark , 大數據 , 15個參考文獻spark , 音頻格式 , 視頻編輯 , 音樂怎麼生成html

收藏 評論

u_16213690 頭像

mob64ca1411e411 - hive 4舍五五

Excel函數千千萬萬，真是讓人眼花繚亂！很多辦公小白經常苦惱，到底該怎麼學習Excel函數呢？ 其實，日常使用Excel的時候，真正用到的函數並不多~今天，小編就來給大家盤點5個日常辦公中最常用到的Excel函數吧~ 一、If公式 If函數是用於快速判斷條件是否成立的一個函數，也是Excel函數中最常被大家使用的函數，因此，學會IF函

hive 4舍五五 , 合併單元格 , 大數據 , hive , 四捨五入 , 成績排名 , 計算機excel四捨五入

收藏 評論

u_16272508 頭像

事辯天下 - 2026天津機牀展：京津冀萬億機牀採購市場背後的技術升級與產業協同

隨着京津冀協同發展戰略深入推進，2026年該區域製造業迎來新一輪設備更新週期。由中華人民共和國商務部批准、國際展覽業協會(UFI)認證、中國機械工業聯合會及振威國際會展集團共同主辦的第22屆天津機牀展將於2026年3月18-21日舉辦。組委會透露，京津冀地區重點產業對機牀的需求呈現“高端化、智能化、綠色化”趨勢，新能源汽車、航空航天、電子製造等領域成為採購主力，預計帶動超百億元級

大數據 , 數據倉庫 , 高精度

收藏 評論

u_16099267 頭像

雲端創新夢想家 - 人工智能+智能製造--中國製造未來方向_人工智能製造

引言 人工智能（AI）正在全球範圍內迅速發展，並深刻影響各行各業。尤其在製造業，AI技術的應用已成為提升生產力、優化供應鏈、減少成本和提升產品質量的重要工具。智能製造是工業4.0的核心，而人工智能無疑是這一進程的核心驅動力。AI的引入不僅僅是為了實現自動化，更在於通過數據驅動的智能決策來提升生產效率和響應市場需求的能力。 本文將探討人工智能在

機器學習 , spark , 大數據 , 數據 , hadoop , 人工智能

收藏 評論

u_16099337 頭像

IT獨行俠客 - 常用數據清洗方法大盤點_51CTO博客

大數據清洗：從“髒數據”到“黃金礦”的魔法變身術 關鍵詞：數據清洗、髒數據、ETL、數據質量、大數據優化、特徵工程、Pandas實戰 摘要：大數據時代，“數據是黃金”的説法早已深入人心，但剛從業務系統、傳感器或用户行為中採集到的數據，往往像剛從河裏撈上來的沙子——混着泥土、石頭、碎玻璃，甚至還有爛葉子。要想從這些“髒

spark , 髒數據 , 大數據 , 數據清洗 , 數據 , AI

收藏 評論

u_17585479 頭像

Tob市場觀測員 - 企業數據API對接中的技術挑戰與架構選型分析

在企業數字化轉型過程中，數據API對接已成為系統互聯與數據流轉的核心環節。隨着業務系統數量增加與數據源多樣化，企業在實施跨平台數據接口時常面臨穩定性、安全性與可維護性等多重挑戰。本文將從技術視角分析此類問題的成因，並探討可行的架構設計路徑。 一、數據API對接的典型技術難點 1. 協議與格式異構性：不同系統可能採用RESTful、SOAP、GraphQL等協議，數據序

字段 , 大數據 , 數據 , API , 數據倉庫

收藏 評論

u_16213619 頭像

mob64ca14010a69 - 數據倉庫工具–Hive(歸納第一部分)

可以將結構化的數據文件映射為一張數據庫表，並提供簡單的 SQL 查詢功能，將 SQL 語句轉換為 MapReduce/Tez/Spark 任務運行。 SQL接口：使用 HiveQL（類似 SQL）進行查詢 大數據處理：處理 PB 級別的數據 數據倉庫：適合離線批處理和數據倉庫建設 擴展性：可自定義 UDF、UDAF

大數據 , hive , 數據倉庫 , hadoop , SQL

收藏 評論

u_14344 頭像

冷月星 - hadoop商用價格

無論國內外，大公司對數據都有着無窮無盡的渴望，隨着業務開展，數據來源越來越多，數據格式多樣，體量也越來越大，因此基於結構化數據的關係型數據庫很快趨於瓶頸。公司們都在思考着如何尋找一個合適的工具來解決大數據量下的計算和存儲問題。你可能會想到超算和HPC，但只有幾個巨頭玩得起，中小企業基本很難承擔其自建費用。後來，谷歌連發了3篇關鍵性的論文：GoogleFS, MapReduce和B

hadoop商用價格 , 大數據 , 數據 , 微服務 , hadoop

收藏 評論

u_16106567 頭像

建投數據 - 建投數據榮獲“2025年北京企業評價協會科技創新產品獎”

近日，2025年北京企業評價協會科技創新獎評選結果正式揭曉，建投數據憑藉“人力資源管理信息系統”在眾多參選項目中脱穎而出，成功榮獲“科技創新產品獎”。 “北京企業評價協會科技創新獎”於2009年4月獲北京市科學技術委員會批准設立，旨在表彰在科技創新領域做出顯著貢獻的企業與個人，推動首都經濟建設和社會發展，分享科技創新經驗成果，從而推動科技成果轉化與應用，是北京市科技

大數據 , 數據倉庫 , 人力資源管理 , 應用場景 , 解決方案

收藏 評論

u_12897 頭像

jordana - 權限控制_多租户系統設計之權限控制_weixin

Uberi/speech_recognition多租户架構：隔離與資源分配方案 在企業級語音識別應用中，多租户（Multi-Tenancy）架構面臨着數據隔離、資源競爭和識別精度平衡的核心挑戰。Uberi/speech_recognition作為一款支持多引擎的Python語音識別庫，通過模塊化設計和靈活配置機制，為構建多租户系統提供了基礎

多租户 , 大數據 , hadoop , 語音識別 , Git

收藏 評論

tech 頭像

青雲交技術圈 - Java 大視界 -- Java 大數據機器學習模型在遙感圖像土地利用分類中的優化與應用

(centerJava 大視界 -- Java 大數據機器學習模型在遙感圖像土地利用分類中的優化與應用/center) 引言 嘿，親愛的 Java 和 大數據愛好者們，大家好！我是CSDN（全區域）四榜榜首青雲交！隨着衞星遙感技術的飛速發展，我們得以從 “上帝視角” 俯瞰地球，海量遙感圖像數據如同寶庫，藴藏着土地利用的關鍵信息。但面對這 “數據洪流”，傳統分類方法如同在茫茫大海撈

機器學習 , spark , hdfs , 大數據 , yyds乾貨盤點 , 數據 , Java大數據 , 遙感圖像

收藏 評論