tag spark

標籤
貢獻95
157
05:15 PM · Oct 25 ,2025
tech 頭像 elhix0bg 頭像 zhaoqianglaoshi 頭像 baidujiagoushi 頭像 starrocks 頭像 u_15459354 頭像 journey_64224c9377fd5 頭像 u_15474939 頭像 u_15316473 頭像 u_16099172 頭像 u_16099267 頭像 u_106065 頭像

@spark / 博客 RSS 訂閱

u_13544 頭像

deanyuancn - Spark 基礎——RDD 算子

RDD算子介紹 RDD（彈性分佈式數據集）是Spark的核心數據結構，代表不可變、分區化的數據集合。RDD算子分為兩類： 轉換算子（Transformations）：惰性操作，生成新RDD $$ \text{新RDD} = \text{原RDD} \rightarrow \text{算子操作} $$ 行

spark , 數據集 , 開發語言 , 一對一 , Css , c , 前端開發 , HTML

收藏 評論

u_16213583 頭像

mob64ca13f83523 - spark 寫入結構化數據到hdfs

（resilient distributed dataset，RDD）是一個非常重要的分佈式數據架構，即彈性分佈式數據集。 　　它是邏輯集中的實體，在集羣中的多台機器上進行了數據分 區。通過對多台機器上不同RDD分區的控制，就能夠減少機器之間的數據重排（data shuffling）。Spark提供了“partitionBy”運算符，能夠通過集羣中多台機器之間對原始RDD進

spark , hdfs , 大數據 , spark 寫入結構化數據到hdfs , 數據 , hadoop

收藏 評論

u_16213698 頭像

mob64ca1413c518 - spark 決策樹剪枝 spss決策樹剪枝

決策樹——剪枝 本篇是決策樹系列的第二篇，介紹一下決策樹的剪枝過程。過擬合是決策樹構建過程中常見的問題，信息失衡、噪聲等問題都會導致過擬合，剪枝則是提高決策樹模型泛化能力的重要手段，下面對常用的剪枝方法作一些介紹。 1.預剪枝 決策樹系列第一篇《分類：決策樹——樹的生長》中提到過，樹的生長是一種“完全”式的生長，終止條件也僅有“所有的樣本屬於同一類，

spark , 結點 , 誤分類 , 決策樹 , spark 決策樹剪枝 , 大數據 , 子樹

收藏 評論

u_15474939 頭像

海豚調度平台 - 圖解 Apache DolphinScheduler 如何配置飛書告警

飛書創建羣，並添加自定義機器人 記住這個【Webhook】後面配置【海豚告警】的時候會用到。 配置告警 在【安全中心】中，選擇【告警實例管理】中的【創建告警實例】。 在【選擇插件】中，選擇【Feishu】，將前面的【Webhook】填進【Web鈎子】。 然後，在【安全中心】的【告

spark , 大數據 , 自定義 , 推送 , Web

收藏 評論

zhaoqianglaoshi 頭像

趙渝強老師 - 【趙渝強老師】阿里雲大數據存儲計算服務：MaxCompute

阿里雲大數據計算服務（MaxCompute）是一種快速、完全託管的TB/PB級數據倉庫解決方案。MaxCompute向用户提供了完善的數據導入方案以及多種經典的分佈式計算模型，能夠更快速的解決用户海量數據計算問題，有效降低企業成本，並保障數據安全。 視頻講解如下： https://www.bilibili.com/video/BV19M8izmEoU/?aid=114924365812...

spark , 大數據 , hadoop , 阿里雲

收藏 評論

tech 頭像

青雲交技術圈 - Java 大視界 -- Java 大數據在智能體育賽事運動員體能監測與訓練計劃調整中的應用

(centerJava 大視界 -- Java 大數據在智能體育賽事運動員體能監測與訓練計劃調整中的應用/center) 引言 嘿，親愛的 Java 和 大數據愛好者們，大家好！我是CSDN（全區域）四榜榜首青雲交！當體育競技的號角愈發激昂，運動員每一次成績突破的背後，都藏着體能科學與訓練智慧的較量。傳統的體能監測和訓練模式，如同用舊地圖探索新大陸，數據零散、分析滯後，早已無法滿

spark , Java 大數據 , 大數據 , yyds乾貨盤點 , 數據 , 訓練計劃 , JAVA , 智能體育

收藏 評論

elhix0bg 頭像

阿里雲大數據AI - 鷹角：EMR Serverless Spark 在《明日方舟》遊戲業務的應用

作者：鷹角網絡高級大數據研發 茅旭輝 背景介紹 鷹角網絡是一家年輕且富有創新的遊戲公司，致力於開發充滿挑戰性和藝術價值的遊戲產品。公司目前涵蓋了遊戲開發、運營和發行的全生命週期業務。隨着業務的擴展，鷹角網絡從單一爆款遊戲發展到多賽道、多平台、全球化的戰略佈局，在數據業務上進行了全面的優化和升級。 從業務上看，以《明日方舟》為代表的長線運營遊戲，具有相對高頻的活動週期和豐富多樣的活動玩法，反映到數據

spark , 大數據 , 數據 , 阿里雲 , serverless

收藏 評論

tech 頭像

青雲交技術圈 - Java 大視界 -- 基於 Java 的大數據實時流處理在能源行業設備狀態監測與故障預測中的應用

(centerJava 大視界 -- 基於 Java 的大數據實時流處理在能源行業設備狀態監測與故障預測中的應用/center) 引言： 嘿，親愛的 Java 和 大數據愛好者們，大家好！我是CSDN（全區域）四榜榜首青雲交！在《大數據新視界》和《 Java 大視界》系列的探索之旅中，我們已一同領略 Java 大數據在多個領域的非凡魅力。從智能教育領域用數據重塑教學模式，到智能安

spark , 大數據 , yyds乾貨盤點 , 數據 , JAVA

收藏 評論

tech 頭像

青雲交技術圈 - Java 大視界 -- Java 大數據在智能家居能源消耗模式分析與節能策略制定中的應用

(centerJava 大視界 -- Java 大數據在智能家居能源消耗模式分析與節能策略制定中的應用/center) 引言 嘿，親愛的 Java 和 大數據愛好者們，大家好！我是CSDN（全區域）四榜榜首青雲交！在科技的洶涌浪潮中，Java 大數據技術宛如一顆璀璨奪目的明珠，於眾多領域綻放出耀眼光芒。 如今，隨着智能家居的迅猛普及，人們的生活變得愈發便捷，但同時也引發了不容

spark , 大數據 , yyds乾貨盤點 , 數據 , 智能家居 , Java大數據 , 能源消耗 , JAVA

收藏 評論

u_16213657 頭像

mob64ca140a1f7c - Spark指南——第二章：SparkCore——RDD編程（2）

概述 從高層次來看，每個 Spark 應用程序都包含一個驅動程序，該程序運行用户的主函數並在集羣上執行各種並行操作。Spark 提供的核心抽象是彈性分佈式數據集（RDD），即一種分佈在集羣節點間的元素集合，可被並行操作。RDD 可通過以下方式創建：從 Hadoop 文件系統（或任何其他 Hadoop 支持的文件系統）中的文件起步，或基於驅動程序中的

spark , 大數據 , 分佈式 , Python

收藏 評論

tech 頭像

青雲交技術圈 - Java 大視界 -- Java 大數據在智能教育學習社區用户互動分析與社區活躍度提升中的應用

(centerJava 大視界 -- Java 大數據在智能教育學習社區用户互動分析與社區活躍度提升中的應用/center) 引言： 嘿，親愛的 Java 和 大數據愛好者們，大家好！我是CSDN（全區域）四榜榜首青雲交！在國家智慧教育公共服務平台的運營大屏上，Java 驅動的大數據分析系統正以毫秒級速度解析全國 1.2 億學習者的互動行為。當系統捕捉到 “Python 數據分析

spark , 大數據 , yyds乾貨盤點 , 數據 , Java大數據 , JAVA

收藏 評論

elhix0bg 頭像

阿里雲大數據AI - 最佳實踐 | 在 EMR Serverless Spark 中實現 StarRocks 讀寫操作

EMR Serverless Spark 是一款兼容開源 Spark 的高性能 Lakehouse 產品。它為用户提供任務開發、調試、發佈、調度和運維等全方位的產品化服務，顯著簡化了大數據計算的工作流程，使用户能更專注於數據分析和價值提煉。 StarRocks官方提供了Spark Connector用於Spark和StarRocks之間的數據讀寫，EMR Serverless Spark可以在開發

spark , 大數據 , serverless

收藏 評論

tech 頭像

青雲交技術圈 - Java 大視界 -- Java 大數據在智能建築室內環境舒適度預測與調控中的應用

(centerJava 大視界 -- Java 大數據在智能建築室內環境舒適度預測與調控中的應用/center) 引言： 嘿，親愛的 Java 和 大數據愛好者們，大家好！我是CSDN（全區域）四榜榜首青雲交！凌晨三點的深圳平安金融中心，智能建築管理系統仍在高效運轉。當傳感器檢測到 38 層辦公室二氧化碳濃度升至 800ppm 且人員停留超 2 小時，系統自動啓動新風系統，並將空

spark , 智能建築 , 大數據 , yyds乾貨盤點 , Java大數據 , JAVA , apache

收藏 評論

u_16099236 頭像

是大魔術師 - TMS Sparkle

在TestNG中使用多線程的方式並行執行測試用例可以有效提高用例的執行速度，而且TestNG對多線程提供了很好的支持，即使是菜鳥也可以方便地上手多線程。 前言 最近在做項目裏的自動化測試工作，使用的是TestNG測試框架，主要涉及的測試類型有接口測試以及基於業務實際場景的場景化測試。由於涉及的場景大多都是大數據的作業開發及執行（如MapReduce、Spark、Hql

spark , Test , 大數據 , 用例 , TMS Sparkle , ide

收藏 評論

starrocks 頭像

StarRocks - 從InfluxDB到StarRocks：Grab實現Spark監控平台10倍性能提升

Grab 是東南亞領先的超級應用，業務涵蓋外賣配送、出行服務和數字金融，覆蓋東南亞八個國家的 800 多個城市，每天為數百萬用户提供一站式服務，包括點餐、購物、寄送包裹、打車、在線支付等。 為了優化 Spark 監控性能，Grab 將其 Spark 可觀測平台 Iris 的核心存儲遷移至 StarRocks，實現了顯著的性能提升。新架構統一了原本分散在 Grafana 和 Superse

spark , 大數據 , iris , 數據庫 , 物化視圖

收藏 評論

u_16099335 頭像

碼海無壓 - digispark驅動下載

第一種：JDBC-ODBC橋 Jdbc-odbc橋是sun公司提供的，是jdk提供的的標準api。這種類型的驅動實際是把所有jdbc的調用傳遞給odbc，再由odbc調用本地數據庫驅動代碼。（本地數據庫驅動代碼是指由數據庫廠商提供的數據庫操作二進制代碼庫，例如在oracle for windows中就是oci dll文件) 只要

spark , digispark驅動下載 , 大數據 , jdbc , API , 數據庫 , 數據庫驅動程序

收藏 評論

starrocks 頭像

StarRocks - 【活動回顧】StarRocks Singapore Meetup #2 @Shopee

3 月 13 日，StarRocks 社區在新加坡成功舉辦了第二場 Meetup 活動，主題為“Empowering Customer-Facing Analytics”。本次活動在 Shopee 新加坡辦公室舉行，吸引了來自 Shopee、Grab 和 Pinterest 的專家講師以及 50 多位參會者。大家圍繞電商、BI 報表和廣告場景中的數據分析挑戰展開了深入探討，並分享瞭如何利用 Sta

spark , 數據分析 , 物化視圖 , olap

收藏 評論

u_16213703 頭像

mob64ca14150f43 - spark3 用户權限管理

1 配置 export SCALA_HOME=/Users/zhaoshuai11/work/scala-2.12.14 export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_192.jdk/Contents/Home ## 指定spark老大Master的IP和提交任務

spark , spark3 用户權限管理 , 大數據 , 學習 , hadoop

收藏 評論

u_13521 頭像

cnolnic - PySpark ML常用轉換器

一、核心架構圖 二、角色分析 在Driver端，通過Py4j實現在Python調用Java的方法，即將用户寫得PySpark程序“映射”到JVM中，例如，用户在PySpark中實例化一個Python的SparkContext對象，最終會在JVM中實例化Scala的SparkContext對象 在Executor端，則

spark , 大數據 , big data , PySpark ML常用轉換器 , JAVA , Python

收藏 評論

u_12204 頭像

桃太郎 - Python 數據科學入門教程：OpenCV

此文章一共分為四篇 第一篇入門篇（本篇） 第二篇 基礎篇 第三篇 進階篇 第四篇 項目篇 在這篇系列文章中，我將帶你從“完全小白”一路打怪升級到能動手做真實項目。 不堆術語、不講空話，只用你能跑通的代碼 + 能看懂的圖解 + 踩過的坑總結， 手把手拆解 OpenCV

spark , 大數據 , 圖像處理 , 視覺項目 , 計算機視覺 , opencv , Python

收藏 評論

u_16213668 頭像

mob64ca140caeb2 - 排名前十的倉庫管理系統大盤點（真實測評）！_倉儲管理系統

WMS倉庫管理系統十大排名推薦：企業數字化倉儲首選解決方案指南 一、WMS系統市場概況與選型指南 在數字經濟時代，倉庫管理系統（WMS）已成為企業供應鏈數字化轉型的核心基礎設施。根據IDC最新調研報告顯示，2024年中國WMS市場規模突破200億元，年增長率達25%，其中SaaS化部署模式佔比超過60%。 企業在選擇WMS系統時，需要重點關注系統的智能化程度、行業適配

spark , 大數據 , 市場份額 , 倉庫管理系統 , 解決方案

收藏 評論

zhaoqianglaoshi 頭像

趙渝強老師 - 【趙渝強老師】大數據主從架構的單點故障

  大數據體系架構中的核心組件都是主從架構，即：存在一個主節點和多個從節點，從而組成一個分佈式環境。下圖為展示了大數據體系中主從架構的相關組件。   視頻講解如下： https://www.bilibili.com/video/BV1vz421z72U/?aid=1355982530c...   從上圖可以看出大數據的核心組件都是一種主從架構，而只要是主從架構就存在單點故障的問

spark , 大數據 , hadoop , zookeeper , flink

收藏 評論

u_16099247 頭像

墨韻流香 - 人臉素描數據集

OpenCV實時素描效果：用代碼將攝像頭畫面轉化為藝術素描 實現原理與可視化流程 運行前請安裝OpenCV：`pip install opencv-python`，如攝像頭無法打開請嘗試調整`VideoCapture(0)`或`VideoCapture(1)`參數。 素描效果的核心思想是模擬藝術家繪製素描時的視

spark , 大數據 , 人工智能 , 計算機視覺 , opencv , ide , Python

收藏 評論

u_16213618 頭像

mob64ca1400bfa8 - Doris能否替代spark

目錄 0、準備 1、Spark 讀寫 Doris 1.1 準備 Spark 環境 1.2 使用 Spark Doris Connector 1.2.1 SQL 方式讀寫數據 1.2.2 DataFrame 方式讀寫數據（batch） 1.2.3 RDD 方式讀

spark , Doris能否替代spark , 大數據 , Scala

收藏 評論