tag spark

標籤
貢獻95
156
05:15 PM · Oct 25 ,2025
tech 頭像 elhix0bg 頭像 zhaoqianglaoshi 頭像 baidujiagoushi 頭像 starrocks 頭像 u_15459354 頭像 journey_64224c9377fd5 頭像 u_15474939 頭像 u_15316473 頭像 u_16099172 頭像 u_16099267 頭像 u_106065 頭像

@spark / 博客 RSS 訂閱

elhix0bg 頭像

阿里雲大數據AI - 鷹角：EMR Serverless Spark 在《明日方舟》遊戲業務的應用

作者：鷹角網絡高級大數據研發 茅旭輝 背景介紹 鷹角網絡是一家年輕且富有創新的遊戲公司，致力於開發充滿挑戰性和藝術價值的遊戲產品。公司目前涵蓋了遊戲開發、運營和發行的全生命週期業務。隨着業務的擴展，鷹角網絡從單一爆款遊戲發展到多賽道、多平台、全球化的戰略佈局，在數據業務上進行了全面的優化和升級。 從業務上看，以《明日方舟》為代表的長線運營遊戲，具有相對高頻的活動週期和豐富多樣的活動玩法，反映到數據

spark , 大數據 , 數據 , 阿里雲 , serverless

收藏 評論

u_16099193 頭像

落花有意飛花 - jupyter 運行spark程序

今天在intellij調試spark的時候感覺每次有新的一段代碼，都要重新跑一遍，如果用spark-shell，感覺也不是特別方便，如果能像python那樣，使用jupyter notebook進行編程就很方便了，同時也適合代碼展示，網上查了一下，試了一下，碰到了很多坑，有些是舊的版本，還有些是版本不同導致錯誤，這裏就記錄下來安裝的過程。 1.

spark , notebook , 大數據 , Scala , jupyter 運行spark程序 , jupyter

收藏 評論

u_16213710 頭像

mob64ca1416b5a8 - 韓國sparksparkling調vk

好長時間忙的沒寫博客了。看到有人問spark的knn，想着做推薦入門總用的knn算法，順便寫篇博客。 knn算法的大致如下： 1）算距離：給定測試對象，計算它與訓練集中的每個對象的距離 2）找鄰居：圈定距離最近的k個訓練對象，作為測試對象的近鄰 3）做分類：根據這k個近鄰歸屬的主要類別，來對測試對象分類

spark , List , 大數據 , 搜索 , 韓國sparksparkling調vk

收藏 評論

u_16099172 頭像

編程小天匠 - 60張圖spark

最近很多博友問，你的文章如何排版的？你的代碼怎麼這麼漂亮？你的圖片怎麼有陰影效果？為了滿足大家需要，我特地總結一下博文排版技巧~~希望你讀完這篇文章後有個全新的體驗和輕鬆的心情寫博文了~~ 在博客園博文五要素：標題、段落、代碼、圖片、版權。 我的原則是HTML最簡、文章最美觀、內容最清晰！本篇文章適用Windows Live Writer。

spark , 大數據 , ViewUI , 60張圖spark , 人工智能 , HTML , 前端

收藏 評論

tech 頭像

青雲交技術圈 - Java 大視界 -- Java 大數據機器學習模型在電商用户流失預測與留存策略制定中的應用

(centerJava 大視界 -- Java 大數據機器學習模型在電商用户流失預測與留存策略制定中的應用/center) 引言： 嘿，親愛的 Java 和 大數據愛好者們，大家好！我是CSDN（全區域）四榜榜首青雲交！在《大數據新視界》和《 Java 大視界》專欄的探索之旅中，我們已見證 Java 大數據在多個領域的驚豔表現。如今，在競爭白熱化的電商戰場，用户流失成為企業利潤的

機器學習 , spark , 隨機森林 , 大數據 , yyds乾貨盤點 , 留存策略 , 電商用户流失

收藏 評論

u_16099263 頭像

IT狼人9號 - Spark Operator 與工作流 集成

Spark Streaming原理 Spark Streaming 是基於spark的流式批處理引擎。其基本原理是：將實時輸入數據流以時間片為單位進行拆分，然後經Spark引擎以類似批處理的方式處理每個時間片數據。 Spark Streaming作業流程 客户端提交作業後啓動Driver（Driver

spark , Streaming , 大數據 , 數據

收藏 評論

journey_64224c9377fd5 頭像

journey - Centos7安裝hive3、spark3

1、mysql準備 yum install -y mariadb-server systemctl start mariadb systemctl enable mariadb 通過以下命令進行配置（設置密碼，比如説root@123）: mysql_secure_installation 登錄進去設置root可以任意機器登錄 mysql -uroot -proot@123 GRANT ALL P

spark , hadoop

收藏 評論

u_12228 頭像

香奈兒 - 反射、枚舉以及lambda表達式_枚舉類為什麼不能被反射

文章目錄 字符串常量池 創建對象的思考 字符串常量池(StringTable) 再談String對象創建 intern方法 反射 定義 用途 反射基本信息 反射相關的類 Class類中的相關方法 反射示例

spark , System , 大數據 , 數據結構 , jvm , intellij idea , JAVA

收藏 評論

tech 頭像

青雲交技術圈 - Java 大視界 --Java 大數據在智慧交通公交車輛調度與乘客需求匹配中的應用創新

(centerJava 大視界 --Java 大數據在智慧交通公交車輛調度與乘客需求匹配中的應用創新/center) 引言： 嘿，親愛的 Java 和 大數據愛好者們，大家好！我是CSDN（全區域）四榜榜首青雲交！當城市的車水馬龍逐漸成為生活常態，公交系統作為城市交通的 “血管”，其調度效率與服務質量直接影響着數百萬市民的日常出行體驗。傳統調度模式的侷限性日益凸顯，而 Java

spark , 智慧交通 , 大數據 , yyds乾貨盤點 , 數據 , Java大數據 , JAVA , 公交車輛

收藏 評論

u_16099244 頭像

码海舵手之心 - sparktype bigint對應哪個type

為了讓大家理解structured stream的運行流程，我將根據一個代碼例子，講述structured stream的基本運行流程和原理。 下面是一段簡單的代碼: 1 val spark = SparkSession 2 .builder 3 .appName("StructuredNetworkWordCount") 4

spark , 批處理 , System , 大數據

收藏 評論

u_16099267 頭像

雲端創新夢想家 - spark網絡分割模型

摘要： 引言：你可能對使用Spark服務比較感興趣。Spark已經提供了很多功能，也有一個好用的界面，而且背後有強大的社區，開發者十分活躍，這也是人們對Spark寄予厚望的原因。深度學習是當前正在進行中的Spark項目之一。 引言：你可能對使用Spark服務比較感興趣。Spark已經提供了很多功能，也有一個好用的界面，而且背後有強大

spark , 框架 , 大數據 , 算法 , Scala , 腳本 , spark網絡分割模型

收藏 評論

tech 頭像

青雲交技術圈 - Java 大視界 -- Java 大數據機器學習模型在遙感圖像目標檢測與語義分割中的應用與改進

(centerJava 大視界 -- Java 大數據機器學習模型在遙感圖像目標檢測與語義分割中的應用與改進/center) 引言：從開源生態到遙感智能化的 Java 實踐 嘿，親愛的 Java 和 大數據愛好者們，大家好！我是CSDN（全區域）四榜榜首青雲交！在《大數據新視界》和《 Java 大視界》系列中，我們已通過智能體育、智能政務、工業互聯網等場景揭示 Java 的工程化

機器學習 , spark , 大數據 , yyds乾貨盤點 , 數據 , Java大數據 , JAVA , Image

收藏 評論

ospo 頭像

字節跳動開源 - 首屆 Apache Gluten 社區年度盛會 —— GlutenCon 2025 正式啓動！

在這個數據爆炸的時代，如何讓 Spark 等計算引擎跑得更快？如何通過原生向量化執行突破性能瓶頸？ 2025 年 12 月 6 日（週六），首屆Apache Gluten 社區年度盛會 —— GlutenCon 2025 將於北京舉辦。來自字節跳動、IBM、微軟、騰訊、華為、小紅書、小米、BIGO 等企業的技術專家將帶來硬核技術分享，帶你深入瞭解 Bolt 加速庫、GPU 優化、內存管理等核心議題

spark , 大數據 , 活動

收藏 評論

starrocks 頭像

StarRocks - 【活動回顧】StarRocks Singapore Meetup #2 @Shopee

3 月 13 日，StarRocks 社區在新加坡成功舉辦了第二場 Meetup 活動，主題為“Empowering Customer-Facing Analytics”。本次活動在 Shopee 新加坡辦公室舉行，吸引了來自 Shopee、Grab 和 Pinterest 的專家講師以及 50 多位參會者。大家圍繞電商、BI 報表和廣告場景中的數據分析挑戰展開了深入探討，並分享瞭如何利用 Sta

spark , 數據分析 , 物化視圖 , olap

收藏 評論

tech 頭像

青雲交技術圈 - Java 大視界 -- Java 大數據在智能家居能源消耗模式分析與節能策略制定中的應用

(centerJava 大視界 -- Java 大數據在智能家居能源消耗模式分析與節能策略制定中的應用/center) 引言 嘿，親愛的 Java 和 大數據愛好者們，大家好！我是CSDN（全區域）四榜榜首青雲交！在科技的洶涌浪潮中，Java 大數據技術宛如一顆璀璨奪目的明珠，於眾多領域綻放出耀眼光芒。 如今，隨着智能家居的迅猛普及，人們的生活變得愈發便捷，但同時也引發了不容

spark , 大數據 , yyds乾貨盤點 , 數據 , 智能家居 , Java大數據 , 能源消耗 , JAVA

收藏 評論

u_16213657 頭像

mob64ca140a1f7c - Spark指南——第二章：SparkCore——RDD編程（2）

概述 從高層次來看，每個 Spark 應用程序都包含一個驅動程序，該程序運行用户的主函數並在集羣上執行各種並行操作。Spark 提供的核心抽象是彈性分佈式數據集（RDD），即一種分佈在集羣節點間的元素集合，可被並行操作。RDD 可通過以下方式創建：從 Hadoop 文件系統（或任何其他 Hadoop 支持的文件系統）中的文件起步，或基於驅動程序中的

spark , 大數據 , 分佈式 , Python

收藏 評論

tech 頭像

青雲交技術圈 - Java 大視界 -- Java 大數據在智能教育學習社區用户互動分析與社區活躍度提升中的應用

(centerJava 大視界 -- Java 大數據在智能教育學習社區用户互動分析與社區活躍度提升中的應用/center) 引言： 嘿，親愛的 Java 和 大數據愛好者們，大家好！我是CSDN（全區域）四榜榜首青雲交！在國家智慧教育公共服務平台的運營大屏上，Java 驅動的大數據分析系統正以毫秒級速度解析全國 1.2 億學習者的互動行為。當系統捕捉到 “Python 數據分析

spark , 大數據 , yyds乾貨盤點 , 數據 , Java大數據 , JAVA

收藏 評論

elhix0bg 頭像

阿里雲大數據AI - 最佳實踐 | 在 EMR Serverless Spark 中實現 StarRocks 讀寫操作

EMR Serverless Spark 是一款兼容開源 Spark 的高性能 Lakehouse 產品。它為用户提供任務開發、調試、發佈、調度和運維等全方位的產品化服務，顯著簡化了大數據計算的工作流程，使用户能更專注於數據分析和價值提煉。 StarRocks官方提供了Spark Connector用於Spark和StarRocks之間的數據讀寫，EMR Serverless Spark可以在開發

spark , 大數據 , serverless

收藏 評論

tech 頭像

青雲交技術圈 - Java 大視界 -- Java 大數據在智能建築室內環境舒適度預測與調控中的應用

(centerJava 大視界 -- Java 大數據在智能建築室內環境舒適度預測與調控中的應用/center) 引言： 嘿，親愛的 Java 和 大數據愛好者們，大家好！我是CSDN（全區域）四榜榜首青雲交！凌晨三點的深圳平安金融中心，智能建築管理系統仍在高效運轉。當傳感器檢測到 38 層辦公室二氧化碳濃度升至 800ppm 且人員停留超 2 小時，系統自動啓動新風系統，並將空

spark , 智能建築 , 大數據 , yyds乾貨盤點 , Java大數據 , JAVA , apache

收藏 評論

u_16099236 頭像

是大魔術師 - TMS Sparkle

在TestNG中使用多線程的方式並行執行測試用例可以有效提高用例的執行速度，而且TestNG對多線程提供了很好的支持，即使是菜鳥也可以方便地上手多線程。 前言 最近在做項目裏的自動化測試工作，使用的是TestNG測試框架，主要涉及的測試類型有接口測試以及基於業務實際場景的場景化測試。由於涉及的場景大多都是大數據的作業開發及執行（如MapReduce、Spark、Hql

spark , Test , 大數據 , 用例 , TMS Sparkle , ide

收藏 評論

starrocks 頭像

StarRocks - 從InfluxDB到StarRocks：Grab實現Spark監控平台10倍性能提升

Grab 是東南亞領先的超級應用，業務涵蓋外賣配送、出行服務和數字金融，覆蓋東南亞八個國家的 800 多個城市，每天為數百萬用户提供一站式服務，包括點餐、購物、寄送包裹、打車、在線支付等。 為了優化 Spark 監控性能，Grab 將其 Spark 可觀測平台 Iris 的核心存儲遷移至 StarRocks，實現了顯著的性能提升。新架構統一了原本分散在 Grafana 和 Superse

spark , 大數據 , iris , 數據庫 , 物化視圖

收藏 評論

u_16099335 頭像

碼海無壓 - digispark驅動下載

第一種：JDBC-ODBC橋 Jdbc-odbc橋是sun公司提供的，是jdk提供的的標準api。這種類型的驅動實際是把所有jdbc的調用傳遞給odbc，再由odbc調用本地數據庫驅動代碼。（本地數據庫驅動代碼是指由數據庫廠商提供的數據庫操作二進制代碼庫，例如在oracle for windows中就是oci dll文件) 只要

spark , digispark驅動下載 , 大數據 , jdbc , API , 數據庫 , 數據庫驅動程序

收藏 評論

tech 頭像

青雲交技術圈 - Java 大視界 -- 基於 Java 的大數據實時流處理在能源行業設備狀態監測與故障預測中的應用

(centerJava 大視界 -- 基於 Java 的大數據實時流處理在能源行業設備狀態監測與故障預測中的應用/center) 引言： 嘿，親愛的 Java 和 大數據愛好者們，大家好！我是CSDN（全區域）四榜榜首青雲交！在《大數據新視界》和《 Java 大視界》系列的探索之旅中，我們已一同領略 Java 大數據在多個領域的非凡魅力。從智能教育領域用數據重塑教學模式，到智能安

spark , 大數據 , yyds乾貨盤點 , 數據 , JAVA

收藏 評論

u_16213703 頭像

mob64ca14150f43 - spark3 用户權限管理

1 配置 export SCALA_HOME=/Users/zhaoshuai11/work/scala-2.12.14 export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_192.jdk/Contents/Home ## 指定spark老大Master的IP和提交任務

spark , spark3 用户權限管理 , 大數據 , 學習 , hadoop

收藏 評論