tag spark

標籤
貢獻95
163
05:15 PM · Oct 25 ,2025
tech 頭像 elhix0bg 頭像 zhaoqianglaoshi 頭像 baidujiagoushi 頭像 starrocks 頭像 u_15459354 頭像 journey_64224c9377fd5 頭像 u_15474939 頭像 u_15316473 頭像 u_16099172 頭像 u_16099267 頭像 u_106065 頭像

@spark / 博客 RSS 訂閱

tech 頭像

青雲交技術圈 - Java 大視界 -- Java 大數據在智能教育學習效果評估與教學質量改進實戰

(centerJava 大視界 -- Java 大數據在智能教育學習效果評估與教學質量改進實戰/center) 引言： 嘿，親愛的 Java 和 大數據愛好者們，大家好！我是CSDN（全區域）四榜榜首青雲交！在《大數據新視界》和《 Java 大視界》專欄攜手探索技術前沿的旅程中，我們一同見證了 Java 大數據在多個領域的輝煌成就。 如今，教育領域正面臨着新的挑戰與機遇，傳統

spark , 大數據 , yyds乾貨盤點 , Java大數據 , AI , JAVA , 智能教育

收藏 評論

elhix0bg 頭像

阿里雲大數據AI - 阿里雲 EMR Serverless Spark： 面向 Data+AI 的高性能 Lakehouse 產品

作者：玄橙 - 阿里雲 EMR Serverless Spark 產品專家 EMR Serverless Spark 是一款面向 Data+AI 的高性能 Lakehouse 產品。它為企業提供了一站式的數據平台服務，包括任務開發、調試、調度和運維等，極大地簡化了數據處理和模型訓練的全流程。同時，它100%兼容開源 Spark 生態，能夠無縫集成到客户現有的數據平台。使用 EMR Serverle

spark , 大數據 , 人工智能 , serverless , 數據處理

收藏 評論

tech 頭像

青雲交技術圈 - Java 大視界 -- Java 大數據機器學習模型在自然語言處理中的對抗樣本生成與防禦機制研究

(centerJava 大視界 -- Java 大數據機器學習模型在自然語言處理中的對抗樣本生成與防禦機制研究/center) 引言： 嘿，親愛的 Java 和 大數據愛好者們，大家好！我是CSDN（全區域）四榜榜首青雲交！凌晨三點的硅谷實驗室裏，研究員 Lisa 盯着屏幕上不斷跳動的代碼，眉頭緊鎖。她剛剛收到某知名電商平台的緊急求助 —— 其智能評論審核系統突然將大量差評誤判為

spark , NLP對抗 , 自然言語 , 大數據 , yyds乾貨盤點 , Deeplearning4j , 對抗樣本 , JAVA

收藏 評論

u_16213582 頭像

mob64ca13f7ecc9 - Linux 進去Spark sql

Tom,DataBase,80 Tom,Algorithm,50 Tom,DataStructure,60 Jim,DataBase,90 Jim,Algorithm,60 Jim,DataStructure,80 ....... 根據給定的數據在spark-shell中通過編程來計算以下內容 （1） 該系總共有多少學生；

spark , 大數據 , 數據 , Linux 進去Spark sql , SQL

收藏 評論

u_12207 頭像

衞斯理 - spark sql中over函數range和rows框架

本文基於 sqlite3 進行測試，準備工作如下 import sqlite3 conn = sqlite3.connect('window.db') cur = conn.cursor() ##### 原始數據 sql = '''select * from window;''' cur.execute(sql) print(cur.fetchall()) #

spark , 大數據 , sqlite , SQL , 窗口函數

收藏 評論

elhix0bg 頭像

阿里雲大數據AI - 兩項世界第一！阿里雲EMR登頂全球數據倉庫性能及性價比排行榜

節前，和大家分享一個好消息： 阿里雲EMR在全球數據倉庫性能及性價比排行榜中斬獲兩項全球冠軍！ 在“數據分析”性能測試TPC-H榜單中，阿里雲EMRServerlessStarRocks（Stella1.2.0內核）以QphH超754萬分的性能結果斬獲全球冠軍，領先第二名111%； 在“決策支持類”性能測試TPC-DS榜單中，阿里雲EMRServerlessSpark（Fusion2.0內

spark , 阿里雲 , starrocks

收藏 評論

u_15459354 頭像

ApacheSeaTunnel - 深陷 Sqoop+Canal 困境？中控技術用 SeaTunnel 打造高效數據採集破局方案

核心數據一致性達99.99%、開發效率提升50%、運維成本降低70%——這是中控技術採用 Apache SeaTunnel 構建數據採集框架及相關數據服務體系後的實測成效。 上週 Apache SeaTunnel 線上 Meetup 上，中控技術工程師崔俊樂分享了這家大型工業 AI 平台型公司的實踐經驗。我們已將視頻內容整理成文，供行業同仁參考借鑑。 作者簡介 崔俊樂，中控技

spark , 大數據 , 運維 , 開源 , seatunnel , apache

收藏 評論

tech 頭像

青雲交技術圈 - Java 大視界 -- Java 大數據在智能物流運輸車輛智能調度與路徑優化中的技術實現

(centerJava 大視界 -- Java 大數據在智能物流運輸車輛智能調度與路徑優化中的技術實現/center) 引言： 嘿，親愛的 Java 和 大數據愛好者們，大家好！我是CSDN（全區域）四榜榜首青雲交！對在《大數據新視界》和《 Java 大視界》專欄攜手探索的旅程中，我們已共同見證 Java 大數據在諸多領域掀起的技術變革。從電商用户流失預測的精準洞察，到城市空氣質

spark , List , 大數據 , yyds乾貨盤點 , Java大數據 , JAVA

收藏 評論

tech 頭像

青雲交技術圈 - Java 大視界 -- Java 大數據機器學習模型在自然語言生成中的可控性研究與應用實戰

(centerJava 大視界 -- Java 大數據機器學習模型在自然語言生成中的可控性研究與應用實戰/center) 引言： 嘿，親愛的 Java 和 大數據愛好者們，大家好！我是CSDN（全區域）四榜榜首青雲交！自然語言生成（NLG）技術正掀起人工智能領域的新一輪變革 —— 從智能客服自動應答，到新聞稿件批量生成，NLG 已深入內容生產、智能交互的每個角落。但當我們嘗試讓機

spark , 大數據 , yyds乾貨盤點 , Java大數據 , JAVA

收藏 評論

tech 頭像

青雲交技術圈 - Java 大視界 -- 基於 Java 的大數據可視化在城市空氣質量監測與污染溯源中的應用

(centerJava 大視界 -- 基於 Java 的大數據可視化在城市空氣質量監測與污染溯源中的應用/center) 引言： 嘿，親愛的 Java 和 大數據愛好者們，大家好！我是CSDN（全區域）四榜榜首青雲交！在《大數據新視界》和《 Java 大視界》專欄的技術探索之旅中，我們曾以 Java 大數據為筆，在醫療、家居、農業等領域繪就創新藍圖。Java 大數據不斷突破技術邊

spark , 空氣質量監測 , 大數據 , yyds乾貨盤點 , 數據 , Java大數據 , 大數據可視化 , JAVA

收藏 評論

u_13539 頭像

jowvid - Revit 2021 新增與加強功能詳細介紹

作為建築信息模型（BIM）領域的核心工具，Autodesk Revit 一直是建築、結構、機電等行業設計師的必備軟件。2026.3 版本在 2026 系列的堅實基礎上，針對協同效率、功能深度、性能精度三大核心痛點進行突破性升級，以 AI 賦能、數據驅動為核心，覆蓋從概念設計到施工運維的全生命週期管理，成為工程技術人員提升工作效率的 “利器”。 核心升級一：AI

spark , 項目管理 , 大數據 , 數據 , 運維

收藏 評論

u_15474939 頭像

海豚調度平台 - 結項報告完整版 | 為 Apache DolphinScheduler 添加 gRPC 插件

過去兩週，我們對開源之夏活動中表現優異的開發者們進行了簡單的採訪，初步粗略地瞭解了一下他們的開發過程和心得體會。今天，我們將通過同學們的完整結項報告，深入瞭解項目的開發技術細節，希望能夠幫助大家更好地瞭解 Apache DolphinScheduler 項目的最新進展。 接下來是關於***為 Apache DolphinScheduler 添加 gRPC 插件***這一項目的完整報告

spark , github , 大數據 , JAVA , apache

收藏 評論

elhix0bg 頭像

阿里雲大數據AI - 立馬耀：通過阿里雲 Serverless Spark 和 Milvus 構建高效向量檢索系統，驅動個性化推薦業務

作者：廈門立馬耀網絡科技有限公司大數據開發工程師 陳宏毅 背景介紹 行業 蟬選是蟬媽媽出品的達人選品服務平台。蟬選秉持“陪伴達人賺到錢”的品牌使命，致力於洞悉達人變現需求和痛點，提供達人選高傭、穩變現、速響應的選品服務。 業務特徵 個性化推薦：利用大數據和人工智能算法，根據用户的興趣和行為提供定製化的產品推薦。 數據驅動：通過分析用户和市場趨勢，優化推薦策略，提升用户滿意度。 精準營

spark , 大數據 , 搜索 , 阿里雲 , serverless

收藏 評論

baidujiagoushi 頭像

百度Geek説 - 百度APP日誌處理框架升級之路

導讀 面對百度APP日均數千億PV、超百PB數據規模帶來的巨大挑戰，我們完成了數據倉庫的系統性升級。本文詳細闡述了通過"兩步走"策略解決資源壓力、處理延遲和架構瓶頸的全過程：第一階段聚焦日誌清洗環節的穩定性與成本優化，第二階段實現實時離線鏈路解耦、核心數據隔離及計算框架容錯能力提升。此次升級顯著提升了數據處理時效性、系統穩定性和成本效益，為業務發展提供了更堅實的數據支撐。 背景 百度APP及其產品

spark , 大數據

收藏 評論

u_12855 頭像

西門吹雪 - 如何給spark配置kerberos認證信息

Tokenizer分詞 進行文本分析前，對文本中句子進行分詞我們處理的第一步。大家都是Spark的機器學習庫分為基於RDD和基於DataFrame的庫，由於基於RDD的庫在Spark2.0以後都處於維護狀態，我們這裏講的分詞就是基於Spark的Dataframe的。主要是講解兩個類Tokenizer和RegexTokenizer的使用。 1

機器學習 , spark , 大數據 , apache

收藏 評論

u_15459354 頭像

ApacheSeaTunnel - （四）收官篇！從分層架構到數據湖倉架構系列：數據服務層和數據應用層及湖倉技術趨勢小結

《新興數據湖倉設計與實踐手冊·從分層架構到數據湖倉架構設計（2025 年）》 系列文章將聚焦從數據倉庫分層到數據湖倉架構的設計與實踐。手冊將闡述數據倉庫分層的核心價值、常見分層類型，詳解分層下的 ETL 架構及數據轉換環節，介紹數據倉庫分層對應的技術架構，並以貼源層（ODS）、數據倉庫層（DW）、數據服務層（DWS）為例，深入剖析數湖倉分層設計，最後探討數據倉庫技術趨勢並進行小結。

spark , WhaleStudio , 大數據 , 數據倉庫 , 數據庫 , 白鯨開源

收藏 評論

u_16178248 頭像

INSVAST - 毅碩HPC | NVIDIA DGX Spark 萬字硬核評測：將AI超級工廠帶上桌面

一、開啓本地AI開發的新紀元 在生成式AI飛速發展的今天，每一位開發者都渴望擁有無拘無束的算力。不再受制於雲端排隊、網絡延遲或數據隱私的顧慮——NVIDIA DGX Spark橫空出世讓這一切有了可能。 它不僅僅是一台計算機，它是濃縮在精緻桌面機箱中的AI數據中心。作為全球首款基於NVIDIA Grace Blackwell架構的個人AI超級計算機，DGX S

spark , 毅碩HPC , 個人AI超級計算機 , NVIDIA DGX Spark , 大數據 , nvidia , 大規模部署

收藏 評論

u_16099226 頭像

雲端夢想實現家 - AutoCAD全版本軟件打包下載，安裝包一站式獲取 -

https://github.com/luanshixia/AutoCADCodePack AutoCAD Code Pack 功能詳細文檔 概述 AutoCAD Code Pack 是一個基於 AutoCAD .NET API 的開發庫，旨在簡化 AutoCAD 插件開發流程。它通過將複雜的原生 API 封裝為易用的靜態模塊和函數，引入現代 C# 語法（如 L

spark , 封裝 , 大數據 , API , 3d

收藏 評論

u_16213399 頭像

mob64ca12e8a030 - spark saveastable怎麼差分更新

關於“spark saveastable怎麼差分更新”的討論，本文將詳細記錄遇到該問題的背景、錯誤現象、根因分析、解決方案、驗證測試及預防優化的過程。整個過程涉及到如何高效地使用 Apache Spark 的 saveAsTable 方法進行差分更新，以確保數據的準確性和一致性。 問題背景 在大數據處理環境中，通常會使用 Apache Spark 進行數據的處理與分析。最近我們在

spark , 數據 , 差分 , aigc

收藏 評論

u_16099330 頭像

網絡小墨 - 1.SparkSQL基礎—Spark SQL概述、Spark SQL核心編程—DataFrame(重要)、DataSet 與 RDD 之間相互轉換

作為大數據處理領域的明星框架，Apache Spark以其卓越的性能和易用性贏得了廣泛認可。本文將深入探討Spark的數據讀取方式、核心概念以及RDD與SparkSQL的關鍵特性，幫助您全面掌握Spark的核心機制。 一、數據讀取：多種方式滿足不同場景 1. SparkCore數據讀取方式 SparkCore提供了兩種主要的數據讀取方式

spark , 大數據 , 數據庫 , 分佈式 , 前端開發 , Javascript , Python

收藏 評論

tech 頭像

青雲交技術圈 - Java 大視界 -- Java 大數據在智能教育個性化學習資源推薦中的冷啓動解決方案

(centerJava 大視界 -- Java 大數據在智能教育個性化學習資源推薦中的冷啓動解決方案/center) 引言： 嘿，親愛的 Java 和 大數據愛好者們，大家好！我是CSDN（全區域）四榜榜首青雲交！在《大數據新視界》與《 Java 大視界》專欄的技術長征中，我們已共同拆解 20 + 行業的數字化謎題。 如今，智能教育這片藍海正掀起變革浪潮。當全球在線教育用户突

spark , 冷啓動 , 大數據 , yyds乾貨盤點 , 數據 , Java大數據 , JAVA , 智能教育

收藏 評論

hang_6172510b10416 頭像

愚公爬山 - PySpark一：Windows10環境搭建

Spark Apache Spark是一個多語言引擎，用於在單節點機器或集羣上執行數據工程、數據科學和機器學習。 https://spark.apache.org/ Spark環境搭建 1: 下載spark，解壓後放到了sparks3.5.5目錄中 https://spark.apache.org/downloads.html 並添加環境變量 2：訪問htt

spark , etl

收藏 評論

u_16099178 頭像

雲端小悟空 - spark 邏輯表和物理表

外鍵 數據庫中的表必須符合規範，才能杜絕數據冗餘、插入異常、刪除異常等現象。規範的過程是分解表的過程。經過分解，同一事物的代表屬性出現在不同的表中。顯然，它們應該保持一致。外鍵的值或者是另外一個表的主鍵值或者為空值*。例如：學號在學生表裏是主鍵，在成績表裏是外鍵。成績表裏的學號一定要是學生表裏的學號。於是，學生表裏的學號和成績表裏的學號就一致了*。

spark , 字段 , 大數據 , 外鍵 , 數據庫 , spark 邏輯表和物理表 , 主鍵

收藏 評論

doge_king 頭像

泊浮目 - 培訓班誤人子弟！扒源碼見真相

本文在綠泡泡“狗哥瑣話”首發於2025.11.24 -關注不走丟。 前言 大家好，這裏是狗哥。前陣子一個粉絲髮了我一個鏈接，問了我個問題。 那從這篇文章可以看到呢，這裏的確提到了一些RBO規則啊，還説是關鍵優化示例，但並不是啊，真實情況會有50多個規則，50多個規則裏呢，會有不少規則是關鍵優化示例。那今天就帶大家一個個解讀過去，主打一個真實硬核的扒源碼説話！ 那要注意的是呢，講

spark , SQL , 優化

收藏 評論