tag 大數據

標籤
貢獻385
294
05:15 PM · Oct 25 ,2025
tech 頭像 elhix0bg 頭像 nebulabio 頭像 u_16272508 頭像 u_15844731 頭像 u_14767244 頭像 dolphinscheduler 頭像 ververica 頭像 seatunnel 頭像 zhaoqianglaoshi 頭像 huikaichedemianbao 頭像 u_17602582 頭像

@大數據 / 博客 RSS 訂閱

u_16099314 頭像

技術極客 - hadoop sequence file 分片規則

在hadoop中edits和fsimage是兩個至關關鍵的文件。當中edits負責保存自最新檢查點後命名空間的變化。起着日誌的作用，而fsimage則保存了最新的檢查點信息。這個兩個文件裏的內容使用普通文本編輯器是無法直接查看的，幸運的是hadoop為此準備了專門的工具用於查看文件的內容。這些工具分別為oev和oiv。能夠使用hdfs調用運行。

大數據 , hadoop , xml

收藏 評論

u_17602582 頭像

mb69410ac31213c - 0門檻部署，上線週期縮短80%！華為雲Flexus AI智能體免費體驗

在數字化轉型的浪潮中，企業智能化升級已從“選擇題”變為“必答題”。市場研究機構Forrester預測，到2027年，超過80%的企業將部署AI智能體來優化業務流程。但當下，技術門檻和成本壓力卻讓眾多企業望而卻步。 以更低門檻的方式體驗智能體，是廣大中小企業的共同願望。順應潮流，華為雲基於業界領先的開源Dify平台，深度融合了對企業高頻業務場景的深刻理解和最佳實踐沉澱，在華為

業務流程 , 大數據 , 數據倉庫 , 官網 , 調優

收藏 評論

u_16099263 頭像

IT狼人9號 - Spark Operator 與工作流 集成

Spark Streaming原理 Spark Streaming 是基於spark的流式批處理引擎。其基本原理是：將實時輸入數據流以時間片為單位進行拆分，然後經Spark引擎以類似批處理的方式處理每個時間片數據。 Spark Streaming作業流程 客户端提交作業後啓動Driver（Driver

spark , Streaming , 大數據 , 數據

收藏 評論

yunrizhi_daishuyun 頭像

雲掣科技 - 開源大數據集羣部署（八）Ranger編譯部署

作者：櫰木 在hd1.dtstack.com主機root權限下操作。 1、 編譯ranger ranger二進制包編譯過程在本次過程中不做詳細説明。簡單説明如下： 在pom.xml中更改對應hadoop集羣組件版本。 ranger2編譯前提條件是python3和mvn已安裝完成。 編譯命令： mvn clean compile package install -Pranger-jd

部署 , 大數據 , 集羣

收藏 評論

u_16213712 頭像

mob64ca14173efa - 為什麼Libraries中Classes是Archive file

關於myeclips提示TheserializableclassXXXdoesnotdeclareastaticfinalserialVersionUIDfieldoftypelong的警告 我們在用eclips/myeclips的時候，會出現這個warning，比如在用hibernate時，自動生成表的對應類後，就有這個提示。這是為什麼呢？ 這與jdk的版本沒關係，

大數據 , 版本號 , hive , JAVA , 不兼容

收藏 評論

tech 頭像

青雲交技術圈 - Java 大視界 -- Java 大數據機器學習模型在電商用户流失預測與留存策略制定中的應用

(centerJava 大視界 -- Java 大數據機器學習模型在電商用户流失預測與留存策略制定中的應用/center) 引言： 嘿，親愛的 Java 和 大數據愛好者們，大家好！我是CSDN（全區域）四榜榜首青雲交！在《大數據新視界》和《 Java 大視界》專欄的探索之旅中，我們已見證 Java 大數據在多個領域的驚豔表現。如今，在競爭白熱化的電商戰場，用户流失成為企業利潤的

機器學習 , spark , 隨機森林 , 大數據 , yyds乾貨盤點 , 留存策略 , 電商用户流失

收藏 評論

u_16213636 頭像

mob64ca1404ed65 - flink一定要和hadoop flink hadoop

文章目錄 一、下載安裝IDEA 二、搭建本地hadoop環境（window10） 三、安裝Maven 四、新建項目和模塊 1）新建maven項目 2）新建flink模塊 五、配置IDEA環境（scala） 1）下載安裝scala插件 2）配置scala插件到模塊或者全局環境 3）創建scala項目 4）DataSt

flink一定要和hadoop , 大數據 , hadoop , flink

收藏 評論

u_16099172 頭像

編程小天匠 - 60張圖spark

最近很多博友問，你的文章如何排版的？你的代碼怎麼這麼漂亮？你的圖片怎麼有陰影效果？為了滿足大家需要，我特地總結一下博文排版技巧~~希望你讀完這篇文章後有個全新的體驗和輕鬆的心情寫博文了~~ 在博客園博文五要素：標題、段落、代碼、圖片、版權。 我的原則是HTML最簡、文章最美觀、內容最清晰！本篇文章適用Windows Live Writer。

spark , 大數據 , ViewUI , 60張圖spark , 人工智能 , HTML , 前端

收藏 評論

edatec 頭像

樹莓派開發者 - 「樹莓派」「上海晶珩」「EDATEC」HDMI配置大全！

HDMI配置 在絕大多數情況下，只需使用標準HDMI電纜將配備HDMI的顯示器插入設備即可自動使用顯示器支持的最佳分辨率。對於迷你HDMI端口和微型HDMI端口，您需要一個迷你HDMI和微型HDMI到全尺寸HDMI引線或適配器來連接每個顯示器。 我們的設備HDMI顯示分辨率最高可以達到4k，刷新率為60Hz。您必須通過在config.txt中設置hdmi_enable_4Kp60=1標誌來啓用4K

大數據 , 物聯網 , raspberry-pi , 工業物聯網

收藏 評論

u_12195 頭像

jojo - js list更新幾個索引的數據

目錄 創建 訪問 常用屬性和相關方法 1. length 長度屬性 2.push() 新增元素- 末尾添加 3.unshift()新增元素- 開頭添加 4.pop()移除元素- 末尾刪除 5.shift()移除元素- 開頭刪除 6.concat() 複製數組後新增 7.slice() 複製數組

js , 數組 , 大數據 , 數據倉庫 , js list更新幾個索引的數據 , 遍歷數組 , Javascript

收藏 評論

vivo_tech 頭像

vivo互聯網技術 - Flink 的 RocksDB 狀態後端在 vivo 的實踐

作者： 互聯網大數據團隊- Chen Rui 本文簡要介紹了特徵拼接在實時推薦中的重要作用，並講述了vivo實時推薦系統中特徵拼接模塊的架構演進過程以及採用現有的“基於RocksDB的大狀態解決方案”的原因，重點敍述了該方案所遇到的一系列問題，包括TM Lost、RocksDB性能調優門檻高、TM初始化慢、狀態遠程存儲HDFS RPC飆高等，並給出了這些問題的現象以及解決方案。 1分鐘看圖

大數據 , 推薦系統 , 內存泄漏 , RocksDB

收藏 評論

u_16213644 頭像

mob64ca1406d617 - 執行計劃如何判斷排序是否走索引

一、MySQL的語句執行順序 MySQL的語句一共分為11步，如下圖所標註的那樣，最先執行的總是FROM操作，最後執行的是LIMIT操作。其中每一個操作都會產生一張虛擬的表，這個虛擬的表作為一個處理的輸入，只是這些虛擬的表對用户來説是透明的，但是隻有最後一個虛擬的表才會被作為結果返回。如果沒有在語句中指定某一個子句，那麼將會跳過相應的步驟。 二、explain

字段 , 子查詢 , 大數據 , MySQL , 數據倉庫 , 執行計劃如何判斷排序是否走索引

收藏 評論

u_16099205 頭像

架構思維大師 - pgsql 分區表全局索引

Kimberly L. Tripp SQLskills.com 的創始人 適用於： SQL Server 2005 摘要：SQL Server 2005 中基於表的分區功能為簡化分區表的創建和維護過程提供了靈活性和更好的性能。追溯從邏輯分區表和手動分區表的功能到最新分區功能的發展歷程，探索為什麼、何時以及如

pgsql 分區表全局索引 , 服務器 , 大數據 , 數據倉庫 , microsoft , 數據庫 , SQL Server

收藏 評論

u_16272508 頭像

事辯天下 - 奧哲入選Forrester：奧哲企業級AI平台獲權威認證！

近日，全球權威機構Forrester發佈了《中國AI Agent生態指南(Navigate The AI Agent Ecosystem In China)》，深度解析中國AI Agent市場生態。奧哲作為中國AI Agent典範廠商入選報告。 此前，奧哲曾於2023年入選Forrester低代碼平台報告，同時在2024年IDC Tracker報告獲得中國低代碼軟件

大數據 , 數據 , 數據倉庫 , 企業級 , 應用領域

收藏 評論

nebulabio 頭像

北京辰輝創聚生物 - 柯薩奇病毒及其重組蛋白：結構、生命週期與科研工具解析

在病毒學與感染性疾病的基礎研究領域，柯薩奇病毒（Coxsackievirus）作為一種重要的病原體模型，其精細的分子結構與獨特的生命週期機制，持續為科研人員揭示病毒致病原理提供關鍵視角。 一、 柯薩奇病毒的病毒學分類與顆粒結構 柯薩奇病毒屬於小RNA病毒科（Picornaviridae）腸道病毒屬（Enterovir

重組蛋白表達技術 , 重組蛋白酶 , 3C蛋白酶 , 大數據 , 數據倉庫 , VP1蛋白 , CVB3 VP1蛋白

收藏 評論

u_16213710 頭像

mob64ca1416b5a8 - 韓國sparksparkling調vk

好長時間忙的沒寫博客了。看到有人問spark的knn，想着做推薦入門總用的knn算法，順便寫篇博客。 knn算法的大致如下： 1）算距離：給定測試對象，計算它與訓練集中的每個對象的距離 2）找鄰居：圈定距離最近的k個訓練對象，作為測試對象的近鄰 3）做分類：根據這k個近鄰歸屬的主要類別，來對測試對象分類

spark , List , 大數據 , 搜索 , 韓國sparksparkling調vk

收藏 評論

u_14291117 頭像

vivo互聯網 - Flink 的 RocksDB 狀態後端在 vivo 的實踐

作者： 互聯網大數據團隊- Chen Rui 本文簡要介紹了特徵拼接在實時推薦中的重要作用，並講述了vivo實時推薦系統中特徵拼接模塊的架構演進過程以及採用現有的“基於RocksDB的大狀態解決方案”的原因，重點敍述了該方案所遇到的一系列問題，包括TM Lost、RocksDB性能調優門檻高、TM初始化慢、狀態遠程存儲HDFS RPC飆高等，並給出了這些問題的現

Apache Flink , 大數據 , 推薦系統 , 私藏項目實操分享 , 數據倉庫 , 內存泄漏 , RocksDB

收藏 評論

u_16099289 頭像

編程小匠人傳奇 - 如何在vue項目中裝yarn

安裝node.js 從 node.js官網下載並安裝node，安裝過程很簡單，一路“下一步”就可以了。 安裝完成之後，打開命令行工具，輸入node -v，如下圖，如果出現相應的版本號，則説明安裝成功。

如何在vue項目中裝yarn , 大數據 , yarn , 操作系統 , ViewUI , webpack , Javascript

收藏 評論

u_16099302 頭像

技術極先鋒 - spark 不支持k8s spark.deploy.recoverymode不支持

摘要： 　　1、Operation category READ is not supported in state standby 　　2、配置spark.deploy.recoveryMode選項為ZOOKEEPER 　　3、多Master如何配置 　　4、No Space Left on the device（Shuffle臨

spark , spark 不支持k8s , 大數據 , JAVA , apache

收藏 評論

u_16213713 頭像

mob64ca1417736e - 寶塔安裝 ZipArchive

項目中準備使用ElasticSearch，之前只是對ElasticSearch有過簡單的瞭解沒有系統的學習，本系列文章將從基礎的學習再到深入的使用。 咔咔之前寫了一份死磕MySQL文章，如今再入一個系列玩轉ElasticSearch。 本期文章會帶給大家安裝ElasticSearch、Kibana、Logstash、配置ElasticSearch外網可訪問、配置守護進

寶塔安裝 ZipArchive , elasticsearch , 大數據 , 數據 , hive , JAVA

收藏 評論

u_16099278 頭像

代碼工匠傳奇 - hadoop3x 兼容的hive

Hadoop集羣安裝配置教程_Hadoop3.1.3_Ubuntu http://dblab.xmu.edu.cn/blog/2544-2/ 林子雨編著《大數據技術原理與應用（第3版）》教材配套大數據軟件安裝和編程實踐指南 http://dblab.xmu.edu.cn/post/13741/ hadoop hbase hive spark對應版本

spark , hadoop3x 兼容的hive , 大數據 , MySQL , hive , hadoop

收藏 評論

u_16489298 頭像

8181大拿 - 理解純函數、不可變性、高階函數與函數柯里化

函數式編程的概念和技術正在逐漸被廣泛採用。本文將詳細探討純函數、不可變性、高階函數和函數柯里化這四個關鍵概念，並結合實際案例進行分析。 純函數 (Pure Function) 純函數是指給定相同輸入，總是生成相同輸出的函數，且沒有副作用（side effects）。純函數使得代碼更加可預測和易於調試。 特點及優勢 特點 優勢

大數據 , 數據 , hadoop , 高階函數 , 複用

收藏 評論

ruozxby 頭像

不語 - kibana.bat 啓動閃退問題的解決

kibana.bat 啓動閃退問題的解決 elasticsearch啓動成功的情況下 kibana.bat啓動閃退，鼠標右擊以管理員的方式啓動，就能成功啓動

es7 , 大數據 , JAVA , 程序員 , 前端

收藏 評論

u_16106567 頭像

建投數據 - 建投數據通過ISO14001、ISO45001再認證

近日，建投數據順利通過ISO14001環境管理體系、ISO45001職業健康安全管理體系再認證。 這兩項國際通行的管理體系認證，分別從不同維度，對企業提出嚴格的要求：ISO14001環境管理體系認證旨在推動企業可持續發展，促使企業在經營過程中注重環境保護，減少對環境的負面影響，實現經濟效益與環境效益的雙贏；ISO45001職業健康安全管理體系認證聚焦於企業為員工創造

差異化 , 大數據 , 數據倉庫 , 解決方案 , 安全管理

收藏 評論