tag 大數據

標籤
貢獻385
292
05:15 PM · Oct 25 ,2025
tech 頭像 elhix0bg 頭像 nebulabio 頭像 u_16272508 頭像 u_15844731 頭像 u_14767244 頭像 dolphinscheduler 頭像 ververica 頭像 seatunnel 頭像 zhaoqianglaoshi 頭像 huikaichedemianbao 頭像 u_17602582 頭像

@大數據 / 博客 RSS 訂閱

u_16099227 頭像

雲端創新者 - installet和archive什麼區別

Linux 中的 Install命令 更新時間：2017年09月25日 16:51:45 投稿：mrr install命令的作用是安裝或升級軟件或備份數據，它的使用權限是所有用户。 本文重點給大家介紹Linux 中的 Install命令，感興趣的朋友一起看看吧 install命令的作用是安裝或升級軟件或備份數據，它的使用權限是所有用户

後綴 , 大數據 , 主目錄 , hive , Linux

收藏 評論

u_16099221 頭像

技術領航者之聲 - 基於模型的強化學習 目標檢測

作者：Mostafa Ibrahim 編譯：ronghuaiyang 導讀 使用EfficientNet和YoloV5的融合可以提升20%的performance。 在本文中，我將解釋上一篇文章中稱之為“2 class filter”的概念。這是一種用於目標檢測和分類模

機器學習 , 大數據 , 基於模型的強化學習 目標檢測 , 人工智能 , 計算機視覺 , 網絡

收藏 評論

u_16213592 頭像

mob64ca13fa6a3c - HDFS介紹_51CTO博客

這是一個關於HDFS的核心優勢問題。簡單來説，HDFS的設計目標就是處理超大文件（TB/PB級別），並能在成千上萬台普通商用服務器上穩定運行。 下面我們來詳細分解這兩個問題： 1. HDFS可以處理多大的數據？ HDFS的設計初衷就是為了解決海量數據的存儲問題，它的數據容量能力可以從以下幾個層面來理解： 理論極限：極高

hdfs , 大數據 , 數據 , hadoop , 後端開發 , Python

收藏 評論

powerdata 頭像

PowerData - 【邀請函】5月18 | PowerData 數字經濟·上海開源行！

活動介紹 十里洋場煙花地，風雲際會上海灘。 上海作為國家經濟最發達的城市，離不開各行業的支撐。實體經濟，金融，互聯網都在其中發揮着重要的作用，而這背後是無數的數據在支撐。 為了讓廣大數據人在數據這條路上走得更遠更穩，PowerData將於5月18號在春暖花開的上海舉辦以“數字經濟-城市開源行”為主題的線下開源分享活動。 為此PowerData廣發英雄帖，邀請數據江湖中各位志同道合的朋友一起參與，探

社區 , 上海 , 大數據 , 開源 , 活動

收藏 評論

u_16213616 頭像

mob64ca14005461 - 大數據分析有什麼含義

大數據分析概述 目錄 大數據的定義與核心特徵 大數據的定義 大數據的4V特徵 大量化（Volume） 快速化（Velocity） 多樣化（Variety） 價值化（Value） 大數據分析的基本流程 準備階段 目標：構建高質量的數據基礎 核心任務： 發現階段 目標：挖掘數

數據挖掘 , 大數據 , 數據 , 後端開發 , 數據分析 , Python

收藏 評論

u_17511805 頭像

mb68b55c93e2f2b - 2025湯遜湖創新論壇舉辦 為江夏“十五五”發展聚勢賦能

2025年12月23日，在“十四五”規劃圓滿收官、“十五五”藍圖徐徐展開的關鍵時點，由武漢市江夏區人民政府指導，江夏區經濟信息化和科技創新局（數據局）、江夏區科技創新和人才服務中心、江夏區工商業聯合會聯合主辦的“2025湯遜湖創新論壇”於江夏陽光創谷成功舉行。論壇緊扣國家發展新質生產力的戰略核心，聚焦科技創新與產業創新深度融合，匯聚政、產、學、研、金、服等百餘位各界代表，共同為江

大數據 , 二維碼 , 沉浸式 , 架構 , 後端開發

收藏 評論

u_16213723 頭像

mob64ca1419e0cc - Python爬蟲入門 | 4 爬取豆瓣TOP250圖書

目錄 一、開門見山，探究網頁結構 二、確定思路 1.拿到頁面源代碼/響應 2.編寫正則，提取頁面數據 3.保存數據 三、步驟詳解 1.初步爬取 2.繞過反爬 3.編寫正則表達式與正則匹配 4.翻頁爬取 5.注意點 Hello，我是蔣星熠Jaxonic！ 在浩瀚無垠的技

正則匹配 , 大數據 , 數據 , hadoop , 正則表達式

收藏 評論

ververica 頭像

ApacheFlink - 流、表與“二元性”的幻象

本文由Ververica首席架構師GiannisPolyzos撰寫，__探討了流與表的“二元性”本質，澄清常見誤解，指出Kafka與Iceberg等系統在缺乏主鍵和變更語義時無法真正實現該二元性，並強調統一系統對流表融合的重要性。 什麼是流/表二元性？ 核心思想其實很簡單： 流（Stream）是一個永不停止的變更日誌📜。 表（Table）是這些變更的物化視圖，即當前狀態🗄️。 👉任

fluss , 大數據 , flink , 實時計算

收藏 評論

wang 頭像

江南獨孤客 - CDH的HDFS DataNODE修改了參數之後，重啓失敗又會回退之前的配置狀態

CDH的HDFS DataNODE修改了參數之後，重啓又會回退之前的配置狀態，日誌裏面的關鍵日誌是： 根據日誌中Permission denied錯誤和健康檢查禁用狀態，結合Cloudera Manager的運行機制，以下是系統性解決方案： 一、核心問題分析 權限拒絕根源 Can't open /var/run/cloud

hdfs , cloudera , 大數據 , hive , 重啓

收藏 評論

u_16213637 頭像

mob64ca140530fb - 單台服務器 hadoop有意義嗎

Linux下的幾種併發服務器的設計模式 1單線程或者單進程 　　相當於短鏈接，當accept之後，就開始數據的接收和數據的發送，不接受新的連接，即一個server，一個client 　　不存在併發。 2循環服務器和併發服務器 　　1.循環服務器：一個server只能一次只能接收一個client，噹噹前client結束訪問之後才能進行下一個client

服務器 , 大數據 , hadoop , 描述符 , 單台服務器 hadoop有意義嗎 , 多進程

收藏 評論

u_12902 頭像

jiecho - 適應性 可擴展性 泛化性

　　今天終於把軟件需求模式讀完了，但是我對這本書的理解還是不夠透徹和明白，然而通過一個月閲讀，還是有很多的感悟和見解，我對軟件需求有了更深一步的理解，下面我就來談一談我對這本書的感受。 　　這次主要介紹適應性需求模式，性能需求模式，訪問控制模式和商業需求模式。適應性需求模式通常有助於產生跟健壯的系統，並滿足特定的目標。但有些適用性使用很昂貴。其中主要包括6方面：可伸縮性（準

性能需求 , 大數據 , 用户認證 , 數據倉庫 , 訪問控制 , 適應性 可擴展性 泛化性

收藏 評論

u_16099276 頭像

風輕雲淡的開發 - 範圍查找導致索引失效

在搜索程序較為棘手一部分就是搜索範圍。 絕大數搜索程序都不能在單台計算機上完成足夠數量的數據搜索或併發搜索。 有時候為了避免由於單硬件問題出現導致無法服務，可以運行在多台機器上。 這種設計能夠不影響當前搜索程序運行的情況下臨時推出一台計算機來進行維護和升級。 搜索範圍有兩種界定方式： 淨處理內容和淨查詢吞吐量。 如果處理的數據量較大的話必須將這些數

大數據 , 數據 , 搜索 , 數據倉庫 , 加載 , 範圍查找導致索引失效

收藏 評論

u_16213575 頭像

墨舞青雲 - hive併發寫入

一、概述 Hive由Facebook開源，是一個構建在Hadoop之上的數據倉庫工具 將結構化的數據映射成表 支持類SQL查詢，Hive中稱為HQL 1.讀模式 2.Hive架構 3.使用Hive的原因 Hadoop數據分析的問題： MapReduce實現複雜查詢邏輯開發難度大，週期長 開發速

hdfs , hive併發寫入 , 大數據 , hive , hadoop

收藏 評論

u_14767244 頭像

u_14767244 - 上海證券 SelectDB 升級實踐：湖倉流批一體落地與 Elasticsearch 全面替換

導讀 上海證券引入 SelectDB 作為核心實時分析引擎，有效彌補了實時數據處理與分析的能力短板，實現湖倉一體與流批一體，同時替換了原架構中的 Elasticsearch 組件。達成了寫入性能提升 4 倍，支撐 1000+ QPS 高併發訪問，關鍵決策響應速度 200 ms，開發效率提升 50%，運維成本大幅降低的關鍵收益。 業務背景 上海證券成立於 200

大數據 , 數據 , elastic , 運維 , 數據倉庫

收藏 評論

u_15844731 頭像

阿森CTO - 【STM32】新建工程

@TOC 一、關於窗口 1.建立項目文件夾 2.打開Keil-Create New Project,選擇剛剛建立的文件夾 3.在此文件夾裏建立工程模板，起個名字為Project 4.選擇器件型號，在此使用的是STM32C8T6 5.添加必要文件打開固件庫文件夾，可以看到啓動文件，全部複製下來，返回剛剛建立

庫函數 , 大數據 , yyds乾貨盤點 , 數據倉庫 , 引腳 , 寄存器

收藏 評論

u_16213673 頭像

mob64ca140dc73b - 模型的可擴展性如何實驗驗證

文章作者：Tyan簡書、 1. 擴張卷積 Dilated Convolutions，翻譯為擴張卷積或空洞卷積。擴張卷積與普通的卷積相比，除了卷積核的大小以外，還有一個擴張率(dilation rate)參數，主要用來表示擴張的大小。擴張卷積與普通卷積的相同點在於，卷積核的大小是一樣的，在神經網絡中即參數數量不變，區別在於擴張卷積具有更大的感受野。感受野是卷積核在圖像上

卷積 , 卷積核 , 大數據 , 模型的可擴展性如何實驗驗證 , 數據倉庫 , 目標檢測

收藏 評論

baoge_60cc0ddfbfda4 頭像

寶哥 - ES--ids查詢

參考： Elasticsearch Reference [7.10] » Query DSL » Term-level queries » IDs 一、ID 查詢   ES每一行數據，即文檔都會有一個id，如果指定某一列field值作為id，則該列field必須為唯一鍵，類似於MySQL的UK；不過不指定，ES會自動生成，常常為了更好的定位數據，會指定一列滿足UK的field作為文檔的id，接下來

elasticsearch , es7 , 大數據

收藏 評論

tech 頭像

青雲交技術圈 - Java 大視界 -- 基於 Java 的大數據實時流處理在能源行業設備狀態監測與故障預測中的應用

(centerJava 大視界 -- 基於 Java 的大數據實時流處理在能源行業設備狀態監測與故障預測中的應用/center) 引言： 嘿，親愛的 Java 和 大數據愛好者們，大家好！我是CSDN（全區域）四榜榜首青雲交！在《大數據新視界》和《 Java 大視界》系列的探索之旅中，我們已一同領略 Java 大數據在多個領域的非凡魅力。從智能教育領域用數據重塑教學模式，到智能安

spark , 大數據 , yyds乾貨盤點 , 數據 , JAVA

收藏 評論

u_16099178 頭像

雲端小悟空 - 我的Hadoop學習之路 - sunt99的個人頁面 -

在信息爆炸的時代，我們被海量數據所包圍。如何從這些看似混沌的數據中提取價值，曾是一個巨大的難題。直到我遇見了Hadoop，它像一位智慧的引路人，為我打開了分佈式計算世界的大門。這段學習旅程不僅是掌握一門技術，更是一場思維模式的革命。在此，我將從編程思想、技巧運用和心路歷程三個方面，分享我的學習心得。 #### **一、 編程思想的轉變：從“單體”到

大數據 , 數據 , 學習 , hadoop

收藏 評論

u_16099311 頭像

Python數據分析 - linux yarn配置全局路徑

前言:在linux命令使用中，有些命令總是又長又難記，就算是經常使用的命令每次都敲也真的很煩，所以今天教大家一個方法，來簡化命令，創建我們自己的內建命令！！！ 創建內置命令 創建命令存儲目錄 現在linux上創建一個保存我們自己命令文件夾 [root@localhost /]# cd / [root@localhost /]#

大數據 , yarn , linux yarn配置全局路徑 , Docker , shell

收藏 評論

u_16099335 頭像

碼海無壓 - digispark驅動下載

第一種：JDBC-ODBC橋 Jdbc-odbc橋是sun公司提供的，是jdk提供的的標準api。這種類型的驅動實際是把所有jdbc的調用傳遞給odbc，再由odbc調用本地數據庫驅動代碼。（本地數據庫驅動代碼是指由數據庫廠商提供的數據庫操作二進制代碼庫，例如在oracle for windows中就是oci dll文件) 只要

spark , digispark驅動下載 , 大數據 , jdbc , API , 數據庫 , 數據庫驅動程序

收藏 評論

u_15844731 頭像

阿森CTO - Linux命令行工具

@TOC 📝前言 該文章j將介紹Linux中的常用系統工具和命令，如用於分頁顯示文本的more和less、顯示時間的date、管理日曆的cal、文件搜索的find和grep、以及壓縮/解壓縮的zip/unzip和tar。文中詳細解釋了每個命令的語法、功能和常用選項，並提供了示例。 🌠 more more 命令是一個分頁顯示文本文件內容的工具,它

大數據 , yyds乾貨盤點 , 搜索 , hive , 數據倉庫 , Linux

收藏 評論

u_16213697 頭像

mob64ca14137e4f - YARN公平調度器詳解

進程調度算法 1、先來先服務調度算法FCFS 先到的進程先調度，執行過程不會被中斷直到進程結束。 優點：易於實現，且相當公平。 缺點：比較有利於長進程，而不利於短進程。 2、短作業優先調度算法SJF 優先分配給短進程執行。 優點：平均週轉時間最短，進程等待時間縮短，可以增大系統吞吐量。 缺點：難以準確預估進

時間片 , 大數據 , yarn , YARN公平調度器詳解 , 操作系統 , 面試 , 調度算法

收藏 評論

u_16213571 頭像

網絡安全專家 - 基於Matlab使用到達時差 （TDOA） 跟蹤對象仿真（附源碼）_時差定位法matlab代碼

一、TDOA算法原理概述 到達時間差（Time Difference of Arrival, TDOA） 是一種基於多傳感器協同的定位技術，通過測量信號到達不同傳感器的時間差，結合傳感器位置信息，反推信號源（如聲源、無線發射源）的空間座標。其核心原理是：信號源到兩個傳感器的距離差為常數時，信號源位於以這兩個傳感器為焦點的雙曲線上，多個雙曲線的交點即為信號源位置。 1.

大數據 , hadoop , MATLAB , 最小二乘法 , 高精度

收藏 評論