tag 大數據

標籤
貢獻385
277
05:15 PM · Oct 25 ,2025
tech 頭像 elhix0bg 頭像 nebulabio 頭像 u_16272508 頭像 u_15844731 頭像 u_14767244 頭像 dolphinscheduler 頭像 ververica 頭像 seatunnel 頭像 zhaoqianglaoshi 頭像 huikaichedemianbao 頭像 u_17602582 頭像

@大數據 / 博客 RSS 訂閱

u_16213689 頭像

mob64ca1411a6fc - MongoDB安裝，使用教程（圖文）_51CTO博客

MongoDB入門教程：5分鐘學會安裝和基本操作 MongoDB作為當今最流行的NoSQL數據庫之一，以其高性能、靈活的數據模型和強大的水平擴展能力而聞名。無論你是開發者還是數據分析師，掌握MongoDB都能為你的項目帶來巨大價值。本文將為你提供完整的MongoDB安裝指南和基礎操作教程，讓你在5分鐘內快速上手這個強大的文檔數據庫。

大數據 , 數據 , 數據模型 , hadoop , 數據庫

收藏 評論

u_15591410 頭像

我就是不長肉而已 - 2N7002K-ASEMI智能家居控制專用2N7002K

編輯：LL 2N7002K-ASEMI智能家居控制專用2N7002K 型號：2N7002K 品牌：ASEMI 封裝：SOT-23 RDS(on):5.0Ω 批號：最新 引腳數量：3 封裝尺寸：如圖 特性：N溝道MOS管 工作結温：-55℃~150℃ 當 “小而精” 遇上 “高可靠”，2N7002K 重新定義中低壓

ASEMI , 大數據 , hadoop , MOS管 , 在51CTO的第一篇博文 , 2N7002K

收藏 評論

u_14767244 頭像

u_14767244 - 從 Flink 到 Doris 的實時數據寫入實踐——基於 Flink CDC 構建更實時高效的數據集成鏈路

Flink-Doris-Connector 作為 Apache Flink 與 Doris 之間的橋樑，打通了實時數據同步、維表關聯與高效寫入的關鍵鏈路。本文將深入解析 Flink-Doris-Connector 三大典型場景中的設計與實現，並結合 Flink CDC 詳細介紹了整庫同步的解決方案，助力構建更加高效、穩定的實時數據處理體系。 一、Apache Doris 簡介 A

數據同步 , 大數據 , 數據 , 數據倉庫 , apache

收藏 評論

u_14767244 頭像

u_14767244 - 深入理解 Doris Variant：如何讓 JSON 查詢性能追平列存，還能承載萬列索引字段？｜Deep Dive

摘要：在如 Snowflake、ElasticSearch、ClickHouse.... 等傳統系統中，對於 JSON 的處理往往面臨靈活性及性能無法兼得的困境，而 Apache Doris 的 VARIANT 類型，通過動態子列、稀疏列存儲、延遲物化和路徑索引等能力，實現了靈活結構 + 列存性能的平衡。本文將對該能力的實現一一講解，全面展示其優勢。 在大數據時代，JSON 已

大數據 , 數據 , 數據倉庫 , 結構化 , Json

收藏 評論

u_15879876 頭像

Aloudata - 企業級 VS 個人級：智能問數的“集團軍”與“單兵作戰”的差異解析

智能問數正迅速成為企業數據消費的新入口。從初創公司到世界 500 強，眾多組織嘗試通過“一句話問數”的方式，降低數據分析門檻、提升決策效率。理想很豐滿，但現實很骨感，“問不準”、“不靈全”、“問不深”成為大量嚐鮮用户的普遍感受。 表面上看，這類失敗常被歸因於技術瓶頸——例如模型準確性不足、SQL 生成錯誤、響應延遲等。但深入剖析後不難發現，問題的根

大數據 , 數據倉庫 , 智能歸因 , 智能報告 , 數據分析 , 智能問數 , chatbi

收藏 評論

u_16099253 頭像

數據解碼者 - spark 被壓

因特殊業務場景，如大促、秒殺活動與突發熱點事情等業務流量在短時間內劇增，形成巨大的流量毛刺，數據流入的速度遠高於數據處理的速度，對流處理系統構成巨大的負載壓力，如果不能正確處理，可能導致集羣資源耗盡最終集羣崩潰，因此有效的反壓機制(backpressure)對保障流處理系統的穩定至關重要。 Storm和SparkStreaming都提供了反

spark , Streaming , spark 被壓 , 大數據 , 數據 , 執行過程

收藏 評論

u_16213580 頭像

雲端行者 - hadoop二版本增加了什麼 hadoop2.7.6

Hadoop2.7.6學習 Hadoop的發展史 Google 爬取全球的網站，然後計算頁面的PageRank 要解決網站的問題： a：這些網站怎麼存放 b：這些網站應該怎麼計算 發佈了三篇論文 a：GFS(Google File System) b：MapReduce(數據計算方法)

大數據 , 數據 , hadoop , hadoop二版本增加了什麼 , apache

收藏 評論

u_16213620 頭像

mob64ca1401464d - yarn配置文件修改

文件配置： 在配置php支持yaf的時候，可以設置一個參數yaf.environ：把本地開發設置成develop、測試環境配置成test、生產環境配置成product。 [yaf] extension=yaf.so yaf.use_namespace=1 yaf.environ=develop 通過設置運行環境，在項目中可以通過ini_get(

實例化 , 大數據 , yarn , 配置文件 , 運行環境 , yarn配置文件修改

收藏 評論

u_15444077 頭像

u_15444077 - 從random隨機數看驗證碼重複數字

本文分享自天翼雲開發者社區《從random隨機數看驗證碼重複數字》.作者：王****淋 ## 推導： 1. 有6個不同數字 - (0個重複數字: 1+1+1+1+1+1): $$p(6) = C_{10}^6 * 6! \div 10^6$$ 2. 有5個不同數字 - (某個數字重複了2次: 1+1+1+1+2): $$p(5) = (\

大數據 , 數據倉庫

收藏 評論

dtstack 頭像

袋鼠雲數棧 - AIWorks四大核心能力煥新！打造高性能 AI 應用開發底座

近期，智能應用開發平台 AIWorks 進行了四大板塊的內容升級，以提升開發效率、增強靈活性、優化檢索體驗和強化安全保障為核心目標，通過工作流畫布的革新、自定義工具能力的突破、知識庫檢索的升級以及平台權限的精細化管控，為開發者打造了一個高效、智能、安全的開發環境，更好助力開發者應對複雜業務挑戰，加速AI智能應用的落地進程。以下是AIWorks四大升級亮點詳細內容： 一、工作流畫布更新 本次迭代的核

大數據 , 算法 , 開發 , 數據庫 , 人工智能

收藏 評論

u_13303 頭像

colddawn - DB where 字段 is null 會走索引嘛

1.對查詢進行優化，要儘量避免全表掃描，首先應考慮在 where 及 order by 涉及的列上建立索引。 2.應儘量避免在 where 子句中對字段進行 null 值判斷，否則將導致引擎放棄使用索引而進行全表掃描，如： select id from t where num is null 最好不要給數據庫留NULL，儘可能的使用NO

字段 , 大數據 , 存儲過程 , 數據倉庫 , bc

收藏 評論

u_106065 頭像

laokugonggao - spark sql 不包含元素

SQL操作全集 下列語句部分是Mssql語句，不可以在access中使用。 SQL分類： DDL—數據定義語言(CREATE，ALTER，DROP，DECLARE) DML—數據操縱語言(SELECT，DELETE，UPDATE，INSERT) DCL—數據控制語言(GRANT，REVOK

spark , 表名 , spark sql 不包含元素 , 大數據 , 數據庫 , SQL

收藏 評論

u_14767244 頭像

u_14767244 - Apache Doris 在小米統一 OLAP 和湖倉一體的實踐

小米早在 2019 年便引入 Apache Doris 作為 OLAP 分析型數據庫之一，經過五年的技術沉澱，已形成以 Doris 為核心的分析體系，並基於 2.1 版本異步物化視圖、3.0 版本湖倉一體與存算分離等核心能力優化數據架構。本文將詳細介紹小米數據中台基於 Apache Doris 3.0 的查詢鏈路優化、性能提升、資源管理、自動化運維、可觀測等一系列應用實踐。

大數據 , 數據 , 運維 , 數據倉庫 , 物化視圖

收藏 評論

huikaichedemianbao 頭像

合合技術團隊 - 啓信寶發佈《全國產業集羣大全》哈爾濱篇：2300家企業織就冰雪產業網

寒潮襲來，國內冰雪旅遊市場正悄然升温，“北上追雪”成為消費新熱點。隨着第27屆哈爾濱冰雪大世界啓動冰建工作，這座北方“冰城”正式進入冰雪時間。 作為我國萬億冰雪產業的關鍵一環，哈爾濱的冰雪經濟發展備受關注。近期，啓信寶發佈《全國產業集羣大全》哈爾濱篇，系統梳理當地冰雪產業的發展現狀與集羣特徵。報告提到，哈爾濱已構建起較為完整的冰雪產業鏈，尤其在裝備製造領域形成龍頭引領效應，並依託全域資源協同，展現

大數據 , 算法 , 人工智能

收藏 評論

u_16213660 頭像

mob64ca140ac564 - spark parquet 布隆過濾器

數學之美中23章介紹的布隆過濾器（Bloom filter），以下是一些算法的實現及應用 1.算法應用 在如那件設計中有個最基本的功能是判斷某個元素是否在集合當中，比如爬蟲中驗證一個url是否被收錄過，如果用普通的hash來判斷那需要的內存容量是驚人的。布隆過濾器的作用就是能夠降低內存用量，他只需要hash表的1/8到1/4就能夠解決問題。 3.算法實現

spark , spark parquet 布隆過濾器 , 大數據 , 字符串 , 主函數 , 布隆過濾器

收藏 評論

u_16213618 頭像

mob64ca1400bfa8 - Doris能否替代spark

目錄 0、準備 1、Spark 讀寫 Doris 1.1 準備 Spark 環境 1.2 使用 Spark Doris Connector 1.2.1 SQL 方式讀寫數據 1.2.2 DataFrame 方式讀寫數據（batch） 1.2.3 RDD 方式讀

spark , Doris能否替代spark , 大數據 , Scala

收藏 評論

u_14120 頭像

温柔一刀 - goland索引建立

gocolly是用go實現的網絡爬蟲框架，目前在github上具有3400+星，名列go版爬蟲程序榜首。gocolly快速優雅，在單核上每秒可以發起1K以上請求；以回調函數的形式提供了一組接口，可以實現任意類型的爬蟲；依賴goquery庫可以像jquery一樣選擇web元素。 gocolly的官方網站是http://go-colly.org/，提供

github , 大數據 , 數據倉庫 , text , 示例代碼 , goland索引建立

收藏 評論

u_14291117 頭像

vivo互聯網 - vivo Celeborn PB級Shuffle優化處理實踐

作者： vivo 互聯網大數據團隊-Wang Zhiwen、Cai Zuguang vivo大數據平台通過引入RSS服務來滿足混部集羣中間結果（shuffle 數據）臨時落盤需求,在綜合對比後選擇了Celeborn組件，並在後續的應用實踐過程中不斷優化完善，本文將分享vivo在Celeborn實際應用過程中對遇到問題的分析和解決方案，用於幫助讀者對相似問題進行參

大數據 , 私藏項目實操分享 , shuffle , RSS , 數據倉庫 , Celeborn

收藏 評論

u_16213632 頭像

mob64ca14040d22 - 什麼是收錄索引名稱

seo與檢索密不可分相接，檢索是排行的基本，沒檢索就必須沒排行，選用科學研究的方式查尋儘量精確的百度收錄狀況，是人們從業seo的基礎工作中。如何查尋百度收錄？方式各種各樣，提議各種各樣方法綜合性應用。某些簡易的方法均可查詢系統的實際檢索總數，包含但是不限於應用百度搜索引擎命令，網頁搜索資源服務平台數據庫索引量小工具，普遍的seo查尋小工具等。 一、

搜索引擎 , 大數據 , 數據倉庫 , 什麼是收錄索引名稱 , 百度 , 數據庫索引

收藏 評論

u_16099247 頭像

墨韻流香 - 人臉素描數據集

OpenCV實時素描效果：用代碼將攝像頭畫面轉化為藝術素描 實現原理與可視化流程 運行前請安裝OpenCV：`pip install opencv-python`，如攝像頭無法打開請嘗試調整`VideoCapture(0)`或`VideoCapture(1)`參數。 素描效果的核心思想是模擬藝術家繪製素描時的視

spark , 大數據 , 人工智能 , 計算機視覺 , opencv , ide , Python

收藏 評論

u_17602582 頭像

mb69410ac31213c - 華為雲Flexus AI智能體，讓每家企業都擁有開箱即用的AI超能力

AI落地的最後一公里，卡在"用不起來" 2024年，不談AI的企業已被時代拋下。但真正試過的人都知道：大模型很強，落地很難。招不到AI工程師、搞不懂複雜參數、擔心數據泄露、算力成本燒不起……這些痛點讓90%的企業在智能化門口徘徊。Flexus AI智能體的出現，正是要撕掉"高門檻"的標籤——無需開發經驗，無需鉅額投入，20+款經過華為雲驗證的行業Agent，一鍵部署即可讓A

大數據 , 數據 , 數據倉庫 , 調優 , 模態

收藏 評論

jason_5b2ef2e3a6c1e 頭像

jason_5b2ef2e3a6c1e - DataSpell 2025.2.3 11月最新版 安裝、授權、使用説明

2025-11-21親測 支持最新版本2025.2.3 支持Windows、MAC、Linux 一 安裝 官網下載 ：https://www.jetbrains.com/zh-cn/dataspell/ 根據提示安裝 二 授權説明 回覆 《dataspell》獲取 新版本安裝後不提示授權，需要手動處理 三 使用 打開自己的項目，配置環境，開始開發

大數據

收藏 評論

zhaoqianglaoshi 頭像

趙渝強老師 - 【趙渝強老師】大數據主從架構的單點故障

  大數據體系架構中的核心組件都是主從架構，即：存在一個主節點和多個從節點，從而組成一個分佈式環境。下圖為展示了大數據體系中主從架構的相關組件。   視頻講解如下： https://www.bilibili.com/video/BV1vz421z72U/?aid=1355982530c...   從上圖可以看出大數據的核心組件都是一種主從架構，而只要是主從架構就存在單點故障的問

spark , 大數據 , hadoop , zookeeper , flink

收藏 評論

u_16213624 頭像

mob64ca140234eb - 大數據分析平台 類似神策

近日，國內頂尖行業研究大數據庫及內容平台頭豹研究院發佈了《2022年中國大數據產業一級市場縱覽》報告，億信華辰憑藉在大數據領域的持續深耕，以突出的技術創新能力和市場表現力，上榜“中國大數據產業一級市場相關廠商圖譜”中的數據治理、數據分析平台、數據存儲三大職能領域。其中，億信華辰在數據治理領域表現尤為亮眼，入選了數據治理企業一級市場標的圖譜。 △《20

大數據 , 數據 , 大數據分析平台 類似神策 , 人工智能 , 數據分析

收藏 評論