tag 大數據

標籤
貢獻385
285
05:15 PM · Oct 25 ,2025
tech 頭像 elhix0bg 頭像 nebulabio 頭像 u_16272508 頭像 u_15844731 頭像 u_14767244 頭像 dolphinscheduler 頭像 ververica 頭像 seatunnel 頭像 zhaoqianglaoshi 頭像 huikaichedemianbao 頭像 u_17602582 頭像

@大數據 / 博客 RSS 訂閱

u_17602582 頭像

mb69410ac31213c - Flexus AI智能體：你的企業，離“智能世界”只差一次點擊

深夜十點，某製造業企業的會議室依然燈火通明。 市場部的張經理正對着電腦屏幕上一份待完成的“海外市場分析報告”發愁——這已是他本週處理的第三份報告，每份耗時超過5小時，而明天一早就要交付。同一時刻，一家保險公司的客服主管李女士，正為團隊每天處理數百個重複性諮詢問題而焦慮，人力成本高企，服務質量卻難以提升…… 這樣的場景，是否也在你的企業中上演？ 在數字化轉型的浪潮

市場分析 , 大數據 , 數據 , 數據倉庫 , 客户服務

收藏 評論

ververica 頭像

ApacheFlink - 在 OpenAI 打造流處理平台：超大規模實時計算的實踐與思考

本文整理自__OpenAI__基礎設施團隊的ShuyiChen和JoeyPereira在Current2025倫敦會議上的演講”_BuildingaStreamProcessingPlatformatOpenAI_“ 主要演講內容為： OpenAI的流式基礎設施； 構建流處理平台的動機及遇到的挑戰； OpenAI的整體架構及深入解讀； OpenAI業務用例以及平台未來的演

大數據 , flink , 實時計算

收藏 評論

u_16213659 頭像

mob64ca140a8e67 - spark block 大小配置

1.RDD 彈性分佈式數據集: RDD是由多個partition組成 最小單位是partition:與讀取的block是一一對應的. 有多少個block就有多少個partion. 算子就是函數:作用再rdd的partition上的. 對彈性的理解:某個RDD損壞了,可以進行恢復.他們直接有依賴關係 分區器是作用在kv格式RDD上很難理解 partition提供數據

spark , 大數據 , 數據 , hadoop , spark block 大小配置 , mapreduce

收藏 評論

yunrizhi_daishuyun 頭像

雲掣科技 - 開源大數據集羣部署（三）集羣mysql數據庫部署

開源大數據集羣部署（一）集羣實施規劃 開源大數據集羣部署（二）集羣基礎環境實施準備 作者：櫰木 本文將介紹mysql部署，其中在hd1.dtstack.com主機root權限下安裝配置 1 解壓文件 解壓名為mysql-8.0.31-linux-glibc2.12-x86_64.tar.xz的壓縮包，其內容解壓到/opt/目錄下。然後通過符號鏈接將目錄/opt/mysql-8.0.31

大數據 , MySQL , 數據庫 , 集羣

收藏 評論

u_15654855 頭像

此星光明 - LBA-ECO ND-08 土壤呼吸、土壤組分、碳和氮，巴西帕拉州

LBA-ECO ND-08 Soil Respiration, Soil Fractions, Carbon and Nitrogen, Para, Brazil 簡介 本數據集提供了以下信息：(1)兩種土壤團聚體粒徑組分（250-2000 微米，小團聚體（SMAG）和 53-250 微米，微團聚體（mico））的碳（C）和氮（N）濃度測量數

數據挖掘 , 大數據 , 數據庫 , 後端開發 , NASA , Python

收藏 評論

u_16213718 頭像

mob64ca1418aeab - 人工智能 - 阿里雲賈揚清：大數據+AI工程化，讓數據從「成本」變為「資產」 - 個人文章

在互聯網技術的浪潮中，每一次創新都不僅是技術突破，更是一段動人的故事。無論是初創企業還是大型公司，AI、大數據和雲計算的應用都在悄悄改變人們的工作方式和生活習慣。本文將通過幾個生動案例，展示技術如何從實驗室走向實際應用，並帶來可觀的價值。 在電商領域，某初創公司利用AI和大數據實現了精準營銷的轉型。創始人曾分享，他們最初面臨的難題是庫存積壓和用户流

大數據 , 數據 , 雲計算 , etcd , Css , 前端開發 , HTML

收藏 評論

u_15295225 頭像

搖滾俠 - ElasticSearch 教程入門到精通，條件分頁排序查詢，多條件範圍查詢，完全匹配高亮查詢，聚合查詢，映射關係，筆記13、14、15、16、17

ElasticSearch 教程入門到精通，條件分頁排序查詢，多條件範圍查詢，完全匹配高亮查詢，聚合查詢，映射關係，筆記13、14、15、16、17 一、參考資料 條件分頁排序查詢 🔗多條件範圍查詢 🔗完全匹配高亮查詢 🔗聚合查詢 🔗映射關係 🔗 二、筆記總結 2.1、筆記13

高亮 , oracle , elasticsearch , 大數據 , 數據庫 , 映射關係 , 筆記

收藏 評論

u_16272508 頭像

事辯天下 - 奧哲企業級AI實踐獲認可！入選36氪「WISE2025商業之王年度企業」

近日，知名科技媒體36氪正式揭曉“WISE2025商業之王 年度企業”評選結果，奧哲憑藉對市場的敏鋭洞察和在企業級AI領域的卓越表現，作為“年度AI應用場景突破企業”入選年度企業名冊。 作為深耕科技創新與商業生態的新型服務平台，36氪一直持續挖掘真正具有長期價值的企業，且能夠穿越週期、持續創新的“商業之王”。本年度「WISE2025商業之王 年度企業系列名冊」系統梳

商業 , 大數據 , 數據倉庫 , 企業級 , 應用場景

收藏 評論

nebulabio 頭像

北京辰輝創聚生物 - 重組蛋白表達｜活性細胞因子｜技術應用詳解

在生命科學研究的精密世界裏，重組蛋白技術，特別是細胞因子與生長因子的製備，已成為探索細胞生命活動的基石。作為通過蛋白表達與蛋白純化技術獲得的活性蛋白，它們為科研提供了高純度、高一致性的關鍵工具。 定義與分類：精準的信號分子 細胞因子是一類由細胞分泌的多肽或蛋

蛋白純化 , 幹細胞分化 , 免疫調節 , 大數據 , 信號轉導 , 數據倉庫 , 生長因子

收藏 評論

u_17365737 頭像

泰克教育 - 泰漲知識 | Hadoop的IO操作——壓縮/解壓縮

一、 壓縮案例（DEFLATE） import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.io.IOUtils; import org.apache.hadoop.io.compress.CompressionCodec;

大數據 , hive , hadoop , JAVA , apache

收藏 評論

u_13250 頭像

flybirdfly - Hadoop trash恢復數據

也就是説，我們其實已經實際刪除了某些數據塊，但是記錄的元數據因為一些故障導致沒有進行同步，就會出現這種情況。 解決方法 首先強制退出安全模式： hdfs dfsadmin -safemode forceExit 接着，我們進入 WEB 管理界面，刷新一下。 此時，我們就會發現那些數據塊丟失的

Hadoop trash恢復數據 , it , 大數據 , hadoop , 安全

收藏 評論

u_16773655 頭像

向量檢索 - 如何通過HTTP API分組檢索Doc

本文介紹如何通過HTTP API在Collection中進行分組相似性檢索。 前提條件 已創建Cluster：創建Cluster。 已獲得API-KEY：API-KEY管理。 Method與URL HTTP POST https://{Endpoint}/v1/collection

向量檢索 , 大數據 , yyds乾貨盤點 , 數據倉庫 , AI , 數據庫 , 人工智能 , 大模型

收藏 評論

u_16213603 頭像

mob64ca13fd163c - 基於ROS 2 Galactic Geochelone（銀河系象龜）開發機器人

在 Ubuntu 系統下將 ROS2 的 apt 存儲庫添加到系統中並授權 GPG 密鑰，是安裝 ROS2 的關鍵第一步。下面我為你梳理了詳細步驟和注意事項。 添加存儲庫與授權密鑰 1.確保語言環境支持UTF-8：首先，請確保你的系統語言環境支持 UTF-8。你可以通過以下命令檢查和設置 locale # 檢查當前設置 su

github , 大數據 , hive , ROS2 , Ubuntu

收藏 評論

u_17558081 頭像

饕餮大數據 - 【Ambari開啓Kerberos】- Atlas啓動 - Solr權限異常

一、問題背景 Atlas 啓動報錯通常分兩階段： HBase 無權限（上文已有説明）； Solr 401 Unauthorized（本篇重點）。 二、錯誤日誌分析 Atlas 啓動失敗時控制枱輸出如下堆棧信息： .springframework.beans.factory.support.

大數據 , yyds乾貨盤點 , Kerberos , 運維 , 開源 , Css , 前端開發 , HTML , Ambari

收藏 評論

ververica 頭像

ApacheFlink - Delta Join：為超大規模流處理實現計算與歷史數據解耦

Flink流式Join的範式轉變：DeltaJoin解決了什麼問題？ ApacheFlink一直以來都擅長有狀態流處理，但傳統流式Join在面對海量數據和高基數Key時卻遇到了瓶頸。問題在於為了保證正確性，你必須將所有歷史數據永久保存在Flink狀態中——這顯然不可持續。 DeltaJoin（FLIP-486）徹底改變了這一局面。它不再將所有數據緩存在內部，而是將Join轉變為一種無狀態的查詢機制

大數據 , flink , 實時計算

收藏 評論

u_16272508 頭像

事辯天下 - 沃飛長空完成數億元C輪融資，加速商業化進程

近日，沃飛長空宣佈完成數億元人民幣C輪融資。 本輪融資由杭州市實業投資集團有限公司 (簡稱杭實集團)、Prosperity7 Ventures (簡稱P7)、鬆禾資本共同投資，藴盛資本、翱翔天行等老股東追加投資。 此次融資匯聚了國內外頂尖產業資源，其背後是市場對沃飛長空硬實力的高度認可和對eVTOL全球化前景的共識。依託杭實集團深耕本土的產業根基，能助力企業更精

商業模式 , it , 大數據 , 數據倉庫 , 人工智能

收藏 評論

u_16099280 頭像

編程小達人之心 - 302狀態碼搜索引擎

官方解釋： 301 redirect: 301 代表永久性轉移(Permanently Moved) 302 redirect: 302 代表暫時性轉移(Temporarily Moved ) 共同點： 301和302狀態碼都表示重定向，就是説瀏覽器在拿到服務器返回的這個狀態碼後會自動跳轉到一個新的URL地址，這個地址可以從響應的Loc

搜索引擎 , 302狀態碼搜索引擎 , 大數據 , google , 數據倉庫 , 重定向

收藏 評論

u_16213643 頭像

mob64ca14068b0b - macos全局安裝了yarn 找不到命令

Homebrew安裝，換源，安裝出現的問題等 一、Homebrew簡介 　　Homebrew是Mac OS平台下的一個軟件安裝包管理器，使用brew命令可以很方便的進行Mac OS的軟件包安裝、更新、卸載等。 二、Homebrew安裝 　　在終端輸入以下命令： /usr/bin/ruby -e "$(curl -fsSL https

大數據 , yarn , 臨時文件 , bash , Git

收藏 評論

ITEvan 頭像

智慧園區探索者 - 大數據技術簡史：十年演化，萬象歸流

“以史為鏡，可以明得失。 如果你站在2010年，看着MapReduce把TB級別的日誌壓進Hadoop，然後花上幾個小時跑出一個分析報告，你或許會覺得：這，就是“數據處理”的終極形態了。 如果你站在2015年，看着Spark用內存計算把作業時延從小時壓到分鐘級，你會驚歎：這才是真正的“快”。 如果你站在2020年，看着Kafka、Flink、ClickHouse

大數據 , 數據 , hadoop , 前端開發 , Javascript

收藏 評論

u_15316473 頭像

阿里雲大數據AI技術 - EMR Serverless Stella 1.0 技術分享：StarRocks企業級版本內核重大突破

在今年雲棲大會上，EMRServerlessStella1.0正式發佈，這是一款面向企業級場景深度優化的高性能數據分析引擎。阿里雲開源大數據平台OLAP引擎負責人周康系統性地分享了Stella在存算分離架構、Lakehouse場景以及全文檢索等三大核心場景下的深度優化經驗，為業界提供了大規模OLAP系統工程化實踐的寶貴參考。Stella引擎的發佈將為企業級用户提供更加專業、高效的

大數據 , 數據倉庫 , 阿里雲 , Lakehouse , starrocks , Stella , olap

收藏 評論

u_16213634 頭像

mob64ca14048514 - hive 根據ipv4地址計算客户

首先説結論—— 網絡地址是IP地址子網網段的開始 廣播地址=該IP所在的下一跳-1 例題： 已知IP地址是192.72.20.111，子網掩碼是255.255.255.224，求網絡地址和廣播地址 要知道下一跳就需要先求出網段間隔，網段間隔=256-子網掩碼=256-224=32 可以劃分成8個子網：32，64，96，128，160

廣播地址 , 網絡地址 , 大數據 , hive 根據ipv4地址計算客户 , ip , hive

收藏 評論

daimajiangxin 頭像

代碼匠心 - 從零開始學Flink：數據源

在實時數據處理場景中，數據源（Source）是整個數據處理流程的起點。Flink作為流批一體的計算框架，提供了豐富的Source接口支持，其中通過Kafka獲取實時數據是最常見的場景之一。本文將以Flink DataStream API為核心，帶你從0到1實現“從Kafka消費數據並輸出到日誌”的完整流程，掌握Flink Source的核心用法。 一、為什麼選擇Kafka作為Flink的數據源？

大數據 , JAVA , flink

收藏 評論

datadowell 頭像

五度易鏈 - 破解多源異構數據難題：五度易鏈在產業監測、風控場景中的技術賦能案例

產業數據的精準性、實時性與智能化應用水平，直接決定了政府產業調控與企業戰略佈局的成效。然而，海量多源異構的產業數據散落於不同主體、不同系統之中，“數據孤島”“標準不一”“價值難挖”等問題，讓高效整合、精準分析並賦能決策成為政府與企業共同面臨的核心課題。深耕產業數據服務領域多年的“五度易鏈”，精準把握行業痛點與發展趨勢，聚焦戰略新興產業與未來產業賽道，通過行業研究、大數據與人工智能技術的深度融合，依

大數據

收藏 評論

u_15591410 頭像

我就是不長肉而已 - SBD1DF40V1H-ASEMI可直接替代安世PMEG3010EGW

編輯：ll SBD1DF40V1H-ASEMI可直接替代安世PMEG3010EGW ASEMI首芯半導體可替代安氏半導體功率器件 型號：SBD1DF40V1H 品牌：ASEMI 封裝：SOD-123FL 特性：肖特基二極管 正向電流：1A 反向耐壓：40V 恢復時間：35ns 引腳數量：2 芯片個數：1 芯片

ASEMI , 大數據 , hadoop , 在51CTO的第一篇博文 , SBD1DF40V1H , 肖特基二極管

收藏 評論