tag 大數據

標籤
貢獻385
290
05:15 PM · Oct 25 ,2025
tech 頭像 elhix0bg 頭像 nebulabio 頭像 u_16272508 頭像 u_15844731 頭像 u_14767244 頭像 dolphinscheduler 頭像 ververica 頭像 seatunnel 頭像 zhaoqianglaoshi 頭像 huikaichedemianbao 頭像 u_17602582 頭像

@大數據 / 博客 RSS 訂閱

q_bit 頭像

qbit - 面向學科領域的網絡信息資源深度聚合與服務研究——Part4（qbit學習記錄）

圖書信息 《面向學科領域的網絡信息資源深度聚合與服務研究》 項目背景 本書是國家社科基金重大項目“面向學科領域的網絡信息資源深度聚合與服務研究”的結項成果， 孫建軍教授是該項目的首席專家。 回目錄 第四部分 學科網絡資源深度標註 6 本體學習和資源深度標註理論基礎 6.1 本體學習的現狀 6.1.1 概念學習理論 6.1.2 等級關係抽取方法 6.1.3 非等級關係抽取方法

大數據

收藏 評論

u_16213570 頭像

藍色憂鬱花 - 學習建議，大數據組件那麼多，可以重點學習這幾個

Cloudera、Hadoop的Impala、Hive、Spark、Flink組件在2025年AI時代“數據中台BI”出路 建議由CDH遷移到CMP 7.13平台（類Cloudera CDP，如華為鯤鵬 ARM版）可以做到無縫切換平緩遷移 摘要：2025年數據中台BI架構演進建議：Hadoop生態組件（Hive、Impala、Spark、Flink）將

大數據 , hive , hadoop , SQL

收藏 評論

u_15654855 頭像

此星光明 - Nimbus-7 太陽和地球通量數據（原生二進制格式）

Nimbus-7 Solar and Earth Flux Data in Native Binary Format 簡介 NIMBUS7_ERB_SEFDT 數據集是由 Nimbus-7 地球輻射收支 (ERB) 儀器數據生成的太陽和地球輻射通量數據磁帶 (SEFDT)。SEFDT 項目的主要目的是生成一個僅包含太陽數據和廣角地球輻射通量數

數據挖掘 , 大數據 , 數據庫 , Css , NASA , 前端開發 , HTML , Python

收藏 評論

starrocks 頭像

StarRocks - 從InfluxDB到StarRocks：Grab實現Spark監控平台10倍性能提升

Grab 是東南亞領先的超級應用，業務涵蓋外賣配送、出行服務和數字金融，覆蓋東南亞八個國家的 800 多個城市，每天為數百萬用户提供一站式服務，包括點餐、購物、寄送包裹、打車、在線支付等。 為了優化 Spark 監控性能，Grab 將其 Spark 可觀測平台 Iris 的核心存儲遷移至 StarRocks，實現了顯著的性能提升。新架構統一了原本分散在 Grafana 和 Superse

spark , 大數據 , iris , 數據庫 , 物化視圖

收藏 評論

nebulabio 頭像

北京辰輝創聚生物 - 重組蛋白科研試劑技術綜述：結構特性、功能機制與實驗體系應用

重組蛋白作為生命科學研究的核心科研試劑，已成為現代實驗體系中不可或缺的基礎材料。它們通過基因工程技術表達、純化而成，具有結構明確、批次穩定、功能可控等特點，使科研人員能夠在體外模擬體內信號環境，研究細胞行為、蛋白互作以及受體激活機制。隨着研究愈發依賴高質量的重組人蛋白與低內毒素重組蛋白，科研試劑行業也逐步形成標準化、可重複、可追蹤的重組蛋白體系。

重組蛋白定製 , 大數據 , 蛋白定製服務 , 蛋白活性測定 , 數據倉庫 , 生長因子 , 低內毒素重組蛋白

收藏 評論

mirrorship 頭像

鏡舟科技 - 以 StarRocks 4.0 為核，引領企業邁入 AI 實時湖倉新時代

隨着人工智能與大數據技術的深度融合，數據分析平台正面臨一場深刻的變革。傳統的 T+1 批處理模式、孤立的分析系統以及僅面向內部用户的服務模式，已無法滿足當今業務對實時性、靈活性和智能化的高度需求。 新時代的分析場景，正從高層戰略延伸至一線運營，從批處理轉向批流一體，服務對象也從內部員工擴展至外部客户乃至 AI Agent。在這一背景下，一個能夠支撐極速、實時、統一分析的數據底座，已成為企業在 A

大數據 , 架構 , 人工智能 , starrocks , 數據分析

收藏 評論

u_16099236 頭像

是大魔術師 - TMS Sparkle

在TestNG中使用多線程的方式並行執行測試用例可以有效提高用例的執行速度，而且TestNG對多線程提供了很好的支持，即使是菜鳥也可以方便地上手多線程。 前言 最近在做項目裏的自動化測試工作，使用的是TestNG測試框架，主要涉及的測試類型有接口測試以及基於業務實際場景的場景化測試。由於涉及的場景大多都是大數據的作業開發及執行（如MapReduce、Spark、Hql

spark , Test , 大數據 , 用例 , TMS Sparkle , ide

收藏 評論

u_16272508 頭像

事辯天下 - 2025三亞國際茶薈啓幕 茗賢聚瓊島 共繪茶新篇

乘自貿港封關東風，赴天涯茗茶之約。11月30日，2025三亞國際茶薈在中糧（三亞）國貿中心舉辦，本次活動以“茗賢聚三亞 茶通自貿港——自貿港封關背景下茶產業突破路徑”為主題，國內知名茶產業專家、茶企代表、茶葉貿易商及政企學界精英齊聚三亞，共話政策紅利下海南茶產業發展新機遇。 以茶為媒，品茶論道。作為“中華優秀傳統文化在崖州”系列活動之一，本屆茶薈亮點紛呈。活動設置主旨分享、

大數據 , 傳統文化 , 經驗交流 , 數據倉庫 , 行業趨勢

收藏 評論

secretflow 頭像

隱語SecretFlow - 什麼是隱私計算？隱私計算技術路線

“隱語”是開源的可信隱私計算框架，內置 MPC、TEE、同態等多種密態計算虛擬設備供靈活選擇，提供豐富的聯邦學習算法和差分隱私機制。 開源項目： https://github.com/secretflow https://gitee.com/secretflow 一、什麼是隱私計算 隱私計算是多種技術的統稱，目的是為了讓多個數據擁有者，在不暴露數據本身的前提下，實現數據的共享、互通、計

大數據 , 隱私 , 人工智能 , 開源 , 計算機科學

收藏 評論

u_14126 頭像

網猴兒 - 基於api的搜索引擎

方法一：利用各大搜索的收錄 script type="text/javascript" function Gsitesearch(curobj){ var domainroot=curobj.domainroot[curobj.domainroot.selectedIndex].value curob

word , 基於api的搜索引擎 , 搜索引擎 , 大數據 , 數據倉庫 , 數據庫 , ASP

收藏 評論

u_15368275 頭像

AI科技觀察者 - 2025年企業知識管理系統推薦：6款融AI產品深度測評與選型指南

在數字化轉型持續深入的2025年，知識已成為企業運營的核心資源。根據IDC最新報告，中國知識管理軟件市場規模已突破50億元，並保持20%以上的年增長率，其中AI驅動的知識庫是最主要的增長點。隨着大語言模型（LLM）的廣泛應用，企業對知識管理的需求已從傳統的"存儲檢索"模式升級為"智能理解與生成"模式，推動知識庫從效率工具向戰略資產的價值躍遷。本文將從技術架構、核心能力與企業適配度

大數據 , 知識管理 , 人工智能 , 深度學習 , 模態 , 大模型

收藏 評論

lu952450497 頭像

lu952450497 - 離線數倉與實時數倉的應用場景與對比

數據倉庫的建設從傳統離線架構逐步演進到實時架構，是企業數字化能力成熟的重要階段。離線數倉強調批處理、週期加工、結構穩定和歷史追溯；實時數倉強調秒級至分鐘級數據更新、事件驅動和業務反饋閉環。兩者不是互斥關係，而是面向不同業務訴求的差異化建設方向。 一、離線數倉的特徵 核心特徵 離線數倉基於批處理思想： 每日/每小時調度任務產出數據 以 T+

批處理 , 大數據 , 數據 , 離線 , 數據倉庫

收藏 評論

tech 頭像

青雲交技術圈 - Java 大視界 -- Java 大數據在智能建築室內環境舒適度預測與調控中的應用

(centerJava 大視界 -- Java 大數據在智能建築室內環境舒適度預測與調控中的應用/center) 引言： 嘿，親愛的 Java 和 大數據愛好者們，大家好！我是CSDN（全區域）四榜榜首青雲交！凌晨三點的深圳平安金融中心，智能建築管理系統仍在高效運轉。當傳感器檢測到 38 層辦公室二氧化碳濃度升至 800ppm 且人員停留超 2 小時，系統自動啓動新風系統，並將空

spark , 智能建築 , 大數據 , yyds乾貨盤點 , Java大數據 , JAVA , apache

收藏 評論

yunrizhi_daishuyun 頭像

雲掣科技 - 開源大數據集羣部署（六）Keytab文件生成

作者：櫰木 Keytab文件用於在不輸入密碼的情況下對主體（用户或服務）進行身份驗證。以下是創建Kerberos身份驗證的步驟。 1、創建keytab文件 除了使用明文密碼登錄之外，Kerberos還可以使用keytab密碼文件登陸，現在為testcuser創建它的keytab文件 ipa-getkeytab -s ipa.hdp.hadoop -p testcuser@HDP.HADOOP

大數據 , 開源 , 集羣

收藏 評論

kamier 頭像

kamier - 【Hadoop】Yarn資源管理調度

一、Yarn產生背景 Yarn（全稱為Yet Another Resource Negotiator，譯為"另一個資源協調者"）在Hadoop2.0版本中引入，其誕生是為了解決 Hadoop 1.x 架構中 MapReduce 的資源管理和計算框架耦合 的問題。簡而言之，就是之前MapReduce的資源管理和計算框架是耦合在一起的，為了解耦而設計出了Yarn。 Yarn是一種新的 Hadoop 資

大數據 , yarn , hadoop

收藏 評論

elhix0bg 頭像

阿里雲大數據AI - 最佳實踐 | 在 EMR Serverless Spark 中實現 StarRocks 讀寫操作

EMR Serverless Spark 是一款兼容開源 Spark 的高性能 Lakehouse 產品。它為用户提供任務開發、調試、發佈、調度和運維等全方位的產品化服務，顯著簡化了大數據計算的工作流程，使用户能更專注於數據分析和價值提煉。 StarRocks官方提供了Spark Connector用於Spark和StarRocks之間的數據讀寫，EMR Serverless Spark可以在開發

spark , 大數據 , serverless

收藏 評論

u_14402 頭像

Aceryt - ZipArchiveOutputStream 可以創建內部文件夾壓縮文件

java.io的描述： 通過數據流、序列化和文件系統提供系統輸入和輸出。 流： 流是一個很形象的概念.流是一組有順序，有起點和終點的字節集合，是對數據傳輸的總稱或抽象。即數據在兩設備間的傳輸成為流。 流的本質是數據傳輸，根據數據傳輸特性將流抽象為各種類，方便更直觀的進行數據操作。 分類： 根據處理數據類型的不同分為：字符流（reader，wr

System , 大數據 , 字節流 , hive , JAVA

收藏 評論

u_16213561 頭像

技術極客俠 - Hadoop HDFS操作

在大數據領域，Hadoop HDFS（分佈式文件系統）是最核心的存儲組件之一。本文將詳細介紹HDFS的集羣管理命令和文件操作技巧，幫助您快速掌握Hadoop的日常運維。 一、HDFS集羣一鍵啓停 Hadoop HDFS組件內置了便捷的一鍵啓停腳本，極大簡化了集羣管理流程。 啓動集羣 $HADOOP_HOME/sbin/s

hdfs , 大數據 , hadoop , 後端開發 , Python

收藏 評論

u_16213560 頭像

數據小探 - 東軟大數據hadoop實訓 東軟 數據分析

你腦海中的數據可視化是啥樣？ 是這樣的？ 插圖0001.jpg886x476 149 KB 我們能為你提供的數據可視化 是這樣的 插圖0002.gif903x510 1.95 MB 還可以是這樣的 插圖0003加快版.gif1277x700 360 KB 以及這樣的 插圖0004.gif1361

東軟大數據hadoop實訓 , 數據集 , 大數據 , 數據 , hadoop , 數據可視化

收藏 評論

lenglingx 頭像

lenglingx - Doris安裝

背景説明： 關於doris本身今天不做過多的介紹，主要説明下doris和MySQL之間的恩怨情仇，mysql主要用來幫助doris記錄元數據的，類似於hive和mysql的關係，Doris用它來記錄整個集羣的結構和信息，主要包括以下方面： 數據庫和表的Schema信息 數據庫名、表名、列名、列的數據類型。 分區信息、分桶信息、

大數據 , 數據 , MySQL , 數據倉庫 , apache

收藏 評論

selectdb 頭像

SelectDB技術團隊 - 當我們一起走過 2023｜Apache Doris 年度時刻盤點

2024 年的第一個月已經徹底過去，2023 年的回顧總結才姍姍來遲。 在過去一年的大多數時間裏，我們一直處於忙碌的狀態中，緊鑼密鼓的代碼研發、高速推進的版本迭代、行程緊密的全國之行，眾多社區用户與開發者皆是見證。 越是忙碌，在年末的這場回顧就越難能可貴。 在 2024 年開端，我們挑選出了一些有意義的片刻，期待跟每一個社區用户和開發者一同看看過去一年所共同經歷的種種。正是因為每一個您都是見證者和

大數據 , 數據庫 , 數據分析 , SQL , 學習資料

收藏 評論

tech 頭像

青雲交技術圈 - Java 大視界 -- Java 大數據在智能教育學習社區用户互動分析與社區活躍度提升中的應用

(centerJava 大視界 -- Java 大數據在智能教育學習社區用户互動分析與社區活躍度提升中的應用/center) 引言： 嘿，親愛的 Java 和 大數據愛好者們，大家好！我是CSDN（全區域）四榜榜首青雲交！在國家智慧教育公共服務平台的運營大屏上，Java 驅動的大數據分析系統正以毫秒級速度解析全國 1.2 億學習者的互動行為。當系統捕捉到 “Python 數據分析

spark , 大數據 , yyds乾貨盤點 , 數據 , Java大數據 , JAVA

收藏 評論

u_16213596 頭像

mob64ca13fb6939 - db2 join類型

DB2常用命令 轉 DB2 Environment introduction(DB2環境介紹).DB2 environment have four part(DB2環境由四部分構成).1. Profile Registry(概要文件註冊表);2. Environment variable(環境變量);3. Insta... 文章 飛翔的

大數據 , 數據 , db2 join類型 , 數據倉庫 , db2中constraint , 數據庫 , SQL

收藏 評論

u_16436094 頭像

肥仔魚Liam - Iceberg 在hadoop大數據數據湖領域這麼火

Iceberg 在hadoop大數據數據湖領域這麼火 Apache Iceberg 在 Hadoop 大數據和數據湖領域“爆火”，並非偶然，而是因為它精準解決了傳統 Hadoop 生態（尤其是 Hive）在構建現代數據湖時的核心痛點，同時順應了雲原生、AI 驅動、開放湖倉一體（Lakehouse）的技術演進趨勢。 以下是 Iceberg 走紅的五大關鍵原因（結

大數據 , 數據 , hive , hadoop

收藏 評論