tag 大數據

標籤
貢獻394
343
05:15 PM · Oct 25 ,2025
tech 頭像 nebulabio 頭像 elhix0bg 頭像 u_16272508 頭像 u_15844731 頭像 u_14767244 頭像 dolphinscheduler 頭像 ververica 頭像 seatunnel 頭像 zhaoqianglaoshi 頭像 huikaichedemianbao 頭像 u_17602582 頭像

@大數據 / 博客 RSS 訂閱

u_16213680 頭像

mob64ca140f67e3 - matlab解超靜定方程,超定方程和最小二乘法 | 學步園

對於稀疏的超定線性方程組 Ax = b（其中 A ∈ ℝᵐˣⁿ，m n，即方程個數多於未知數個數），由於通常不存在精確解，我們尋求最小二乘意義下的最優解： min ‖Ax - b‖₂² 當矩陣 A 是大型稀疏矩陣時，直接法（如QR分解、SVD）計算開銷大，因此常用迭代法或基於稀疏結構的優化算法。以下是幾種常用解法： 1. 正規方程法

最小二乘 , 稀疏矩陣 , 大數據 , 算法 , hadoop , 超定方程組 , 線性方程求解

收藏 評論

q_bit 頭像

qbit - 面向學科領域的網絡信息資源深度聚合與服務研究_目錄（qbit學習記錄）

圖書信息 《面向學科領域的網絡信息資源深度聚合與服務研究》 作者:孫建軍 等 出版社:南京大學出版社 出版時間: 2021年12月 ISBN:9787305252778 項目背景 本書是國家社科基金重大項目“面向學科領域的網絡信息資源深度聚合與服務研究”的結項成果， 項目編號：12ZD221 孫建軍教授是該項目的首席專家。 內容簡介 書稿主要探討

大數據

收藏 評論

tecdat 頭像

拓端tecdat - 專題：2025中國醫療器械出海現狀與趨勢創新發展研究報告|附160+份報告PDF、數據、可視化模板彙總下載2025全球醫療器械報告-創新與效率平衡之道320+份彙總解讀|附PDF下載

2024年，中國醫療器械行業正站在“從本土領先到全球突圍”的關鍵節點——一邊是邁瑞醫療把監護儀賣到190多個國家，海外營收佔比超48%；一邊是不少企業卡在歐盟MDR認證環節，臨牀數據補了3次仍未通過。這種“一邊風光一邊難”的反差，本質是全球醫療需求擴張與國內競爭加劇的必然結果。 引言 從核心數據看，2024年全

大數據 , 數據 , 腦機接口 , pdf , 人工智能 , 前端開發 , Javascript

收藏 評論

u_16213570 頭像

藍色憂鬱花 - 數據倉庫數據傳輸模式 數據倉庫的三種模式

1、數據倉庫 數倉分層：ODS(Operational Data Store)直接存放原始數據，DWD(Data Warehouse Detail)對數據進行清洗 ，DWS(Data Warehouse Service)輕度彙總(存儲每天數據的彙總)，DWT(Data Warehouse Topic)重度彙總(存儲一段時間數據的彙總)，DIM維度層(事實表的描述信息，何人、

數據倉庫數據傳輸模式 , 數據挖掘 , 大數據 , 數據倉庫 , 數據庫

收藏 評論

u_14224 頭像

14224 - NLog中 maxArchiveDays的歸檔目錄怎麼設置

在所有的應用程序中，日誌功能是不可或缺的模塊，我們可以根據日誌信息進行調試、查看產生的錯誤信息，在ASP.NET Core中我們可以使用log4net或者NLog日誌組件來實現記錄日誌的功能，這裏講解如何在ASP.NET Core中使用NLog。 1、創建項目（這裏使用Core2.2）使用NLog 2、引用NLog動態庫 直接在N

code , 大數據 , 配置文件 , hive , xml

收藏 評論

u_16213604 頭像

mob64ca13fd559d - latex文中怎麼索引圖表

通常中國內地的朋友用TeX都使用Winedt編輯器，建議大家不要違背TeX開源的精神，購買Winedt正版再來使用，費用不高，普通用户也支付得起。 實際上開源的編輯器某些地方已經超過了Winedt，只不過用户使用起來還需自己配置才比較好用罷了。一般用户比較懶，也搞不清怎麼配置，這裏我截圖來講解下，TeXniccenter如何配置起來反向搜索和前向搜

大數據 , TeX , 數據倉庫 , latex文中怎麼索引圖表 , 好用 , 一般用户

收藏 評論

u_16213689 頭像

mob64ca1411a6fc - python實現實時監控_基於 Python 的交換機實時監控系統的設計與實現_weixin

內容:1.摘要 隨着大數據技術的快速發展，海量數據處理系統的複雜性日益增加，對系統運行狀態的實時監控提出了更高要求。本文設計並實現了一個基於Python Web的大數據系統監控平台，旨在提升系統可觀測性與運維效率。平台採用Flask作為Web框架，結合InfluxDB時序數據庫和Grafana可視化工具，實現了對Hadoop、Spark

經驗分享 , 大數據 , 數據 , 開發語言 , Css , 前端開發 , HTML , Python

收藏 評論

u_16272508 頭像

事辯天下 - 腎尚科技完成新一輪融資，加速慢性腎臟病（CKD）精準化管理閉環滲透

2025年12月，重慶腎尚科技宣佈完成逾千萬元新一輪融資，本輪投資方為合縱藥易購（300937）子公司四川藥易購科技集團有限公司與長春創芯協力企業管理中心（有限合夥）。 本輪融資資金將重點用於慢性腎臟病（CKD）數字療法的研發迭代、AI臨牀決策支持系統的建設，以及“醫+藥+險”閉環生態的進一步拓展。腎尚科技自2016年成立以來，深耕慢性病健康管理領

商業模式 , it , 大數據 , 數據倉庫 , 企業管理

收藏 評論

u_14691 頭像

lemon - linux hive 重定向到文件

1、數據流重定向：將某個命令執行後應該出現在屏幕上的數據，給它傳輸到其他地方去 2、(1)---標準輸入（stdin)：代碼為0，使用 或 ; （2）標準輸出(stdout)：代碼為1，使用或者 ; (3)標準錯誤輸出（stderr）：代碼為2，使用 2或者 2. 説明：1：以覆蓋的方法將 [正確的數據]輸出到指定的文件或者設備上； 　　 1：以累加的方法將

linux hive 重定向到文件 , 大數據 , 數據 , hive , 重定向 , 標準輸出

收藏 評論

u_16213566 頭像

雲端小仙童 - hadoo hive zk版本兼容 hadoop和hive版本

1 準備工作 1.1 軟件準備 Hive需要Hadoop的支持，在安裝Hive之前需要正確安裝Hadoop。目前Hive的最新版本為0.13.1，這個版本可在Hadoop 0.20.x, 0.23.x.y, 1.x.y, 2.x.y下使用。本文采用Hadoop 1.x中最新版本1.2.1。Hadoop使用環境中必須由JDK，本文下載JDK 7較新版本。同時,Hive將

大數據 , hadoo hive zk版本兼容 , hive , hadoop , JAVA

收藏 評論

u_16099211 頭像

笑傲江湖求敗 - 數學建模筆記一數據標準化_數據標準化是對數值型數據嗎

大數據建模中的數據標準化：行業標準與自定義規範深度解析 一、引言：為什麼數據標準化是大數據的“地基”？ 在大數據時代，企業面臨的最大挑戰從來不是“數據太少”，而是“數據太亂”： 電商系統中，“用户ID”可能同時存在字符串（user_123）、數字（123）和UUID（e5a5-...）三種格式； 金融機構的“交易時間”

大數據 , 數據 , 自定義 , AI , 元數據 , 後端開發 , Python

收藏 評論

u_106065 頭像

laokugonggao - spark中的共享變量（廣播變量和累加器） - macy

1 核心概念：為什麼需要它們？ 在spark程序中，當一個傳遞給Spark操作(例如map和reduce)的函數在遠程節點上面運行時，Spark操作實際上操作的是這個函數所用變量的一個獨立副本。這些變量會被複制到每台機器上，並且這些變量在遠程機器上的所有更新都不會傳遞迴驅動程序。通常跨任務的讀寫變量是低效的，但是，Spark還是為兩種常見的使用模式提供了兩種有限的共享變量：

spark , List , 大數據 , 數據

收藏 評論

u_16125291 頭像

科技雲報到 - 算力互聯網服務論壇在成都成功召開——聚焦服務化轉型，共築產業新生態

為深入貫徹黨中央、國務院決策部署，落實工信部《算力互聯互通行動計劃》（工信部信管〔2025〕119號）“加快構建算力互聯互通體系，提高公共算力資源使用效率和服務水平”任務要求，12月25日，由由中國通信企業協會、中國互聯網協會主辦、 中國信息通信研究院、 中國郵電器材集團有限公司承辦的算力互聯網服務論壇在四川成都成功召開。論壇作為“2025算力互聯網大會”的重要組成部分，圍繞算力

大數據 , MySQL , 雲計算 , 數據庫 , 互聯網服務

收藏 評論

qishilingrendemaojin 頭像

氣勢凌人的毛巾 - Flink 的 RocksDB 狀態後

​1分鐘看圖掌握核心觀點👇 ​ 一、背景 在推薦系統中，樣本拼接是銜接在線服務與算法模型的重要一個環節，主要職責是樣本拼接和業務相關的ETL處理等，模塊位置如下圖紅框所示。 ​ 推薦系統通過學習埋點數據來達到個性化精準推薦的目的，因此需要知道服務端推薦下發的內容，是否有一系列的行為(曝光，點擊，播放，點贊，收藏，加購等等)，把被推薦內容的埋點數據與當下的特徵拼接起來的

大數據 , 推薦系統

收藏 評論

u_16099200 頭像

數據探索者 - Storm 為什麼淘汰

序：在開發storm項目時，提交項目jar包當把依賴的第三方jar包都打進去提交storm集羣啓動時報了發現多個同名的文件錯誤由此開始了一段對jar包的深刻理解之路。 java.lang.RuntimeException: Found multiple defaults.yaml resources.You're probably bundling

Storm , 大數據 , jar , maven , hadoop , Storm 為什麼淘汰 , JAVA

收藏 評論

nebulabio 頭像

北京辰輝創聚生物 - 重組蛋白表達純化技術流程解析：從基因到蛋白的精準製備

重組蛋白技術是現代生命科學研究的核心工具之一，廣泛應用於結構生物學、藥物篩選、信號通路研究及酶動力學分析等領域。作為生物科技企業，我們專注於為科研工作者提供高質量的重組蛋白定製服務。本文將從技術流程的角度，系統介紹重組蛋白表達純化的核心步驟，幫助讀者全面理解從基因序列到高純度蛋白的製備路徑。 一、表達系統選擇：匹配目標蛋白特性 重組蛋白製備的首要環節是選擇適合

蛋白定製 , 大數據 , 重組蛋白服務 , 哺乳動物細胞表達 , 大腸桿菌表達 , 數據倉庫 , 親和層析

收藏 評論

zhaoqianglaoshi 頭像

趙渝強老師 - 【趙渝強老師】Hadoop HDFS的快照

HDFS的快照（Snapshot）是一個全部文件系統、或者某個目錄在某一時刻的鏡像。這裏其實可以把HDFS的快照理解成是HDFS提供的一種備份機制。快照應用在以下場景中： 防止用户的錯誤操作 備份 試驗/測試 災難恢復 視頻講解如下： https://www.bilibili.com/video/BV1eTYCzVE4b/?aid=115043685437... 由於HDFS的快

hdfs , 大數據 , hadoop , JAVA

收藏 評論

u_15015752 頭像

u_15015752 - 怎麼解決能源集團實時風控難題，流批一體架構是否是答案

某頭部能源集團在推進數字化轉型的過程中，將構建先進的智能監管平台列為核心戰略目標，對其關鍵的招投標業務進行全面的風險管控。將審計、紀檢等部門的審查要求深度融入業務系統，實現對採購全過程的實時監控、風險預警與閉環管理。這對底層數據架構的實時性、準確性和穩定性提出了嚴苛的挑戰。 傳統架構的困境 為實現這一目標，該集團初期採用了基於傳統流計算引擎的架構。然而，在實際運行中，

風控 , 大數據 , 數據 , 離線 , 案例 , 數據倉庫

收藏 評論

u_16213684 頭像

mob64ca14106f2f - 微分方程的數值解法之歐拉方法_歐拉法精確解怎麼求

BSDE（後向隨機微分方程）的歐拉算法實現。 BSDE在金融數學、隨機控制等領域有重要應用。 1. BSDE基本理論 BSDE的一般形式 BSDE通常表示為： Y_t = ξ + ∫_t^T f(s, Y_s, Z_s) ds - ∫_t^T Z_s dW_s 其中： Y_t 是狀態過程 Z_t 是控制

大數據 , hadoop , 生成器 , 基函數 , 迭代

收藏 評論

tech 頭像

青雲交技術圈 - Java 大視界 -- 基於 Java 的大數據實時數據處理在工業互聯網設備協同製造中的應用與挑戰

(centerJava 大視界 -- 基於 Java 的大數據實時數據處理在工業互聯網設備協同製造中的應用與挑戰/center) 引言： 嘿，親愛的 Java 和 大數據愛好者們，大家好！我是CSDN（全區域）四榜榜首青雲交！技術探索永無止境！在《大數據新視界》和《 Java 大視界》專欄的陪伴下，我們一路見證了 Java 大數據在多個領域的華麗綻放。從智能教育虛擬學習環境的深度

spark , 大數據 , yyds乾貨盤點 , 數據 , JAVA

收藏 評論

u_16099325 頭像

數據小築 - pg如何創建反向索引

反向鍵索引指原來相連比較緊密的值，強制使其分散在相距比較遠的位置上。例如："11112"和"11113"雖然是連續的值，但是其反轉後卻變成了"21111"和"31111"，這樣兩個值相差得比較遠了，從而達到了分散的目的。 這樣做會使得索引中的順序和存儲的存儲順序之間存在很大差別，從而嚴重破壞聚簇因子。但這並不會影響數據的讀取，因為在使用這種索引

運算符 , 流水號 , 大數據 , 數據 , 數據倉庫 , 存儲 , pg如何創建反向索引

收藏 評論

u_16099295 頭像

IT劍客行 - dolphinscheduler工作流hive kerberos

第1章 DolphinScheduler簡介 1.1 DolphinScheduler概述 Apache DolphinScheduler是一個分佈式、易擴展的可視化DAG工作流任務調度平台。致力於解決數據處理流程中錯綜複雜的依賴關係，使調度系統在數據處理流程中開箱即用。 1.2 DolphinScheduler核心架構 Dolp

大數據 , MySQL , hive , hadoop , apache

收藏 評論