tag 批處理

標籤
貢獻11
57
08:11 AM · Nov 05 ,2025
u_17465092 頭像 u_13527 頭像 lu952450497 頭像 u_16099244 頭像 mizy 頭像 u_14256 頭像 u_16175518 頭像 u_17589068 頭像 yunshu_blog 頭像 javaedge 頭像 ansurfen 頭像

@批處理 / 博客 RSS 訂閱

u_17465092 頭像

William886 - TensorFlow模型訓練時GPU顯存溢出優化方法詳解

一、引言 GPU顯存溢出（Out-of-Memory, OOM）是深度學習訓練中的常見瓶頸，尤其在處理大型模型（如Transformer、ResNet）或大尺寸輸入時更為突出。當顯存無法容納模型參數、梯度、優化器狀態和中間激活值時，訓練進程會崩潰。本文系統講解GPU顯存溢出的根本成因與工程級優化方案，涵蓋從算法改進到硬件調優的全棧策略，並提供可直接運行的代碼示例。

軟件研發 , 批處理 , yyds乾貨盤點 , 檢查點 , 代碼實現

收藏 評論

u_13527 頭像

bigrobin - 性能調優

Sarama是Go語言中最強大的Apache Kafka客户端庫之一，提供了豐富的配置選項來優化Kafka生產者和消費者的性能。本文將深入解析Sarama的高級配置參數和性能監控指標，幫助你構建高性能的Kafka應用。 🔧 核心配置參數詳解 網絡連接配置 網絡配置是影響Sarama性能的關鍵因素之一。在config.go中，Net命名空間包含了所有網絡

性能監控 , 批處理 , Css , 調優 , 前端開發 , HTML

收藏 評論

lu952450497 頭像

lu952450497 - 離線數倉與實時數倉的應用場景與對比

數據倉庫的建設從傳統離線架構逐步演進到實時架構，是企業數字化能力成熟的重要階段。離線數倉強調批處理、週期加工、結構穩定和歷史追溯；實時數倉強調秒級至分鐘級數據更新、事件驅動和業務反饋閉環。兩者不是互斥關係，而是面向不同業務訴求的差異化建設方向。 一、離線數倉的特徵 核心特徵 離線數倉基於批處理思想： 每日/每小時調度任務產出數據 以 T+

批處理 , 大數據 , 數據 , 離線 , 數據倉庫

收藏 評論

u_16099244 頭像

码海舵手之心 - sparktype bigint對應哪個type

為了讓大家理解structured stream的運行流程，我將根據一個代碼例子，講述structured stream的基本運行流程和原理。 下面是一段簡單的代碼: 1 val spark = SparkSession 2 .builder 3 .appName("StructuredNetworkWordCount") 4

spark , 批處理 , System , 大數據

收藏 評論

mizy 頭像

over_50 - AirNet使用筆記13

關鍵字： top、awk、sed、mpstat ⚠️ 注意事項 🎯 TLDR AirNet系統CPU使用率使用glibtop的api的返回值：cpu超限告警沒有確認週期，超限立即告。 1、獲取CPU使用率；計算： 100 - CPU空閒百分比 =CPU使用率 top -bn1 |

sed , 批處理 , 字段 , 運維

收藏 評論

u_14256 頭像

laojean - whisper數據庫 - 摩雲菜的個人空間 -

Whisper-large-v3數據管道：實時數據流處理架構 痛點：傳統ASR系統難以應對實時音頻流處理 你還在為語音識別系統的實時性而煩惱嗎？面對持續不斷的音頻流，傳統的批處理模式往往導致延遲過高、資源浪費嚴重。Whisper-large-v3作為OpenAI最新的語音識別模型，其強大的實時數據處理能力能夠徹底解決這一痛點。 讀完本文

批處理 , 數據 , 前端開發 , 語音識別 , Javascript

收藏 評論

u_16175518 頭像

mob649e8168f1bb - ollama 訓練模型參數

ollama 訓練模型參數的描述 在人工智能和機器學習領域，模型的訓練參數直接影響到模型的性能和使用效果。作為一名IT技術類專家，我在處理“ollama 訓練模型參數”的問題時，積累了一定的經驗。接下來，我將詳細記錄解決此類問題的思路和過程，旨在幫助更多的用户理解和解決類似挑戰。 背景定位 在使用ollama進行模型訓練時，許多用户會遇到參數配置不足的問題，這可能導致模型性能

批處理 , 數據 , aigc , 調優

收藏 評論

u_17589068 頭像

程序員老六 - TIA Portal V20 (博途)安裝步驟工業自動化必備！TIA Portal V20 全功能解析，生產線 / 智能樓宇都能用

簡介 TIA Portal V20 是西門子推出的全集成自動化工程軟件平台，於 2024 年在德國紐倫堡國際電氣自動化系統及元件展覽會亮相，核心聚焦工業自動化流程的性能提升與效率優化，在硬件適配、編程協作、安全性等多方面均有重大升級。 豐富控制器支持：該版本適配多款新型及升級後的 PLC，包括全新的 S7 - 1200 G2 控制器，性能提升的 S7 - 1

批處理 , 數據可視化 , 重啓 , 人工智能 , 右鍵

收藏 評論

yunshu_blog 頭像

雲叔_又拍雲 - Flink 在又拍雲日誌批處理中的實踐

日前，由又拍雲舉辦的大數據與 AI 技術實踐｜Open Talk 杭州站沙龍在杭州西溪科創園順利舉辦。本次活動邀請了有贊、個推、方得智能、又拍雲等公司核心技術開發者，現場分享各自領域的大數據技術經驗和心得。以下內容整理自又拍雲資深開發工程師張召現場分享： 張召，資深開發工程師，目前負責又拍雲 CDN 的刷新預熱、日誌處理和運維平台開發。熟悉 OpenResty，在 Web 開發領域經驗頗豐，目前熱

批處理 , 又拍雲 , 雲存儲 , 雲服務 , flink

收藏 評論

JavaEdge 頭像

JavaEdge - LinkedIn 的遷移之路：從批處理到實時推薦，服務數十億用户

——Nishant Lakshmikanth 於 QCon San Francisco 2025 分享 在 2025 年的 QCon San Francisco 大會上，LinkedIn 工程經理 Nishant Lakshmikanth 深入講述了 LinkedIn 如何系統性地拆解其傳統的批處理式推薦系統，逐步實現實時個性化推薦，並顯著提升運算效率。 舊的推薦架構

批處理 , yyds乾貨盤點 , 離線 , 個性化推薦 , 人工智能 , 深度學習

收藏 評論

ansurfen 頭像

Ansurfen - Hulo語言架構：從源代碼到目標代碼的完整流程

最近這一段時間忙着工作和開發Hulo編程語言，滿打滿算已經過了三個月多了。心血來潮，想梳理下Hulo編程語言的開發流程，也順帶以個人的視角解讀下編程語言是如何從零開始誕生的。希望通過這篇文章，能夠為對編程語言實現感興趣的開發者提供一個實踐性的參考，同時也記錄下這段充滿挑戰和收穫的開發歷程。 架構 Hulo語言的定位是批處理腳本的編譯器，最終經過編譯後的目標語言是Bash、Batch、VBS、Pow

批處理 , 教程 , 知識 , 編程語言 , go

收藏 評論