@日誌分析 / 博客 RSS 訂閱

Oct 24 2022

reliefe - 使用 ClickHouse 構建通用日誌系統

序言 ClickHouse 是一款常用於大數據分析的 DBMS，因為其壓縮存儲，高性能，豐富的函數等特性，近期有很多嘗試 ClickHouse 做日誌系統的案例。本文將分享如何用 ClickHouse 做出通用日誌系統。 日誌系統簡述 在聊為什麼 ClickHouse 適合做日誌系統之前，我們先談談日誌系統的特點。 大數據量。對開發者來説日誌最方便的觀測手段，而且很多情況下會直接打印 HTTP

loki , elasticsearch , 日誌分析 , clickhouse , elk

收藏 評論

Jun 18 2024

SelectDB技術團隊 - 《SelectDB 新一代日誌存儲分析平台解決方案》白皮書重磅發佈｜立即下載

隨着信息技術的飛速進步，企業面臨着前所未有的系統複雜性和數據挑戰。在此背景下，日誌數據成為了企業洞察系統內部狀態、監控網絡安全以及分析業務動態的寶貴資源，構建高效的日誌存儲與分析平台至關重要。 作為基於 Apache Doris 打造的現代化數據倉庫，SelectDB 不拘泥於傳統數倉的限制，針對日誌數據的特點引入了多項創新性技術，使用户可基於 SelectDB 構建開放、高性能、低成本、統一的日

大數據處理 , 日誌分析 , 數據倉庫 , 查詢優化 , 數據庫

收藏 評論

Mar 05 2025

philadelphia - Linux 日誌處理

1:find 1. find 基本語法 find [path] [expression] [path]：指定從哪個目錄開始搜索（默認為當前目錄）。 [expression]：定義搜索條件和操作。它可以包含測試條件（如文件名模式）、動作（如刪除文件）以及操作符（如 AND 和 OR） 示例： 查找當前目錄及其子目錄下的所有 .txt 文件： find . -name "*.txt" 2. 常

日誌分析 , Linux , Android

收藏 評論

Sep 29 2025

雲輕雨細 - 程序出錯瞎找？教你寫“會説話”的錯誤日誌，秒定位原因

前言 排查程序問題時，錯誤日誌就是最靠譜的“地圖”：寫得好的日誌，能直接帶你找到“問題地點”；寫得差的日誌，卻像一張模糊的塗鴉，讓你在代碼裏繞來繞去還找不到北。今天就從“錯誤怎麼來的”講到“日誌怎麼寫”，來講講錯誤日誌的妙用。 一、錯誤不是“憑空冒出來”的，這3類場景最容易出問題 程序出錯從來不是“突然襲擊”，而是有明確來源的。就像生活裏的麻煩事，要麼是別人給的（上層傳錯參數），要麼是和別人打交道

日誌分析 , 運維

收藏 評論

May 07 2024

觀測雲 - 觀測雲 VS ELK：誰是日誌監控的王者？

前言 作為 IT 信息系統運行狀態感知和故障分析的重要手段，日誌在行業興起之初便為運維和開發環節所廣泛應用。當應用和系統發生故障或出現問題時，日誌數據成為了排查和診斷問題的重要依據。通過分析日誌，開發人員和運維人員可以瞭解系統的運行狀況、錯誤消息和異常情況。對於高負載的應用和系統，性能監控至關重要。通過分析日誌數據，可以瞭解系統的吞吐量、響應時間、資源利用率等指標。這有助於識別瓶頸、優化性能，並提

日誌分析

收藏 評論

Mar 20 2025

SelectDB技術團隊 - MiniMax GenAI 可觀測性分析 ：基於阿里雲 SelectDB 構建 PB 級別日誌系統

"阿里雲SelectDB作為MiniMax日誌存儲服務的核心支撐，為在線和離線業務提供了高效、穩定的查詢與聚合分析能力。其支持實時物化視圖、租户資源隔離、冷熱分離等企業級特性，不僅有效解決了日誌場景下PB級別數據查詢的性能瓶頸，還通過智能化的資源調度與存儲優化，實現了成本與效率的最佳平衡，為業務的高效運轉提供了堅實保障。" —— MiniMax可觀測架構師 香克斯 可觀測日誌系統的探索與挑戰 近年

日誌分析 , 數據庫 , 人工智能 , 數據分析 , 大模型

收藏 評論

Apr 21 2025

Swift社區 - 【日誌分析】從手動解析到智能檢測：日誌異常模式挖掘全解

摘要 本文探討了如何結合日誌分析工具和機器學習技術實現自動化日誌異常模式檢測。通過介紹相關技術背景、工具選擇及應用場景，輔以完整的代碼示例，指導開發者高效分析日誌中的異常模式，提升系統運維效率與穩定性。 引言 在現代複雜的分佈式系統中，日誌是系統行為和事件的核心記錄。傳統手動分析日誌效率低，面對海量日誌易造成錯漏。為解決這一痛點，自動化工具與機器學習逐漸成為日誌分析中的關鍵手段。本篇文章將通過具體

日誌分析

收藏 評論

Mar 27 2025

Swift社區 - 高併發微服務日誌管理：ELK、Loki、Fluentd 終極對決與實戰指南

摘要 在高併發微服務架構中，日誌系統的高可用性和高吞吐量是確保系統穩定運行的關鍵。本文對比了ELK（Elasticsearch、Logstash、Kibana）、Loki和Fluentd等主流日誌系統，探討了它們在日誌收集、存儲、備份與恢復策略上的優劣，並提供了可運行的示例代碼模塊。通過本文，讀者將能夠選擇適合自身業務需求的日誌解決方案，並確保日誌系統的高可用性與數據一致性。 引言 隨着微服務架構

loki , 日誌分析 , fluentd , elk

收藏 評論

Sep 26 2025

觀測雲 - 解鎖DQL高級玩法——對日誌關鍵信息提取和分析

背景 許多用户在日誌查詢方面已經積累了一定的使用習慣，尤其是習慣於使用某些查詢語法進行高效檢索。現在，日誌數據全面接入觀測雲並通過 DataKit 進行採集，用户最關心的問題是：能否通過 DQL 實現以往熟悉的查詢方式，甚至更進一步提升效率？答案是肯定的，DQL 不僅具備高度靈活性，還能提供更強大的日誌處理能力。下面我們通過一個脱敏後的真實案例，逐步演示如何利用 DQL 高效解析和統計日誌。 示例

日誌分析

收藏 評論