讀用數據説服：如何設計、呈現和捍衞你的數據08數據呈現和反對意見
1.數據呈現 1.1.數據自己會説話，但事實並非如此 1.1.1.數據不會説話，當然更不能解釋它對你的業務有何意義 1.1.2.數據自己不會説話，必須由你讓它説話 1.2.在最好的情況下，數據導向的演示文稿能夠促進交互，豐富討論，得出優質決策 1.3.TOP-T框架，這是一種數據向幻燈片的製作思路 1.3.1.能確保你全面涵蓋優秀演示的要素，讓你的內容與受眾
昵稱 躺柒
動態
二次開發必看！DolphinScheduler 3.1.9 開發環境搭建指南
在生產實踐中，Apache DolphinScheduler 3.1.9 版本因其穩定性和成熟的特性，成為眾多企業用户的首選版本。隨着使用深入，不少用户希望在此基礎上進行二次開發，以更好地滿足自身業務需求。然而，開展二次開發前，搭建完善的本地開發環境至關重要。本文結合真實案例，詳細介紹 DolphinScheduler 3.1.9 的二次開發環境配置流程，希望為有定製化開發需求的用户提供實用、可靠
昵稱 海豚調度
讀用數據説服：如何設計、呈現和捍衞你的數據09讀後總結與感想兼導讀
1.基本信息 用數據説服：如何設計、呈現和捍衞你的數據 米羅·卡扎科夫 著 金城出版社有限公司,2025年07月出版 1.1.讀薄率 書籍總字數8.6萬字，筆記總字數26227字。 讀薄率26227÷86000≈30.5% 1.2.讀厚方向 DataMesh權威指南 數據的邊界：隱私與個人數據保護 Julia數據科學應用
昵稱 躺柒
數據治理之數據質量評估維度及方法
本文分享自天翼雲開發者社區《數據治理之數據質量評估維度及方法》，作者：i****n 從某種程度上來説“數據=金錢”，數據質量的好壞直接決定着數據價值高低，直接或簡介影響一個企業的決策方向。數據質量管理是指在數據創建、加工、使用和遷移等過程中，通過開展數據質量定義、過程控制、監測、問題分析和整改、評估與考核等一系列管理活動，提高數據質量以滿足業務要求。 一、數據質量關注點 一致性：值數內容在系統內，
昵稱 天翼雲開發者社區
《數據資產管理核心技術與應用》讀書筆記- 第六章-數據監控與告警（二) -如何使用Grafana和Prometheus來實現數據監控與告警
《數據資產管理核心技術與應用》是清華大學出版社出版的一本圖書，全書共分10章，第1章主要讓讀者認識數據資產，瞭解數據資產相關的基礎概念，以及數據資產的發展情況。第2～8章主要介紹大數據時代數據資產管理所涉及的核心技術，內容包括元數據的採集與存儲、數據血緣、數據質量、數據監控與告警、數據服務、數據權限與安全、數據資產管理架構等。第9～10章主要從實戰的角度介紹數據資產管理技術的應用實踐，包括如何對元
昵稱 張永清
大數據產品線生產操作安全規約
本文分享自天翼雲開發者社區《大數據產品線生產操作安全規約》，作者：朱****靜 第一章 總 則 第一條為健全安全生產製度，落實安全生產責任,增強安全風險/隱患排查治理能力，促進安全生產長效機制建設,防止和減少生產安全事故，結合大數據產品線實際情況，特制定本生產操作安全管理辦法。 第二條本管理辦法適用於大數據產品線所有合同制員工、外協人員、廠商駐場人員。 第二章 組織職責 第三條本管理辦法説明了大數
昵稱 天翼雲開發者社區
《數據資產管理核心技術與應用》讀書筆記- 第七章- 數據權限與安全（一）
《數據資產管理核心技術與應用》是清華大學出版社出版的一本圖書，全書共分10章，第1章主要讓讀者認識數據資產，瞭解數據資產相關的基礎概念，以及數據資產的發展情況。第2～8章主要介紹大數據時代數據資產管理所涉及的核心技術，內容包括元數據的採集與存儲、數據血緣、數據質量、數據監控與告警、數據服務、數據權限與安全、數據資產管理架構等。第9～10章主要從實戰的角度介紹數據資產管理技術的應用實踐，包括如何對元
昵稱 張永清
flink on k8s的基本介紹
本文分享自天翼雲開發者社區《flink on k8s的基本介紹》，作者：l****n 一、背景介紹 Apache Flink 是一個流處理引擎，具有高效的流處理和批處理能力，以及良好的可伸縮性和容錯性。Kubernetes（簡稱 K8s）是一種容器編排系統，用於自動化容器部署、擴展和管理。將 Flink 部署在 K8s 上可以充分利用 Kubernetes 的優勢，實現流處理的高可用、高性能和高彈
昵稱 天翼雲開發者社區
Ubuntu上進行Zookeeper集羣部署
目錄 1.zookeeper下載 2.zookeeper安裝與使用 3.zookeeper啓動 4.zookeeper是什麼？為什麼要用它？為什麼不用Hbase自帶的？ 1.zookeeper下載 版本無特別要求，一般最新穩定版即可。 這裏給出3.8.4的下載鏈接。（點擊即可直接下載） zookeeper官網：https://zookeeper.apache.or
昵稱 Hunter_Code
從零開始學Flink：數據源
在實時數據處理場景中，數據源（Source）是整個數據處理流程的起點。Flink作為流批一體的計算框架，提供了豐富的Source接口支持，其中通過Kafka獲取實時數據是最常見的場景之一。本文將以Flink DataStream API為核心，帶你從0到1實現“從Kafka消費數據並輸出到日誌”的完整流程，掌握Flink Source的核心用法。 一、為什麼選擇Kafka作為Flink的數據源？
昵稱 代碼匠心
從零開始學Flink：流批一體的執行模式
在大數據處理領域，批處理和流處理曾經被視為兩種截然不同的範式。然而，隨着Apache Flink的出現，這種界限正在逐漸模糊。Flink的一個核心特性是其批流一體的架構設計，允許用户使用統一的API和執行引擎處理有界數據（批處理）和無界數據（流處理）。本文將深入探討Flink的執行模式（Execution Mode），特別是在Flink 1.20.1版本中對批處理和流處理模式的支持和優化。 一、F
昵稱 代碼匠心
vivo HDFS EC大規模落地實踐
作者：Gu Ruinan - 互聯網大數據團隊- Zhao Yongxiang Erasure Coding(簡稱EC)，是一種糾刪碼。EC編碼能夠對部分缺失的數據進行數據恢復，廣泛應用於存儲與通信領域。在Hadoop3.0版本中，作為一種新的冗餘存儲的方式引入進來。使用EC編碼的方式替代原來的三副本存儲，保證數據可靠性的同時可以節約存儲。相應地，付出的代價是讀取性能的下降，對於訪問頻率不高
昵稱 vivotech
時序數據庫 Apache IoTDB 等你“打卡”！2025 OSCAR 開源產業大會完整版議程揭曉
開源作為一種開放共享的新型生產模式，已成為數字經濟創新、開放、共享和可持續發展的核心驅動力。由中國通信標準化協會牽頭主辦，中國信息通信研究院具體承辦的 2025 OSCAR 開源產業大會將於 10 月 28 日在北京中關村國家自主創新示範區會議中心舉行。 大會現場設置開源集市，以面向參會者系統展示優秀開源項目成果，並促進開源主題交流，推動創新合作。時序數據庫 Apache IoTDB 受到邀請，在
昵稱 ApacheIoTDB
Redis數據結構之String
1.概述 String是最常用的數據類型，一個key對應一個value。 String是二進制安全的，可以包含任何數據（例如圖片和序列化對象），支持序列化。 單個Value最大512MB。 2.常見操作 2.1 SET/GET 語法： [ ]是可選的參數 SET key value [NX | XX] [GET] [EX seconds | PX milliseconds | E
昵稱 LiuZijian
Redis核心數據結構全解析
動態字符串SDS 字符串是Redis中最常用的一種數據結構 Redis中的Key是字符串 value往往是字符串或者字符串的集合 C語言字符串的缺點 Redis沒有直接用C語言中的字符串，因為C語言字符串存在一些問題： 獲取長度：需要\(O(n)\)遍歷數組 非二進制安全：以\0為結束符，則字符串中不能包含\0，不能保存像圖片、音頻、視頻文化這樣的二進制數據 操作不便：不可修改。進
昵稱 Vcats
Redis介紹及6.2.x版本安裝
概述 Redis官網：https://redis.io/ Redis 是完全開源免費的，遵守BSD協議，是一個高性能(NOSQL)的key-value數據庫,Redis是一個開源的使用ANSI C語言編寫、支持網絡、可基於內存亦可持久化的日誌型、Key-Value數據庫，並提供多種語言的API。 什麼是BSD協議？ BSD是"Berkeley Software Distributio
昵稱 huangSir-devops
Redis配置文件詳解
概述 Redis 配置文件的官網地址：https://redis.io/topics/config GitHub地址：https://github.com/redis/redis/blob/unstable/redis.conf 本文主要是根據Redis6.0.x版本的配置文件講解，其它版本的也可以當做一個參考。 Redis配置説明 基礎配置 # 綁定的IP地址（默認綁定127.0.0.1，
昵稱 huangSir-devops
Redis持久化機制
概述 Redis是基於內存的nosql數據庫，數據一般是存儲於內存中，想讓內存數據保存到磁盤中，我們需要利用Redis的持久化機制。 Redis的持久化機制用於將內存中的數據保存到磁盤，以便在重啓後恢復數據。 Redis 提供了兩種主要的持久化方式： RDB（Redis Database）快照 AOF（Append Only File）日誌 在Redis4.0版本之後，引入了混合持久
昵稱 huangSir-devops
redis~多行語句的原子性_事務性
高併發下 Redis 事務的原子性分析 1. 代碼結構分析 redisTemplate.execute(new SessionCallbackObject() { @Override public String, Long Object execute(RedisOperationsString, Long operations) { operations.mult
昵稱 張佔嶺
Redis主從複製詳解
概述 Redis 的主從複製（Master-Slave Replication）是實現數據備份、讀寫分離和水平擴展的核心機制之一。通過主從複製，一個主節點（Master）可以將數據同步到多個從節點（Slave），從節點還可以級聯創建自己的從節點，從而形成樹狀結構。 注意，Redis的主從複製是實現高可用的核心機制，並不能實現高可用 Redis主從複製作用 數據冗餘： 主從複製實現了數據的熱備份，是
昵稱 huangSir-devops
關於redis的原子性簡要介紹
Redis 的原子性是指 Redis 在執行命令時能夠保證操作的完整性，即在執行過程中不會被其他操作打斷。 Redis 的原子性體現在以下幾個方面： 1. 單個命令的原子性 Redis 的每個命令都是原子性的，這意味着當一個命令在執行時，它不會被其他命令中斷。例如，當你執行一個 INCR 命令時，Redis 會完整地執行這個命令，不會在中途被其他命令插入。 INCR myCounter 在這個例
昵稱 junjunyi
Redis支持事務嗎？瞭解Redis的持久化機制嗎？
Redis 支持事務嗎？與關係型數據庫事務的區別？ Redis 支持事務，但它的事務與 MSQL中的事務有所不同，MSOL中的事務主要支持 ACID 的特性，而 Redis中的事務主要保證的是多個命令執行的原子性，即所有的命令在一個原子操作中執行，不會被打斷。還有一個很重要的點，就是 MySQL 中的事務是支持回滾的，而 Redis 中的事務是不支持回滾的。 Redis事務是指將多條命令加入隊列，
昵稱 sevencoding
Redis安裝部署（Windows環境）
一、Redis簡介： Redis 是一個開源的使用 ANSI C 語言編寫、遵守 BSD 協議、支持網絡、可基於內存、分佈式、可選持久性的鍵值對(Key-Value)存儲數據庫，並提供多種語言的 API。 Redis通常被稱為數據結構服務器，因為值（value）可以是字符串(String)、哈希(Hash)、列表(list)、集合(sets)和有序集合(sorted sets)等類型。 二、下載R
昵稱 即興隨緣
登錄認證-下篇：基於 Redis 實現共享session登錄
將驗證碼 (session.setAttribute("code", code))；用户信息 (session.setAttribute("user", userDTO))改為存入redis中 將隨機生成的token作為登錄憑證，放在請求頭中的authorization字段 並設置兩層攔截器，解決狀態登錄刷新的問題 業務流程圖1 業務流程圖2 具體實現： UserServiceI
昵稱 雨花閣