天翼雲開發者社區 -
大數據產品線生產操作安全規約
本文分享自天翼雲開發者社區《大數據產品線生產操作安全規約》，作者：朱****靜
第一章 總 則
第一條為健全安全生產製度，落實安全生產責任,增強安全風險/隱患排查治理能力，促進安全生產長效機制建設,防止和減少生產安全事故，結合大數據產品線實際情況，特制定本生產操作安全管理辦法。
第二條本管理辦法適用於大數據產品線所有合同制員工、外協人員、廠商駐場人員。
第二章 組織職責
第三條本管理辦法説明了大數
大數據
收藏
評論
張永清 -
《數據資產管理核心技術與應用》讀書筆記- 第七章- 數據權限與安全（一）
《數據資產管理核心技術與應用》是清華大學出版社出版的一本圖書，全書共分10章，第1章主要讓讀者認識數據資產，瞭解數據資產相關的基礎概念，以及數據資產的發展情況。第2～8章主要介紹大數據時代數據資產管理所涉及的核心技術，內容包括元數據的採集與存儲、數據血緣、數據質量、數據監控與告警、數據服務、數據權限與安全、數據資產管理架構等。第9～10章主要從實戰的角度介紹數據資產管理技術的應用實踐，包括如何對元
大數據
收藏
評論
天翼雲開發者社區 -
flink on k8s的基本介紹
本文分享自天翼雲開發者社區《flink on k8s的基本介紹》，作者：l****n
一、背景介紹
Apache Flink 是一個流處理引擎，具有高效的流處理和批處理能力，以及良好的可伸縮性和容錯性。Kubernetes（簡稱 K8s）是一種容器編排系統，用於自動化容器部署、擴展和管理。將 Flink 部署在 K8s 上可以充分利用 Kubernetes 的優勢，實現流處理的高可用、高性能和高彈
大數據
收藏
評論
Hunter_Code -
Ubuntu上進行Zookeeper集羣部署
目錄
1.zookeeper下載
2.zookeeper安裝與使用
3.zookeeper啓動
4.zookeeper是什麼？為什麼要用它？為什麼不用Hbase自帶的？
1.zookeeper下載
版本無特別要求，一般最新穩定版即可。
這裏給出3.8.4的下載鏈接。（點擊即可直接下載）
zookeeper官網：https://zookeeper.apache.or
大數據
收藏
評論
代碼匠心 -
從零開始學Flink：數據源
在實時數據處理場景中，數據源（Source）是整個數據處理流程的起點。Flink作為流批一體的計算框架，提供了豐富的Source接口支持，其中通過Kafka獲取實時數據是最常見的場景之一。本文將以Flink DataStream API為核心，帶你從0到1實現“從Kafka消費數據並輸出到日誌”的完整流程，掌握Flink Source的核心用法。
一、為什麼選擇Kafka作為Flink的數據源？
大數據
收藏
評論
代碼匠心 -
從零開始學Flink：流批一體的執行模式
在大數據處理領域，批處理和流處理曾經被視為兩種截然不同的範式。然而，隨着Apache Flink的出現，這種界限正在逐漸模糊。Flink的一個核心特性是其批流一體的架構設計，允許用户使用統一的API和執行引擎處理有界數據（批處理）和無界數據（流處理）。本文將深入探討Flink的執行模式（Execution Mode），特別是在Flink 1.20.1版本中對批處理和流處理模式的支持和優化。
一、F
大數據
收藏
評論
vivotech -
vivo HDFS EC大規模落地實踐
作者：Gu Ruinan - 互聯網大數據團隊- Zhao Yongxiang
Erasure Coding(簡稱EC)，是一種糾刪碼。EC編碼能夠對部分缺失的數據進行數據恢復，廣泛應用於存儲與通信領域。在Hadoop3.0版本中，作為一種新的冗餘存儲的方式引入進來。使用EC編碼的方式替代原來的三副本存儲，保證數據可靠性的同時可以節約存儲。相應地，付出的代價是讀取性能的下降，對於訪問頻率不高
大數據
收藏
評論
LiuZijian -
Redis數據結構之String
1.概述
String是最常用的數據類型，一個key對應一個value。
String是二進制安全的，可以包含任何數據（例如圖片和序列化對象），支持序列化。
單個Value最大512MB。
2.常見操作
2.1 SET/GET
語法：
[ ]是可選的參數
SET key value [NX | XX] [GET] [EX seconds | PX milliseconds | E
nosql
收藏
評論
Vcats -
Redis核心數據結構全解析
動態字符串SDS
字符串是Redis中最常用的一種數據結構
Redis中的Key是字符串
value往往是字符串或者字符串的集合
C語言字符串的缺點
Redis沒有直接用C語言中的字符串，因為C語言字符串存在一些問題：
獲取長度：需要\(O(n)\)遍歷數組
非二進制安全：以\0為結束符，則字符串中不能包含\0，不能保存像圖片、音頻、視頻文化這樣的二進制數據
操作不便：不可修改。進
nosql
收藏
評論
huangSir-devops -
Redis介紹及6.2.x版本安裝
概述
Redis官網：https://redis.io/
Redis 是完全開源免費的，遵守BSD協議，是一個高性能(NOSQL)的key-value數據庫,Redis是一個開源的使用ANSI C語言編寫、支持網絡、可基於內存亦可持久化的日誌型、Key-Value數據庫，並提供多種語言的API。
什麼是BSD協議？
BSD是"Berkeley Software Distributio
nosql
收藏
評論
huangSir-devops -
Redis配置文件詳解
概述
Redis 配置文件的官網地址：https://redis.io/topics/config
GitHub地址：https://github.com/redis/redis/blob/unstable/redis.conf
本文主要是根據Redis6.0.x版本的配置文件講解，其它版本的也可以當做一個參考。
Redis配置説明
基礎配置
# 綁定的IP地址（默認綁定127.0.0.1，
nosql
收藏
評論
huangSir-devops -
Redis持久化機制
概述
Redis是基於內存的nosql數據庫，數據一般是存儲於內存中，想讓內存數據保存到磁盤中，我們需要利用Redis的持久化機制。
Redis的持久化機制用於將內存中的數據保存到磁盤，以便在重啓後恢復數據。
Redis 提供了兩種主要的持久化方式：
RDB（Redis Database）快照
AOF（Append Only File）日誌
在Redis4.0版本之後，引入了混合持久
nosql
收藏
評論
張佔嶺 -
redis~多行語句的原子性_事務性
高併發下 Redis 事務的原子性分析
1. 代碼結構分析
redisTemplate.execute(new SessionCallbackObject() {
@Override
public String, Long Object execute(RedisOperationsString, Long operations) {
operations.mult
nosql
收藏
評論
huangSir-devops -
Redis主從複製詳解
概述
Redis 的主從複製（Master-Slave Replication）是實現數據備份、讀寫分離和水平擴展的核心機制之一。通過主從複製，一個主節點（Master）可以將數據同步到多個從節點（Slave），從節點還可以級聯創建自己的從節點，從而形成樹狀結構。
注意，Redis的主從複製是實現高可用的核心機制，並不能實現高可用
Redis主從複製作用
數據冗餘：
主從複製實現了數據的熱備份，是
nosql
收藏
評論
junjunyi -
關於redis的原子性簡要介紹
Redis 的原子性是指 Redis 在執行命令時能夠保證操作的完整性，即在執行過程中不會被其他操作打斷。
Redis 的原子性體現在以下幾個方面：
1. 單個命令的原子性
Redis 的每個命令都是原子性的，這意味着當一個命令在執行時，它不會被其他命令中斷。例如，當你執行一個 INCR 命令時，Redis 會完整地執行這個命令，不會在中途被其他命令插入。
INCR myCounter
在這個例
nosql
收藏
評論
sevencoding -
Redis支持事務嗎？瞭解Redis的持久化機制嗎？
Redis 支持事務嗎？與關係型數據庫事務的區別？
Redis 支持事務，但它的事務與 MSQL中的事務有所不同，MSOL中的事務主要支持 ACID 的特性，而 Redis中的事務主要保證的是多個命令執行的原子性，即所有的命令在一個原子操作中執行，不會被打斷。還有一個很重要的點，就是 MySQL 中的事務是支持回滾的，而 Redis 中的事務是不支持回滾的。
Redis事務是指將多條命令加入隊列，
nosql
收藏
評論
即興隨緣 -
Redis安裝部署（Windows環境）
一、Redis簡介：
Redis 是一個開源的使用 ANSI C 語言編寫、遵守 BSD 協議、支持網絡、可基於內存、分佈式、可選持久性的鍵值對(Key-Value)存儲數據庫，並提供多種語言的 API。
Redis通常被稱為數據結構服務器，因為值（value）可以是字符串(String)、哈希(Hash)、列表(list)、集合(sets)和有序集合(sorted sets)等類型。
二、下載R
nosql
收藏
評論
雨花閣 -
登錄認證-下篇：基於 Redis 實現共享session登錄
將驗證碼 (session.setAttribute("code", code))；用户信息 (session.setAttribute("user", userDTO))改為存入redis中
將隨機生成的token作為登錄憑證，放在請求頭中的authorization字段
並設置兩層攔截器，解決狀態登錄刷新的問題
業務流程圖1
業務流程圖2
具體實現：
UserServiceI
nosql
收藏
評論
雨花閣 -
redis實現分佈式鎖1
在集羣下的併發問題：
業務流程：
具體實現：
ILock
點擊查看代碼
package com.hmdp.utils;
public interface ILock {
// 獲取鎖
boolean tryLock(long timeoutSec);
// 釋放鎖
void unlock();
}
SimpleRedisLock
點擊查看代
nosql
收藏
評論
極限實驗室 -
Easysearch 冷熱架構實戰
在之前的文章中，我們介紹瞭如何使用索引生命週期策略來管理索引。如果要求索引根據其生命週期階段自動在不同的節點之間遷移，還需要用到冷熱架構。我們來看看具體如何實現。
冷熱架構
冷熱架構其實就是在 Easyearch 集羣中定義不同屬性的節點，這些節點共同組成冷熱架構。比如給所有熱節點一個 hot 屬性，給所有冷節點一個 cold 屬性。在 Easyearch 中分配節點屬性是通過配置文件(easys
nosql
收藏
評論
benpaodeqishui -
巧用IP地址定位使企業利潤正向增長
企業的核心目標是實現利潤增長。降低成本、提升客單價是常見增長利潤的方法，輔於訂單量的不斷增加可以讓這些策略發揮最大效能——新客户的精準拓展，正是撬動增長的關鍵支點。
如今，線上渠道已成為企業觸達用户的主要途徑，網站訪客的每一次點擊、每一次停留都藴藏着珍貴的信息。如何將訪客數據轉化為實實在在的銷售額？IP地址庫正是有效選擇之一。
https://www.ipdatacloud.com/?
ip查詢
,
ip
,
ip地址
收藏
評論
追極 -
Windows 系統安裝 OpenGauss 指南
Windows 系統安裝 OpenGauss 指南
由於 OpenGauss 是主要針對 Linux 系統設計的數據庫，官方並不直接提供 Windows 版本，但您可以通過以下方法在 Windows 上運行 OpenGauss：
方法一：使用 Docker
這是最簡單的方法，適合開發和測試環境。
1. 安裝 Docker Desktop
下載並安裝Docker Desktop fo
postgresql
收藏
評論
且行且碼 -
PostGIS 介紹(1)--數據管理
PostGIS 是 PostgreSQL 的擴展，允許將 GIS（地理信息系統）對象存儲在數據庫中。 PostGIS 支持基於 GiST 的 R 樹空間索引，並可以分析和處理 GIS 對象；本文主要介紹 PostGIS 的數據管理。
1、空間數據模型
1.1、OGC 幾何
開放地理空間聯盟（OGC）制定了簡單要素訪問標準（SFA），為地理空間數據提供模型。它定義了基本的空間類型幾何，以及操作和轉換
postgresql
收藏
評論
