博客 RSS 訂閱

javalover 頭像

javalover - 開源數據集成平台SeaTunnel：MySQL實時同步到es

一、前言 最近，項目有幾個表要從 MySQL 實時同步到 另一個 MySQL，也有同步到 ElasticSearch 的。 目前，公司生產環境同步，用的是 阿里雲的 DTS，每個同步任務每月 500多元，有點小貴。 其他環境：MySQL同步到ES，用的是 CloudCanal，不支持 數據轉換，添加同步字段比較麻煩，社區版限制5個任務，不夠用；MySQL同步到MySQL，用的是 debez

數據同步 , 同步 , canal , 實時 , debezium

收藏 評論

dev_guo 頭像

研發軟件的郭 - 從頭學Java17-Stream API（二）結合Record、Optional

Stream API Stream API 是按照map/filter/reduce方法處理內存中數據的最佳工具。 本系列教程由Record講起，然後結合Optional，討論collector的設計。 使用Record對不可變數據進行建模 Java 語言為您提供了幾種創建不可變類的方法。可能最直接的是創建一個包含final字段的final類。下面是此類的示例。 public fin

optional , record , java17 , stream

收藏 評論

yuanjihua_5d954fd2a3238 頭像

圓圓大姐頭 - Apikit 自學日記：新建 API 請求

進入流程測試用例詳情頁，點擊添加測試步驟，在下拉菜單中選擇 添加API請求 ，系統會自動進入API測試步驟編輯頁面，接下來你可以編輯API的請求參數、返回結果、校驗規則等內容。 設置 API 測試步驟 API測試步驟設置分為以下幾個部分： 測試步驟基本信息 ：包括測試步驟名稱、API請求地址、綁定的API文檔等； API 請求參數：包括請求頭部、請求體等內容； 提取的返回結果 ：可以將測

API , postman , 接口文檔 , 測試工具 , 接口設計

收藏 評論

satoken 頭像

小風箏 - 對敏感操作的二次認證 —— 詳解 Sa-Token 二級認證

一、需求分析 在某些敏感操作下，我們需要對已登錄的會話進行二次驗證。 比如代碼託管平台的倉庫刪除操作，儘管我們已經登錄了賬號，當我們點擊 [刪除] 按鈕時，還是需要再次輸入一遍密碼，這麼做主要為了兩點： 保證操作者是當前賬號本人。 增加操作步驟，防止誤刪除重要數據。 這就是我們本篇要講的 —— 二級認證，即：在已登錄會話的基礎上，進行再次驗證，提高會話的安全性。 Sa-Token 是一

sa-token , 權限控制 , spring , springboot , JAVA

收藏 評論

lofanmi 頭像

仁揚 - 普通用户啓動 supervisor 報 HTTP 錯誤（strace）

公司的開發對生產環境都有普通用户 www 的權限，採用堡壘機登錄到生產環境的機器。 默認 supervisor 使用 root 用户啓動，開發沒有權限直接修改配置和操作 supervisor 管理的進程，所以 supervisor 都採用 www 用户啓動就解決問題了。 但是今天操作生產環境的時候，報的錯誤令人懵逼，SRE 同學折騰了好久，配置來配置去，搞不明白為啥 www 就是啓動不了 supe

supervisor , strace , linux運維 , Linux , supervisord

收藏 評論

koogua 頭像

鳩摩智首席音效師 - 解決supervisor不能監控程序子進程問題

先説一下遇到的問題，使用的是beanstalk隊列，有兩個tube, 使用 supervisor 監控 beanstalk 消費隊列（主進程A），主進程A產生兩個子進程（子進程B，子進程C），每個子進程處理一個tube的數據。 supervisor配置如下： [program:queue-worker] command=/usr/local/bin/php /var/www/html/ctc/co

beanstalk , supervisor , php

收藏 評論

yuanjihua_5d954fd2a3238 頭像

圓圓大姐頭 - Apikit 自學日記：創建自動化測試項目

在API 自動化測試中，所有的測試用例都是以項目維度來進行管理，一個自動化測試項目可以從多個API文檔項目中引用API信息來創建API測試用例。 點擊左側菜單欄，進入 API自動化測試 項目列表頁，點擊添加按鈕： 在彈窗中輸入相應的信息，點擊確定即可： 在創建項目時，您也可以指定一位空間內的成員成為該項目的初始管理員，他能夠幫助您進行項目內的人員權限管理工作，如綁定空間內的成員到該

API , postman , 自動化測試 , 測試工具 , 接口設計

收藏 評論

yuanjihua_5d954fd2a3238 頭像

圓圓大姐頭 - Apikit 自學日記：Mock 內置函數

Mock內置函數教程 通過編寫Javascript腳本設置響應內容，還可以直接使用內置函數設置“請求體觸發條件”相關內容，設置的信息等同於在“請求體觸發條件”輸入框中的設置，如設置Header參數或者請求體參數等，設置完成後，在測試時填寫對應的參數進行觸發，相關函數使用方法如下： 示例： 設置請求體參數，對觸發條件進行判斷輸出符合條件的數值 判斷觸發條件“a”是否等於“eo_tes

mock , 接口文檔 , 測試工具 , 接口 , api設計

收藏 評論

yuanjihua_5d954fd2a3238 頭像

圓圓大姐頭 - Apikit 自學日記：智能 Mock 規則

功能入口：API管理應用 / 公共資源菜單 / 智能 Mock 設置 二級菜單在編寫API文檔返回結果時，若參數字段和類型匹配智能Mock規則，系統則會自動填入對應的Mock值。該功能提供無感的快速mock值配置，減輕mock規則配置的工作負擔。 智能Mock的匹配規則分兩種類型：內置規則和自定義規則。 內置規則是一套完整的預置智能Mock規則，用户不可編輯具體的匹配規則，僅可整體啓用或停用。內置

mock , API , 接口文檔 , 測試工具 , 接口設計

收藏 評論

breezingsummer 頭像

BreezingSummer - python flask + uwsgi初體驗

引言 以前，學習前端的時候用過nodejs做後端，當時用if...else...寫路徑判斷寫的很臃腫。現在想試試其他語言，就選了python試試水。從nodejs到flask絕對是個巨大的挑戰，尤其是對想我這樣很久沒有看過js的人來説。之前用的nodejs+react，現在有點看不懂了，感慨年輕真好。 選型 python的主流web框架有django，flask，tornado，twisted。。

uwsgi , flask

收藏 評論

yuanjihua_5d954fd2a3238 頭像

圓圓大姐頭 - Apikit 自學日記：添加及調用 Mock API

添加及調用 Mock API 在瀑布流開發模式中，如果前端開發人員需要進行頁面對接，需要後端先完成API的開發工作，因此前後端開發的進度會互相影響。 通過 Mock API，您可以事先編寫好 API 的數據生成規則，由 API 研發管理平台 動態生成 API 的返回數據。開發人員通過訪問 Mock API 來獲得頁面所需要的數據，完成對接工作。 Apikit 提供市面最強的Mock API能力體系

mock , API , 接口文檔 , 測試工具 , 接口設計

收藏 評論

jdcdevloper 頭像

京東雲開發者 - ReentrantLock源碼解析 | 京東雲技術團隊

併發指同一時間內進行了多個線程。併發問題是多個線程對同一資源進行操作時產生的問題。通過加鎖可以解決併發問題，ReentrantLock是鎖的一種。 1 ReentrantLock 1.1 定義 ReentrantLock是Lock接口的實現類，可以手動的對某一段進行加鎖。ReentrantLock可重入鎖，具有可重入性，並且支持可中斷鎖。其內部對鎖的控制有兩種實現，一種為公平鎖，另一種為非公平鎖.

鎖 , reentrantreadwritelock , 源碼分析 , 併發編程 , 後端

收藏 評論

alijishu 頭像

阿里雲開發者 - 面向多告警源，如何構建統一告警管理體系？

本文介紹告警統一管理的最佳實踐，以幫助企業更好地處理異構監控系統所帶來的挑戰和問題。 背景信息 在雲原生時代，企業IT基礎設施的規模越來越大，越來越多的系統和服務被部署在雲環境中。為了監控這些複雜的IT環境，企業通常會選擇使用異構監控系統，例如Prometheus、Grafana、Zabbix等，以獲取更全面的監控數據，以便更好地瞭解其IT基礎設施的運行狀況和性能表現。 然而，這種異構監控系統也帶

構建工具 , it , 部署 , 管理 , 雲原生

收藏 評論

uwatechnologies 頭像

侑虎科技 - 為什麼Unity使用AssetBundle熱更的時候要剔除掉.mainfest文件

1）為什麼Unity使用AssetBundle熱更的時候要剔除掉.mainfest文件 ​2）Addressable熱更，斷點續傳問題 3）在線性空間，使用後處理解決UI混合問題 這是第341篇UWA技術知識分享的推送，精選了UWA社區的熱門話題，涵蓋了UWA問答、社區帖子等技術知識點，助力大家更全面地掌握和學習。 UWA社區主頁：community.uwa4d.com UWA

network , ab , ui

收藏 評論

kuanrongdeshanyang 頭像

小小張説故事 - Python中的多進程編程詳解

Python是一種極其強大的語言，能夠適用於各種計算環境，包括多進程和多線程環境。在這篇文章中，我們將專注於討論Python中的多進程編程。我們將詳細討論進程的創建、管理和同步，以及一些更高級的概念，如進程池。 一、什麼是進程？ 在操作系統中，進程是一個執行中的程序實例。每個進程都有自己的一套內存空間和系統資源。進程可以創建其他進程，這些新的進程被稱為子進程。父進程和子進程可以並行或併發運行。 多

多進程 , Python

收藏 評論

openanolis 頭像

龍蜥社區 - 高性能存儲SIG月度動態：io_uring支持nvme直通，DSMS完成開發測試

高性能存儲 SIG（Special Interest Group）目標：存儲領域的發展歷程，本質上是存儲介質與軟件棧相互促進發展的過程。高性能存儲 SIG 致力於存儲棧性能挖掘，當前主要聚焦內核 io_uring 技術優化異步 IO 性能，使用持久化內存提升業務單成本性能，容器場景存儲技術優化等課題。高性能存儲 SIG 期望通過社區合作，打造標準的高性能存儲技術軟件棧，推動軟硬件協同發展。 01

操作系統 , 存儲 , 開源 , 高性能計算 , io

收藏 評論

xieyunharmonycloud 頭像

用户bPcOr1y - WebAssembly：讓Istio變得更強大

1 Wasm為Envoy帶來新的擴展性 Envoy是一個高性能、可編程的L3/L4和L7網絡代理，許多服務網格和網關都採用Envoy作為數據面。 Envoy通過監聽器（Listener）捕獲網絡數據包，根據數據包的內容匹配某個過濾器鏈（Filter Chain）中，之後按順序執行該鏈中的過濾器（Network Filter）對捕獲的數據包進行操作，實現用户定義的各種流量治理策略。Env

webassembly , istio

收藏 評論

xieyunharmonycloud 頭像

用户bPcOr1y - 什麼是WebAssembly及其必要性

1 什麼是WebAssembly WebAssembly（Wasm）是一種可移植的字節碼格式，本身為了解決日益複雜的前端 Web 應用以及有限的JavaScript 腳本解釋性能而誕生的技術，通過該技術可以使用非JavaScript 編程語言編寫代碼並且能在瀏覽器上運行[1]。 隨着Wasm的發展，現在Wasm不僅僅可以用於瀏覽器，同樣可以被應用在server-side程序中，它已經被定義為一個可

webassembly

收藏 評論

data_ai 頭像

數據庫知識分享者 - 解讀 RocketMQ 5.0 全新的高可用設計

高可用架構演進背景 在分佈式系統中不可避免的會遇到網絡故障，機器宕機，磁盤損壞等問題，為了向用户不中斷且正確的提供服務，要求系統有一定的冗餘與容錯能力。RocketMQ 在日誌，統計分析，在線交易，金融交易等豐富的生產場景中發揮着至關重要的作用，而不同環境對基礎設施的成本與可靠性提出了不同的訴求。在 RocketMQ v4 版本中有兩種主流高可用設計，分別是主備模式的無切換架構和基於 Raft 的

rocketmq , 雲計算 , 阿里雲 , 雲原生 , 高可用

收藏 評論

breezingsummer 頭像

BreezingSummer - openssl的初步應用

牢騷 距上一篇文章已經時隔兩年還要多了，我不禁感概時光如白駒過隙，而自己仍是少年，不管是身體心理上還是技術上。但是，人生不僅僅是工作一方面，我技術上仍比不上平均水平，不過幾年來收穫的也是不少。 引言 我明白對稱加密、非對稱加密、公鑰、私鑰等各種概念。但是我該怎麼操作呢？我接觸了openssl。其實，我根本不懂openssl底層邏輯是啥，我只要求查閲資料後會用就行了。不要在我導入了ca證書後，瀏覽器

openssl

收藏 評論

alijishu 頭像

阿里雲開發者 - 為什麼 Serverless 能提升資源利用率？

業務的負載往往不是一成不變的，而是隨着時間呈現一定的上下波動。傳統的應用構建方式一般是備足充分的資源以保障業務可用性，造成資源利用率不高的現象。隨着容器技術的普及，應用可以通過彈性伸縮或者應用混部的方式來提升資源利用率，但由於資源管理的複雜度，難以在業務可用性和資源利用率上取得較好的平衡。 Serverless 平台的出現，將資源管理的責任從用户側轉移到平台側。這種責任轉移能夠讓用户專注在業務開發

構建工具 , 阿里雲 , 容器技術 , 雲原生 , serverless

收藏 評論

yuanfangdeyuan_649bd7218e30d 頭像

遠方的遠 - Nginx 快速集成免費 WAF

OpenResty 是一個基於 Nginx 和 LuaJIT 的全功能 Web 應用服務器，它提供了一種強大而靈活的方式來構建和擴展 Web 應用服務器，同時保持了 Nginx 的高性能和可靠性。OpenResty 是 APISIX、Kong、Ingress Nginx 等網關類產品的基礎，因此 OpenResty 及其衍生產品非常適合作為 WAF 防護的統一入口。 本次使用的免費WAF主要用了雷

運維 , waf , openresty , Nginx , Web

收藏 評論

jdcdevloper 頭像

京東雲開發者 - 互聯網高可用架構探討 | 京東雲技術團隊

高可用指標與問題 高可用，英文單詞High Availability，縮寫HA，它是分佈式系統架構設計中一個重要的度量。業界通常用多個9來衡量系統的可用性，如下表： 既然有可用率，有一定會存在不可用的情況。系統宕機一般分為有計劃的和無計劃的，有計劃的如日常維護、系統升級等，無計劃的如設備故障、突發斷電等。我們對此作如下分類： 1.設備故障：機房斷電、硬盤損壞、交換機故障。 2.網絡故障：網絡帶寬

架構設計 , 架構 , 高可用 , 架構師

收藏 評論

uwatechnologies 頭像

侑虎科技 - 在MMORPG中，其他玩家和怪物的同步做法

1）在MMORPG中，其他玩家和怪物的同步做法 ​2）AssetBundle通過Offset加密/解密問題 3）加載預製體API區別 4）關於MaterialPropertyBlock的使用問題 這是第340篇UWA技術知識分享的推送，精選了UWA社區的熱門話題，涵蓋了UWA問答、社區帖子等技術知識點，助力大家更全面地掌握和學習。 UWA社區主頁：community.uwa4d

loading , network , rendering , ab

收藏 評論