博客 RSS 訂閱

瑞0908 - 替代selenium的好用包Drissionpage

1.簡介: 常規情況下,我們藉助requests 庫爬取不加密的網站,使用 Selenium 庫爬取加密的網站。requests 效率高,但是解密難度大。Selenium 庫可以實現網頁自動化,不用解密,但是爬蟲效率不高。那有沒有什麼庫既效率高,又可以網頁自動化。DrissionPage 庫他來了,號稱可以把 Selenium 按在地上摩擦!DrissionPage 庫結合了 requests 和

爬蟲 , selenium

收藏 評論

華為雲開源 - 華為開發者大會2025來襲,華為雲開源邀您一同共赴盛會

一行代碼,都是改變世界的火種;每一次嘗試,都在為數字未來寫下注腳。從鴻蒙初啓到星辰大海,從盤古開天到智能大潮,我們始終相信:技術的力量,始於微小,成於堅持。2025年6月20日-22日,華為雲開源誠邀你共赴東莞松山湖,在華為開發者大會(HDC 2025)的舞台上,與全球開發者一起,用代碼編織智慧時代的經緯。 華為雲開源將會在本次大會給廣大開發者帶來 1 場專題論壇、2 個展台、7 場開發者實操活動

華為雲 , 開源 , 雲原生 , 開發者

收藏 評論

WL - hadoop大數據學習01(基礎環境準備)

環境準備 下載centos7 鏡像文件 https://mirrors.aliyun.com/centos/7/isos/x86_64/ 選擇最小安裝版 CentOS-7-x86_64-Minimal-2009.iso 安裝完成之執行下面的命令更新鏡像源: 直接輸入curl -o /etc/yum.repos.d/CentOS-Ba

大數據 , hadoop , JAVA , 後端

收藏 評論

圖形天下 - 查找|圖形天下思維導圖顯示與選擇

查找是指在圖形天下思維導圖軟件中,通過搜索功能快速定位到思維導圖中的某個主題、關鍵字或內容的過程。 以下介紹圖形天下思維導圖軟件查找功能的使用方法: 通過工具欄上“查找”功能按鈕搜索內容 具體方法如下: 1.啓動查找功能:點擊頂部工具欄右側的“查找”按鈕,以打開查找窗口; 2.輸入查找關鍵字:在查找窗口中,輸入查找的關鍵字或具體內容。同時,可以選擇是否啓用“區分大小寫”功能。隨後,會在查找窗口

思維 , 思維導圖

收藏 評論

優測雲服務平台 - 推薦一款AI賦能的後台一體化測試工具—優測雲服務平台!

在數字化轉型深水區,後台系統複雜度飆升,傳統測試方法在效率、覆蓋度和問題定位上遭遇嚴峻挑戰。隨着AI在測試領域的應用,優測後台一體化測試平台迎來重磅升級--深度集成AI大模型能力,為原有強大的測試基座注入智能新引擎!優測支持騰訊後台測試的實踐成果 平台全景 | AI驅動的全流程質量守護 優測後台一體化測試平台深度融合後台測試全流程,覆蓋接口管理、接口測試、接口監控、壓力測試等關鍵場景,將AI能力

API , 壓力測試 , 人工智能 , 自動化測試 , 測試工具

收藏 評論

Jing_H - flask的路由中使用線程遇到的問題

需要再路由中使用線程,線程中需要向mysql寫入數據。 使用了flask_sqlalchemy。 線程中是不能直接使用使用了flask_sqlalchemy的db對象的,因為線程中沒有flask的上下文環境。 在線程代碼中使用with app.appcontext()也是不行的。 from app import app, db pool_executor = ThreadPool

flask , thread , Python

收藏 評論

騰訊雲中間件 - Apache RocketMQ 消息過濾的實現原理與騰訊雲的使用實踐

導語 本文將系統闡述 Apache RocketMQ 消息過濾機制的技術架構與實踐要點。首先從業務應用場景切入,解析消息過濾的核心價值;接着介紹 Apache RocketMQ 支持的兩種消息過濾實現方式,幫助讀者建立基礎認知框架;隨後深入剖析 SQL 語法過濾與標籤(Tag)過濾的技術實現的核心原理以及規則限制;最後介紹騰訊雲在消息過濾性能優化方面的具體實踐。 消息過濾的應用場景 消息過濾功能指

騰訊雲 , rocketmq , 消息隊列

收藏 評論

騰訊藍鯨智雲 - 企業應用觀測中樞建設

本文來自騰訊藍鯨智雲社區用户: CanWay 運維挑戰加劇 新時代技術背景下,運維面臨的挑戰加劇: 1、業務數量日益增加、業務規模日益龐大 隨着科技發展進步、民眾生活富足,線下業務線上化、線上業務複雜化趨勢愈演愈烈,各行各業投入巨大人力物力財力進行企業IT建設。隨之而來的是線上業務數量的爆炸式增加與業務規模的劇烈擴張,這對企業IT運維人員提出了全局把控能力的重大挑戰。 2、雲原生、微服務技術應用

it , 服務器 , 微服務 , 運維 , 雲原生

收藏 評論

騰訊雲中間件 - 限流系列之三:TDMQ for Apache Pulsar 限流技術深度解析

導語 在高速、高吞吐量的消息處理場景中,TDMQ Pulsar 版以其卓越的性能和可擴展性成為眾多企業的首選。然而,隨着生產者和消費者以極高的速度生產/消費大量消息,服務器資源如 CPU、內存、網絡及磁盤 IO 等可能會面臨飽和風險。為此,TDMQ Pulsar 版設計了完善的限流機制,以保護集羣資源,確保系統的全局穩定性。本文將深入探討 TDMQ Pulsar 版的集羣級與主題分區限流技術,並提

騰訊雲 , 消息隊列 , pulsar

收藏 評論

百度Geek説 - 百度垂搜數據管理系統彈性調度優化實踐

百度垂直搜索系統將搜索核心能力賦能阿拉丁(百度搜索特型結果)、垂直領域搜索、應用內搜索等場景,支撐了數百個檢索場景、百億級內容數據的檢索。隨着接入業務數量和數據量不斷增長,系統在海量數據管理與調度上遭遇新的挑戰,通過垂搜數據管理系統彈性調度優化實踐來滿足業務增長需求。 01 背景 1.1簡介 百度垂搜架構的召回引擎經過歷史架構演進確定了異構部署的架構模型,相較於同構部署在容量自動調整、數據按需存儲

大數據 , 搜索 , 雲原生

收藏 評論

騰訊雲中間件 - TDMQ for RocketMQ MCP Server 實戰,一站式查詢提升運維效率

導語 在 RocketMQ 的日常運維中,我們經常需要訪問不同的數據源來獲取診斷信息。傳統的方式往往需要編寫複雜的查詢語句,或者在多個系統之間切換,效率低下。為了解決這個問題,我們使用 LLM 結合 MCP 來實現高效的數據訪問。通過這種方式,可以用自然語言一站式查詢所需的信息,提高運維效率。 前言 在騰訊雲消息隊列團隊日常運維 TDMQ RocketMQ 版的過程中,經常需要訪問不同的數據源來獲

騰訊雲 , rocketmq , 消息隊列

收藏 評論

騰訊雲中間件 - 限流系列之四:TDMQ RocketMQ 版限流機制詳解與實踐教程

導語 隨着分佈式系統架構的普及,消息隊列已成為支撐大規模、高併發在線業務的核心組件之一。TDMQ RocketMQ 版作為一款高性能、高可靠的消息中間件,通過提供穩定、低延遲的消息服務,幫助企業輕鬆應對業務洪峯、實現系統解耦。然而,在高併發、大流量場景下,如何合理分配資源、防止系統過載成為保障服務穩定性的關鍵。為此,TDMQ RocketMQ 版引入了分佈式限流機制,通過動態調整客户端的發送與消費

騰訊雲 , rocketmq , 消息隊列

收藏 評論

騰訊雲中間件 - TDMQ RocketMQ 版訂閲關係一致性原理與實踐

導語 騰訊雲 TDMQ RocketMQ 版是基於 Apache RocketMQ 打造的滿足金融級高可靠的在線業務消息隊列產品,憑藉其高可用、高可靠等特性,被廣泛應用於金融、電商,社交等高併發場景,獲得了各行各業用户的廣泛認可。在實際使用中, 訂閲關係不一致是開發者經常容易遇到的一個問題,可能會導致消息消費異常、消息丟失等現象。 本文將深入解析訂閲關係一致性的核心要點,從定義與約束機制,到底層實

騰訊雲 , rocketmq , 消息隊列

收藏 評論

墨天輪 - 技術分享 | MySQL 8.0高可用之雙主+keepalived

本文為墨天輪數據庫管理服務團隊第81期技術分享,內容原創,作者為技術顧問張宇健,如需轉載請聯繫小墨(VX:modb666)並註明來源。如需查看更多文章可關注【墨天輪】公眾號。 一、介紹 利用keepalived實現MySQL數據庫的高可用,Keepalived+MySQL雙主來實現MySQL-HA,兩台Mysql數據庫的數據保持完全一致,實現方法是兩台MySQL互為主從關係,通過keepalive

MySQL , 數據庫 , 高可用

收藏 評論

hightopo - 圖撲軟件 | 3D 場景視頻嵌入應用

在快節奏的數字時代,視頻已成為信息傳播和內容消費的主要形式之一。場景嵌入技術作為一種創新媒介,正在改變我們創作、分享和體驗視頻的方式。 效果展示 場景嵌入視頻的最大優勢在於能夠增強觀眾的沉浸感。通過融合現實環境與虛擬元素,創作者可以突破傳統視頻製作的侷限,打造更加富有創意和吸引力的內容。這種沉浸式體驗不僅吸引眼球,更能夠提高信息的傳達效果。 接下來,讓我們一同探究在 HT 中怎樣把視頻嵌入場景,

視頻處理 , 可視化 , 前端 , html5 , Javascript

收藏 評論

騰訊雲中間件 - 深度解析 RocketMQ 核心組件:ConsumeQueue 的設計與實現

導語 在分佈式消息隊列 RocketMQ 中,ConsumeQueue(消費隊列) 是消息消費的核心組件之一。它作為 CommitLog 的索引機制,幫助消費者快速定位並拉取消息。如果沒有 ConsumeQueue,消費者將無法高效地從海量消息中篩選出自己訂閲的數據。 本文將基於 RocketMQ 5.0 源碼,深入探討 ConsumeQueue 的設計原理與實現細節。 為什麼需要 Consume

騰訊雲 , rocketmq , 消息隊列

收藏 評論

圖形天下 - 鼠標右鍵-主題溯源顯示|圖形天下思維導圖顯示與選擇

在圖形天下思維導圖軟件中,思維導圖會智能聚焦於選中主題,僅展示從起始主題到該主題的直系關聯路徑,同時自動隱藏所有不相關的主題,使信息呈現更加清晰集中。 以下介紹圖形天下思維導圖軟件設置主題溯源顯示的方法: 通過“右鍵菜單”設置主題溯源顯示 具體步驟如下: 1.打開右鍵菜單:首先,右鍵點擊想要溯源顯示的主題,此時會彈出一個包含多個選項的右鍵菜單; 2.展開下拉菜單:然後,在右鍵菜單中,選擇並點擊“

思維 , 思維導圖

收藏 評論

溪抱魚 - Next.js面試題:API深度解析

Next.js面試題:API深度解析 Next.js 通過 App Router 的引入徹底改變了 Web 開發範式。在這個新時代,深入理解 Next.js 的 API 函數不再只是錦上添花,而是技術面試中的關鍵區分點。這些函數構成了構建高性能、可擴展、現代化 Web 應用的基石。 本文將系統地解析 Next.js 的各類函數,不僅闡述它們的基本功能,更深入探討實際應用場景、細微差別以及面試中可能

next.js , 前端

收藏 評論

騰訊雲中間件 - 騰訊雲 TDMQ MQTT 版解鎖 5.0 協議,你的物聯網設備“更會説話”了

導語 騰訊雲消息隊列 MQTT 版(TDMQ MQTT 版)自年初商業化以來,受到了廣大物聯網開發者和企業用户的熱烈歡迎,憑藉其高可靠、低延遲的特性,已成功服務於智能家居、車聯網、工業物聯網等多個領域的客户。自6月起,TDMQ MQTT 版正式支持 5.0協議,為用户提供更智能的設備管理、更高效的網絡傳輸以及更精細化的運維監控能力,助力企業構建面向未來的物聯網通信基礎設施。 MQTT 協議的發展史

騰訊雲 , 物聯網 , 消息隊列

收藏 評論

GeekCat - 一篇文章讓你學會 Compose Multiplatform 推薦的桌面應用打包工具 Conveyor

對於希望將 Compose Multiplatform Desktop 應用部構建發佈的開發者而言,跨平台打包、簽名、更新機制等環節常常是巨大的挑戰。本文將深入探討 Conveyor 這一強大的打包工具,並以我的開源項目 CrossPaste 為例,為您詳細解析其在實際項目中的應用,幫助您輕鬆實現應用的跨平台發佈。 1. 為什麼選擇 Conveyor? Conveyor 是一個出色的工具,它旨在讓

構建工具 , 應用 , 後端

收藏 評論

IPD產品研發管理 - 蘋果造車失敗?這些百億級項目立項都應該做的正確決策!

從2014年到2024年,蘋果公司宣佈叫停“泰坦計劃”。 一場歷時十年、耗資百億、匯聚全球頂尖人才的造車嘗試最終以失敗告終。 可以看到,當全球頂尖的技術團隊、雄厚的資金儲備與強大的品牌勢能都難以扭轉敗局時,我們不得不思考:項目立項的決策邏輯,遠比想象中更為關鍵。 一、敗於既要又要的完美主義? 你有沒有聽過“大道至簡”? 這種“少而精”的思維模式在蘋果的產品設計中體現得淋漓盡致。 但在造車這件事上,

產品經理 , 創業 , 產品開發 , 產品設計

收藏 評論

圖形天下 - 鼠標右鍵-主題脈絡顯示|圖形天下思維導圖顯示與選擇

在圖形天下思維導圖軟件中,思維導圖將專注於展示選中主題的直系關聯,從起始主題到選中主題及其所有子主題,同時隱藏其他不相關的主題。 以下介紹圖形天下思維導圖軟件設置主題脈絡顯示的方法: 通過“右鍵菜單”設置主題脈絡顯示 具體步驟如下: 1.打開右鍵菜單:首先,右鍵點擊想要顯示脈絡的主題,此時會彈出一個包含多個選項的右鍵菜單; 2.展開下拉菜單:然後,在右鍵菜單中,選擇並點擊“主題顯示控制”選項,將

思維 , 思維導圖

收藏 評論

美團技術團隊 - 可信實驗白皮書系列05:準實驗

本文系《可信實驗白皮書》系列的第五篇文章,上一篇我們圍繞隨機輪轉實驗展開,內容主要包括拋硬幣隨機輪轉、完全隨機輪轉、配對隨機輪轉等幾個實驗方法的介紹。本篇我們會介紹準實驗,然後會重點介紹雙重差分法,包括概述、評估原理及美團的一些實踐案例。 準實驗(Quasi-experiment)適用於“實驗設計者”可干預分組,但無法隨機分配實驗單元至實驗組和對照組的場景。經典隨機對照實驗通過隨機分配實驗單元,保

ab測試 , 美團

收藏 評論

滿身肌肉的香蕉_bOGaVh - ReactHooks自動配置源碼深度探秘

  前言      ReactHooks是React16.8引入的一個新特性,它允許函數組件中使用state和其他React特性,而不必使用類組件。Hooks是一個非常重要的概念,因為它們提供了更簡單、更易於理解的React開發體驗。      ReactHooks的核心源碼主要包括兩個部分:React內部的Hook管理器和一系列預置的Hook函數。      

react-hooks

收藏 評論