tag requests

標籤
貢獻17
92
11:35 AM · Nov 05 ,2025
kuanrongdeshanyang 頭像 bianchengdandan 頭像 chuyang_596e1bd19bf8c 頭像 jdcdevloper 頭像 rui0908 頭像 shiwangdedaxiang_ckfvna 頭像 z_60b7121291592 頭像 joyvw 頭像 shuyuwo 頭像 wenroudemangguo 頭像 baimabaidu 頭像 xiaoxiaocong_5c80f6d1131a4 頭像

@requests / 博客 RSS 訂閱

rui0908 頭像

瑞0908 - 解決 xpath遇到特殊符號匹配不全信息的問題

這個問題是我之前的一個提問 經過了兩三天的研究終於解決了 背景： import requests from lxml import etree url = "https://music.163.com/discover/toplist?id=3779629" headers = { 'User-Agent': "PostmanRuntime/7.15.2",

xpath , python爬蟲 , beautifulsoup , requests

收藏 評論

kuanrongdeshanyang 頭像

小小張説故事 - Python網絡請求初級篇：使用Requests庫抓取和解析數據

在網絡編程中，請求和接收數據是最常見的任務之一。Python的Requests庫提供了豐富的功能，使得HTTP請求變得非常簡單。在本文中，我們將瞭解如何使用Requests庫發起HTTP請求，並解析返回的數據。 一、安裝Requests庫 首先，我們需要安裝Requests庫。在命令行中，使用pip工具進行安裝： pip install requests 二、發起GET請求 我們可以使用Reque

requests , Python

收藏 評論

q_bit 頭像

qbit - Pthon httpx 使用代理下載文件（qbit）

前言 技術棧 Python 3.11.8 httpx 0.28.1 示例代碼 # encoding: utf-8 # author: qbit # date: 2025-06-30 # summary: httpx 使用代理下載文件 import httpx proxy = 'http://127.0.0.1:8081' def DownFile(url, file):

代理 , requests , Python

收藏 評論

kuanrongdeshanyang 頭像

小小張説故事 - Python的強大HTTP庫：Requests

一、簡介 requests 是一個使用廣泛的Python庫，專門用於處理HTTP請求。在requests的幫助下，開發者能夠方便快捷地完成諸如發送GET/POST請求、處理Cookies和文件上傳等常見的網絡任務。 作為一種語言自身不提供網絡功能的解決方案，Python通過提供requests庫，實現了對網絡編程的強大支持。在這個庫的幫助下，開發者可以像操作本地文件一樣簡單地處理HTTP請求。 二

requests , Python

收藏 評論

openhacking 頭像

OpenHacker - Pyodide 中實現網絡請求的 3 種方法

原文：https://lwebapp.com/zh/post/p... 需求 小編之前提過一個在線 Python 工具，核心技術是用到了一個叫 Pyodide 的庫，能夠讓 Python 在網頁上運行，但是小編在學習過程中發現，並不是所有 Python 內置庫或者擴展庫都能運行，比如 requests是不支持的。 根據這個 issue 下的討論，requests依賴於 Lib/http.clien

工具 , HTTP , fetch , requests , Python

收藏 評論

bianchengdandan 頭像

Python技術大本營 - 推薦七個Python效率工具！

為了提高效率，我們在平時工作中常會用到一些Python的效率工具，Python作為比較老的編程語言，它可以實現日常工作的各種自動化。為了更便利的開發項目，這裏給大家推薦幾個Python的效率工具。 1、Pandas-用於數據分析 Pandas是一個強大的分析結構化數據的工具集;它的使用基礎是Numpy(提供高性能的矩陣運算);用於數據挖掘和數據分析，同時也提供數據清洗功能。 #1、安裝包 $p

flask , scrapy , pandas , requests , Python

收藏 評論

jdcdevloper 頭像

京東雲開發者 - HTTP請求：requests模塊基礎使用必知必會 | 京東雲技術團隊

1 背景 http請求是常見的一種網頁協議，我們看到的各種網頁，其實都是發送了http請求得到了服務器的響應，從而將數據庫中複雜的數據以簡單、直觀的方式呈現出來，方便大眾閲讀、使用。而如何發送http請求呢？今天來探討一下使用requests模塊，達到高效、簡單的http請求操作。 2 什麼是requests requests是用python語言基於urllib編寫的，採用的是Apache2 Li

HTTP , requests , Python

收藏 評論

xue_6911da462554c 頭像

薛 - LLM調用為什麼不能像requests一樣簡單？上下文管理就不能自動搞定嗎？

兄弟們,我今天在github上發了一個庫 —— chak, 極簡風格連接全球主流模型，重點是 —— 可以自動管理上下文，確實方便 項目在這裏:https://github.com/zhixiangxue/chak-ai 説説我為啥要寫這個庫哈~ 我自己的幾個痛點: OpenAI的API很方便,但上下文得自己管 每次對話一長,自己算token、截斷歷史、寫策略...重複勞動,煩。

llm , gateway , requests , 上下文管理器

收藏 評論

viriya_5ffb1966ce430 頭像

VIRIYA - Django學習筆記003-請求與響應

1、請求 1.1獲取請求方式 request.method() 1.2在URL上傳遞值/something/?n1=123n2=456 request.GET() 1.3在請求體中提交數據 request.POST() 2、響應 2.1 字符串內容返回給請求者 `HttpResponse("返回內容")` 2.2 讀取HTML模板內容 + 渲染，返回給用户瀏覽器 return r

request , django , requests , HTML

收藏 評論

chuyang_596e1bd19bf8c 頭像

黑客Roman - Python爬蟲實戰，requests模塊，抓取豆瓣讀書Top250

前言 今天為大家帶來利用Python爬蟲抓取豆瓣讀書Top250，廢話不多説。 Let's start happily 開發工具 Python版本： 3.6.4 相關模塊： requests模塊 lxml模塊 csv模塊 環境搭建 安裝Python並添加到環境變量，pip安裝需要的相關模塊即可。 思路分析 本文以爬蟲抓取豆瓣讀書，講解如何爬取豆瓣讀書Top250！ 前期準備 1.獲取頁面內容 f

豆瓣 , top , 讀書 , python爬蟲 , requests

收藏 評論

teamcode 頭像

TeamCode - 學習 Python 爬蟲，手把手通過 Python 入門爬取網頁信息

Python 爬蟲是什麼？ 我們在網絡上收集資料的過程其實就稱之為爬蟲（web scraping）。複製粘貼歌詞、摘抄文本或數據都可以算作爬蟲的一部分，但網絡編程背景下的爬蟲，更強調自動化，通過 Python 編程實現自動爬取資源，從而減少人力資源與精力消耗，提高效率。 注：在動手爬蟲之前，程序員們還是需要考慮一些法律相關的問題。一般而言，開源或教育相關用途的爬蟲並不會觸及法律問題，但若用作其

beautifulsoup , requests , 爬蟲 , 程序員 , Python

收藏 評論

chuyang_596e1bd19bf8c 頭像

黑客Roman - Python爬蟲實戰，requests+re模塊，Python實現爬取豆瓣電影《外太空的莫扎特》

前言 今天為大家帶來利用Python爬蟲抓取豆瓣電影《外太空的莫扎特》影評，廢話不多説。 Let's start happily 開發工具 Python版本： 3.6.4 相關模塊： requests模塊 json模塊 re模塊 os模塊 bs4模塊 pandas模塊 time模塊 環境搭建 安裝Python並添加到環境變量，pip安裝需要的相關模塊即可。 思路分析 本文以爬取豆瓣電影《外太空的

豆瓣 , 電影 , python爬蟲 , requests , 正則表達式

收藏 評論

chuyang_596e1bd19bf8c 頭像

黑客Roman - Python爬蟲實戰，requests+re模塊，Python實現爬取豆瓣電影《魔女2》

前言 閉關幾個月，今天為大家帶來利用Python爬蟲抓取豆瓣電影《魔女2》影評，廢話不多説。 爬取了6月7月25的影片數據，Let's start happily 開發工具 Python版本： 3.6.4 相關模塊： requests模塊 json模塊 re模塊 os模塊 pandas模塊 time模塊 以及一些Python自帶的模塊。 環境搭建 安裝Python並添加到環境變量，pip安裝需要

豆瓣 , 電影 , requests , 爬蟲 , Python

收藏 評論

xiaoxiaocong_5c80f6d1131a4 頭像

xxcdd - requests實現帶註釋的分塊傳輸

前言 最近有WAF bypass的需求，學習了下分塊傳輸的方法，網上也有burp插件，需要使用python實現一下，在使用requests實現時遇到了一些坑，記錄下。 requests塊編碼請求 https://docs.python-requests.... 請求參數data提供一個生成器即可 首次引入分塊傳輸： https://github.com/psf/reques... 使用burp代理

滲透測試 , waf , requests

收藏 評論

bianchengdandan 頭像

Python技術大本營 - 還在用requests寫爬蟲嗎？這個庫效率提高一倍！

最近公司 Python 後端項目進行重構，整個後端邏輯基本都變更為採用"異步"協程的方式實現。看着滿屏幕經過 async await（協程在 Python 中的實現）修飾的代碼，我頓時感到一臉懵逼，不知所措。 雖然之前有了解過"協程"是什麼東西，但並沒有深入探索，於是正好藉着這次機會可以好好學習一下。 什麼是協程？ 簡單來説，協程是一種基於線程之上，但又比線程更加輕量級的存在。對於系統內核來説，協

requests , 爬蟲

收藏 評論

kuanrongdeshanyang 頭像

小小張説故事 - Python網絡請求中級篇：深入理解Requests庫的使用

在Python網絡請求初級篇中，我們瞭解了Requests庫基礎的使用方式，包括如何發起GET和POST請求，如何解析JSON響應以及如何處理異常。在本文中，我們將深入理解Requests庫，包括如何發送帶參數的請求，如何處理Cookies，如何使用Session對象以及如何設置請求頭。 一、發送帶參數的請求 我們可以通過兩種方式向URL添加參數，一種是直接在URL中添加，另一種是使用params

requests , Python

收藏 評論

baimabaidu 頭像

白馬百度 - python requests 爬取nexus庫依賴包數據

前言 由於nexus庫自帶API沒有輸出依賴包對應的創建時間(blobCreated)、上傳時間(blobUpdated)，為方便管理依賴包只好從頁面返回的數據進行爬取（可能使用nexus-cli可以獲取，但是沒有細究這個方法） 思路 我這邊使用的nexus庫版本為 3.19.1-01，下面是在nexus庫API接口信息中可以查詢到關於依賴包信息的接口 /v1/components

python爬蟲 , nexus3 , requests , Python

收藏 評論

kuanrongdeshanyang 頭像

小小張説故事 - Python網絡請求高級篇：Requests庫的深度運用

在Python網絡請求中級篇中，我們瞭解瞭如何通過Requests庫發送帶參數的請求，處理Cookies，使用Session對象，以及設置請求頭。在本文中，我們將進一步深入學習Requests庫的高級功能，包括處理重定向，設置超時，處理大文件以及錯誤和異常處理。 一、處理重定向 默認情況下，Requests會自動處理重定向。我們可以通過響應對象的history屬性查看重定向歷史。如果我們不想讓Re

requests , Python

收藏 評論

wenroudemangguo 頭像

測試菜鳥 - requests庫

一、requests庫安裝 1.1 安裝 方法1 pip install requests 從國外網站下載庫安裝 方法2 pip installrequests -i 鏡像地址 鏡像地址網站： 豆瓣鏡像：https://pypi.douban.com/simple/ 清華：https://pypi.tuna.tsinghua.edu.cn/s

requests

收藏 評論

shuyuwo 頭像

鼠與我 - python爬蟲requests&BeautifulSoup

requests模塊介紹 相對於python自帶的urllib模塊，requests模塊提供了相對更高層的api來進行網頁訪問的工作。 對於requests模塊，使用很簡單，一般我們會用到兩個函數： requests.get(url,params=None,**kwargs) 這裏的params是我們要傳入的query，它的格式是dict。 requests.post(url,data=No

網頁爬蟲 , beautifulsoup , requests , Python

收藏 評論

kuanrongdeshanyang 頭像

小小張説故事 - 使用 Python 實現簡單的爬蟲框架

爬蟲是一種自動獲取網頁內容的程序，它可以幫助我們從網絡上快速收集大量信息。在本文中，我們將學習如何使用 Python 編寫一個簡單的爬蟲框架。 一、請求網頁 首先，我們需要請求網頁內容。我們可以使用 Python 的 requests 庫來發送 HTTP 請求。在使用之前，請確保已安裝該庫： pip install requests 然後，我們可以使用以下代碼請求網頁內容： import requ

requests , 爬蟲 , Python

收藏 評論

joyvw 頭像

joyvw - python requests 報錯 SSL: SSLV3_ALERT_HANDSHAKE_FAILURE

某些特定網站在SSL通信過程中的TLS版本和加密算法的選擇，導致使用較高版本 requests 時產生 SSL: SSLV3_ALERT_HANDSHAKE_FAILURE的錯誤。根據HTTPS 服務的TLS版本支持情況可強制使用1.1 1.2等。按照一般經驗，大部分都支持 1.2, 所以示例代碼中使用1.2。 tips: 該方案不適用所有此類報錯，請多嘗試。 import ssl import

requests , Python

收藏 評論

z_60b7121291592 頭像

z - python-爬取中國天氣網7天天氣並保存至本地

1.中國天氣網 http://www.weather.com.cn/weather/101010100.shtml 2.分析頁面 3.瀏覽器-F12-定位查看元素嵌套關係 4.導入需要的庫 import requests from bs4 import BeautifulSoup import re 5.代碼部分 result_list_wt = [] def get_p

python爬蟲 , beautifulsoup , requests

收藏 評論

bianchengdandan 頭像

Python技術大本營 - 一個神器，大幅提升爬蟲爬取效率！

在做爬蟲的時候，我們往往可能這些情況： 網站比較複雜，會碰到很多重複請求。 有時候爬蟲意外中斷了，但我們沒有保存爬取狀態，再次運行就需要重新爬取。 還有諸如此類的問題。 那怎麼解決這些重複爬取的問題呢？大家很可能都想到了“緩存”，也就是説，爬取過一遍就直接跳過爬取。 那一般怎麼做呢？ 比如我寫一個邏輯，把已經爬取過的 URL 保存到文件或者數據庫裏面，每次爬取之前檢查一下是不是在列表或數據

requests , 爬蟲

收藏 評論