Scrapy 是一套基於 Twisted 的異步處理框架,純 Python 實現的爬蟲框架,用户只需要定製開發幾個模塊就可以輕鬆的實現一個爬蟲,用來抓取網頁內容以及各種圖片。它也可以用於廣泛的目的,從數據挖掘、監控到自動測試等。
Scrapy 2.13.4 現已發佈,具體更新內容包括:
Security bug fixes
-
針對使用
br和deflate方法壓縮的響應,HttpCompressionMiddleware增強了對解壓 bombs 的防護機制:若單個壓縮塊解壓後可能超過響應大小限制(參見DOWNLOAD_MAXSIZE),則不再執行解壓操作。此機制對能實現超高壓縮率的br(Brotli) 方法尤為關鍵。更多詳情請參閲 CVE-2025-6176 和 GHSA-2qfp-q593-8484 安全公告。(issue 7134)
Modified requirements
- 可選
brotli包的最低支持版本現已為1.2.0.(issue 7134) brotlicffi和brotlipy軟件包已不再用於解壓縮 Brotli 壓縮的響應。改用brotli軟件包。(issue 7134)
Other changes
- 限制了支持的 Twisted 最高版本
25.5.0,因為 Scrapy 目前使用了一些在後續 Twisted 版本中已更改的私有 API。(issue 7142) - 停止在測試中設置
COVERAGE_CORE環境變量,該變量雖無實際效果卻會導致coverage模塊產生警告或錯誤。(issue 7137) - 移除了文檔構建對已棄用
sphinx-hoverxref模塊的依賴。(issue 6786,issue 6922)
詳情可查看:https://docs.scrapy.org/en/latest/news.html#scrapy-2-13-4-2025-11-17