Scrapy 2.13.4 發佈,Python 爬蟲框架

新聞
HongKong
20
03:02 PM · Nov 18 ,2025

Scrapy 是一套基於 Twisted 的異步處理框架,純 Python 實現的爬蟲框架,用户只需要定製開發幾個模塊就可以輕鬆的實現一個爬蟲,用來抓取網頁內容以及各種圖片。它也可以用於廣泛的目的,從數據挖掘、監控到自動測試等。

Scrapy 2.13.4 現已發佈,具體更新內容包括:

Security bug fixes

  • 針對使用brdeflate方法壓縮的響應,HttpCompressionMiddleware增強了對解壓 bombs 的防護機制:若單個壓縮塊解壓後可能超過響應大小限制(參見DOWNLOAD_MAXSIZE),則不再執行解壓操作。此機制對能實現超高壓縮率的br (Brotli) 方法尤為關鍵。更多詳情請參閲 CVE-2025-6176 和 GHSA-2qfp-q593-8484 安全公告。(issue 7134)

Modified requirements

  • 可選brotli包的最低支持版本現已為 1.2.0.(issue 7134)
  • brotlicffibrotlipy軟件包已不再用於解壓縮 Brotli 壓縮的響應。改用brotli 軟件包。(issue 7134)

Other changes

  • 限制了支持的 Twisted 最高版本25.5.0,因為 Scrapy 目前使用了一些在後續 Twisted 版本中已更改的私有 API。(issue 7142)
  • 停止在測試中設置COVERAGE_CORE環境變量,該變量雖無實際效果卻會導致coverage模塊產生警告或錯誤。(issue 7137)
  • 移除了文檔構建對已棄用 sphinx-hoverxref模塊的依賴。(issue 6786,issue 6922)

詳情可查看:https://docs.scrapy.org/en/latest/news.html#scrapy-2-13-4-2025-11-17

user avatar
0 位用戶收藏了這個故事!
收藏

發佈 評論

Some HTML is okay.