Python網絡爬蟲原理及實踐 | 京東雲技術團隊

作者：京東物流 田禹 1 網絡爬蟲 網絡爬蟲：是一種按照一定的規則，自動地抓取萬維網信息的程序或者腳本。 網絡爬蟲相關技術和框架繁多，針對場景的不同可以選擇不同的網絡爬蟲技術。 2 Scrapy框架（Python） 2.1. Scrapy架構 2.1.1. 系統架構 2.1.2. 執行流程 總結爬蟲開發過程，簡化爬蟲執行流程如下圖所示： 爬蟲運行主要流程如下： （1） Scrapy啓動Spid