關於pyspider的安裝前往查看前序文章《踩坑記：終於懷着忐忑的心情完成了對 python 爬蟲擴展庫 pyspider 的安裝》 1、啓動pyspider服務 1pyspider all 2、創建pyspider項目 3、項目區域説明 4、從百度首頁開始爬取 填寫百度首頁地址點擊run開始爬取，點擊爬取到的鏈接執行下一步 任意點擊爬取到的鏈接進入下一步爬取 返回所進入的詳情頁內
通過前面網頁下載器得到一個網頁源代碼的很長的字符串，接下來則是要通過網頁解析器對網頁源代碼中的信息進行提取，beautifulsoup4 庫作為第三方插件同時支持 html、xml 的解析。通過將網頁下載器下載的 html 字符串解析成為一個 BeautifulSoup 的對象，最後從這個對象中根據網頁源代碼的 html 標籤、屬性等因素提取我們需要的內容。 1、準備網頁下載器獲取的源代碼 1#
python 在操作文件 I/O 的時候，有兩個非常重要的方面：一個是 open() 函數的掌握、另一個是 File 文件對象的相關函數的掌握。相比其他面嚮對象語言的文件流的用法是比較簡便的，並且提供很多的文件打開模式算是比較優秀了。 1、全局函數 open() open()函數的可選參數還是比較多的，一般在讀取文件時只使用文件路徑、文件打開模式就可以完成大多數的使用場景。使用 open() 函數
