@xpath / 博客 RSS 訂閱

Sep 22 2021

數據湖開發者社區 - Python爬蟲教程（二）

一、bs4解析介紹     1．bs4解析：BS4全稱是Beatiful Soup，它提供一些簡單的、python式的函數用來處理導航、搜索、修改分析樹等功能。它是一個工具箱，自動將輸入文檔轉換為Unicode編碼，輸出文檔轉換為utf-8編碼。     2．HTML：用來描述網頁的一種語言。     1）HTML指的是超文本標記語言 (Hyper Text Markup Langu

xpath , python爬蟲 , beautifulsoup , Python

收藏 評論

Jan 19 2023

瑞0908 - 解決 xpath遇到特殊符號匹配不全信息的問題

這個問題是我之前的一個提問 經過了兩三天的研究終於解決了 背景： import requests from lxml import etree url = "https://music.163.com/discover/toplist?id=3779629" headers = { 'User-Agent': "PostmanRuntime/7.15.2",

xpath , python爬蟲 , beautifulsoup , requests

收藏 評論

Nov 05 2025

瑞0908 - xpath匹配一個標籤下所有內容

from lxml import etree import requests url = 'http://www.shihuo.cn/youhui/474770.html#qk=youhui_list' response = requests.get(url) text = etree.HTML(response.text) tt = text.xpath("//div[@class='art

xpath , lxml , requirejs , Python

收藏 評論

Oct 27 2025

happlyfox - 手把手教你爬取優酷電影信息 -1

爬蟲的製作主要分為三個方面 1、加載網頁結構 2、解析網頁結構，轉變為符合需求的數據實體 3、保存數據實體（數據庫，文本等） 在實際的編碼過程中，找到了一個好的類庫“HtmlAgilityPack”。 介紹： 官網：http://html-agility-pack.net/... Html Agility Pack源碼中的類大概有28個左右，其實不算一個很複雜的

網頁爬蟲 , xpath , c#

收藏 評論

Oct 27 2025

happlyfox - 手把手教你爬取優酷電影信息-2

上一章節中我們實現了對優酷單頁面的爬取，簡單進行回顧一下，使用HtmlAgilityPack庫，對爬蟲的爬取一共分為三步 爬蟲步驟 加載頁面 解析數據 保存數據 繼第一篇文檔後的爬蟲進階，本文章主要是對上一篇的進階。實現的功能主要為： 1、爬取電影類別列表 2、循環每個類別的電影信息，對每個類別的信息分頁爬取 3、爬取的數據保存到數據

網頁爬蟲 , xpath , c# , 多線程

收藏 評論