爬蟲是一種自動獲取網頁內容的程序，它可以幫助我們從網絡上快速收集大量信息。在本文中，我們將學習如何使用 Python 編寫一個簡單的爬蟲框架。

一、請求網頁

首先，我們需要請求網頁內容。我們可以使用 Python 的 requests 庫來發送 HTTP 請求。在使用之前，請確保已安裝該庫：

pip install requests

然後，我們可以使用以下代碼請求網頁內容：

import requests

url = "https://example.com"
response = requests.get(url)

if response.status_code == 200:
    print(response.text)
else:
    print("請求失敗")

二、解析 HTML

接下來，我們需要解析 HTML 以提取所需的數據。BeautifulSoup 是一個非常流行的 HTML 解析庫，我們可以使用它來簡化解析過程。首先安裝庫：

pip install beautifulsoup4

然後，我們可以使用以下代碼解析 HTML：

from bs4 import BeautifulSoup

html = response.text
soup = BeautifulSoup(html, 'html.parser')

# 提取網頁標題
title = soup.title.string
print("網頁標題:", title)

三、構建爬蟲框架

現在我們已經掌握了請求網頁和解析 HTML 的基本知識，我們可以開始構建爬蟲框架。首先，我們需要定義一個函數來處理每個網頁：

def process_page(url):
    # 請求網頁
    response = requests.get(url)

    if response.status_code == 200:
        # 解析 HTML
        soup = BeautifulSoup(response.text, 'html.parser')

        # 處理網頁數據
        process_data(soup)
    else:
        print("請求失敗")

接下來，我們需要編寫 process_data 函數來處理網頁數據：

def process_data(soup):
    # 提取並處理所需數據
    pass

最後，我們可以使用以下代碼開始爬蟲：

start_url = "https://example.com"
process_page(start_url)

至此，我們已經構建了一個簡單的爬蟲框架。您可以根據需要擴展 process_data 函數以處理特定的網頁數據。此外，您還可以考慮使用多線程、代理服務器等技術來提高爬蟲的性能和效率。