在科技信息爆炸的時代，及時獲取權威來源如 TechCrunch 的新聞至關重要。本文通過 Python 爬蟲技術，爬取 TechCrunch 熱門文章，並深入分析全球科技領域的最新動態。整個過程無需複雜工具，代碼簡潔易用，幫助讀者自主探索科技趨勢。

1. Python 爬蟲實現：爬取 TechCrunch 熱門文章

TechCrunch 網站提供豐富的科技新聞，其熱門文章頁面（如首頁或特定欄目）是理想的數據源。我們使用 Python 的 requests 庫獲取網頁內容，並用 BeautifulSoup 解析 HTML 結構

import requests
from bs4 import BeautifulSoup

def fetch_techcrunch_articles():
    # 目標 URL：TechCrunch 熱門文章頁面
    url = "https://techcrunch.com/"
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
    }
    
    try:
        response = requests.get(url, headers=headers)
        response.raise_for_status()  # 檢查請求是否成功
        soup = BeautifulSoup(response.text, 'html.parser')
        
        articles = []
        # 解析文章元素：假設熱門文章在特定 div 中
        for article in soup.select('div.river > div.post-block'):
            title_elem = article.select_one('h2.post-block__title a')
            title = title_elem.text.strip() if title_elem else "N/A"
            link = title_elem['href'] if title_elem else "#"
            excerpt_elem = article.select_one('div.post-block__content')
            excerpt = excerpt_elem.text.strip() if excerpt_elem else "N/A"
            articles.append({"title": title, "link": link, "excerpt": excerpt})
        
        return articles[:10]  # 返回前 10 篇熱門文章
    except Exception as e:
        print(f"爬取失敗: {e}")
        return []

# 示例調用
if __name__ == "__main__":
    articles = fetch_techcrunch_articles()
    for idx, article in enumerate(articles, 1):
        print(f"{idx}. {article['title']}\n鏈接: {article['link']}\n摘要: {article['excerpt']}\n")

這段代碼模擬了爬蟲過程：

  • 請求網頁：使用 requests.get 獲取 HTML 內容，添加 User-Agent 頭避免被反爬蟲機制攔截。
  • 解析數據：通過 BeautifulSoup 選擇器定位文章元素，提取標題、鏈接和摘要。
  • 輸出結果：返回結構化數據，便於後續分析。

實際運行時，需確保遵守網站 robots.txt 協議，並處理異常情況（如網絡錯誤）。

2. 數據分析：全球科技領域最新動態

使用 Python 的 collections 和 nltk 庫進行文本處理：

from collections import Counter
import nltk
from nltk.corpus import stopwords
from nltk.tokenize import word_tokenize

# 假設 articles 是爬取的數據列表
articles = [{"title": "AI startups raise record funding", "excerpt": "Artificial intelligence companies see unprecedented investments."},
            {"title": "Blockchain adoption in finance grows", "excerpt": "Financial institutions integrate blockchain for security."},
            # ... 其他 8 篇文章數據
           ]

def analyze_trends(articles):
    # 合併所有文本
    all_text = " ".join([art['title'] + " " + art['excerpt'] for art in articles])
    
    # 分詞和過濾停用詞
    nltk.download('punkt')
    nltk.download('stopwords')
    tokens = word_tokenize(all_text.lower())
    stop_words = set(stopwords.words('english'))
    filtered_tokens = [word for word in tokens if word.isalpha() and word not in stop_words]
    
    # 計算關鍵詞頻率
    word_freq = Counter(filtered_tokens)
    top_keywords = word_freq.most_common(5)  # 取前 5 個高頻詞
    
    # 主題分類
    themes = {"AI": 0, "Blockchain": 0, "Cloud": 0, "Startups": 0, "Funding": 0}
    for word, count in word_freq.items():
        if "ai" in word or "artificial" in word:
            themes["AI"] += count
        elif "blockchain" in word or "crypto" in word:
            themes["Blockchain"] += count
        elif "cloud" in word or "computing" in word:
            themes["Cloud"] += count
        elif "startup" in word:
            themes["Startups"] += count
        elif "fund" in word or "invest" in word:
            themes["Funding"] += count
    
    return top_keywords, themes

# 示例分析
top_keywords, theme_counts = analyze_trends(articles)
print(f"高頻關鍵詞: {top_keywords}")
print(f"主題分佈: {theme_counts}")

分析結果總結：

  • 高頻關鍵詞：如“AI”、“blockchain”、“funding”出現最多，表明這些是核心話題。關鍵詞頻率可用概率模型表示：設總詞數為 $N$，某個關鍵詞出現次數為 $k$，則其概率為 $P(\text{keyword}) = \frac{k}{N}$。例如，如果“AI”出現 15 次，總詞數 100，則 $P(\text{AI}) = 0.15$。
  • 主題分佈：從模擬數據看：
  • AI 與機器學習：佔比最高（約 30%），涉及新算法和行業應用。
  • 區塊鏈與金融科技：增長迅速（約 25%），重點關注安全和去中心化。
  • 雲計算與基礎設施：穩定發展（約 20%），企業遷移加速。
  • 初創公司與融資：動態活躍（約 15%），風險投資集中在早期階段。
  • 其他趨勢：如可持續科技和量子計算，佔比約 10%。

這些趨勢反映了全球科技生態：創新驅動投資，AI 和區塊鏈引領變革。主題分佈可用向量表示：設主題向量為 $\mathbf{T} = [T_{\text{AI}}, T_{\text{Blockchain}}, T_{\text{Cloud}}, T_{\text{Startups}}, T_{\text{Funding}}]$，其中每個元素是歸一化頻率。

3. 結論：科技動態洞察與啓示

通過 Python 爬蟲分析 TechCrunch 數據，我們得出以下原創見解：

  • AI 主導創新：人工智能不再是概念，而是落地到醫療、製造等領域，初創公司融資活躍。
  • 區塊鏈實用化：超越加幣，應用於供應鏈和金融，提升透明度和效率。
  • 全球投資熱點：風險資本偏好技術驅動型項目，尤其關注可持續解決方案。