知識庫 / Spring / Spring Boot RSS 訂閱

1. 概述

在考慮Web自動化時，Selenium通常是第一個出現的工具。它被廣泛用於自動化Web瀏覽器、測試應用程序，甚至從網站提取信息。

然而，隨着網站的不斷髮展，它們已經實施了各種反爬蟲檢測機制，以區分真實用户和自動化工具。如果我們嘗試執行一個Selenium腳本，並遇到諸如訪問阻止、重定向或CAPTCHA等障礙，那麼我們親身經歷了這一挑戰。

在本教程中，我們將研究在Selenium和Spring Boot中使用時，繞過最常見反爬蟲檢測的必要設置。

2. 設置 Spring Boot 項目

在編寫任何代碼之前，我們需要設置好我們的項目。我們將使用 Maven 進行依賴管理，因為它是在 Spring Boot 項目的標準配置中使用的。以下是我們在 <em pom.xml</em > 文件中需要的關鍵依賴項：

<dependency>
    <groupId>org.seleniumhq.selenium</groupId>
    <artifactId>selenium-java</artifactId>
    <version>4.18.1</version>
</dependency>

這是 Selenium 的核心庫。為了確保與現代瀏覽器兼容並訪問高級功能，如 Chrome DevTools Protocol (CDP)，我們需要使用最新版本。

3. 實現

現在我們將編寫代碼，使我們能夠使用 CDP 來繞過機器人檢測。

3.1. 創建 Webdriver

讓我們創建一個類 WebDriverFactory.java，用於配置和創建 ChromeDriver：

public class WebDriverFactory {
    public static ChromeDriver createDriver() {
        ChromeOptions options = new ChromeOptions();
        options.addArguments("--disable-blink-features=AutomationControlled");
    }
}

首先，我們創建一個 <em >ChromeOptions</em> 對象。<strong >這允許我們在瀏覽器啓動時傳遞自定義參數</strong >。我們添加了參數–disable-blink-features=AutomationControlled`。這個簡單但有效的命令禁用了 Chrome 中的一項已知自動化指示功能。這將是我們的初步防禦措施：

public static ChromeDriver createDriver() {
    ChromeOptions options = new ChromeOptions();
    options.addArguments("--disable-blink-features=AutomationControlled");
    ChromeDriver driver = new ChromeDriver(options);
}

接下來，我們創建一個新的 ChromeDriver 實例，並傳入我們剛剛配置好的 options 對象。 這樣可以確保瀏覽器以第一個反檢測設置已就緒的狀態啓動：

public static ChromeDriver createDriver() {
    ChromeOptions options = new ChromeOptions();
    options.addArguments("--disable-blink-features=AutomationControlled");
    ChromeDriver driver = new ChromeDriver(options);
    Map<String, Object> params = new HashMap<>();
    params.put("source", "Object.defineProperty(navigator, 'webdriver', { get: () => undefined })");
    driver.executeCdpCommand("Page.addScriptToEvaluateOnNewDocument", params);
    return driver;
}

在驅動程序創建完成後，我們轉向更健壯的技術。我們使用 driver.executeCdpCommand()方法來執行 Chrome DevTools 協議 (CDP) 中的命令。該命令 Page.addScriptToEvaluateOnNewDocument在此處至關重要，它指示瀏覽器在每次加載新文檔（網頁）時運行特定的 JavaScript 代碼片段。

該代碼片段本身，Object.defineProperty(navigator, ‘webdriver’, { get: () => undefined })，是一個巧妙的代碼，它重新定義了 navigator.webdriver屬性。它不再返回自動瀏覽器為其默認的 true 值，而是返回 undefined，這正是人類瀏覽器所具有的值。

這是一種非常強大的方法，可以欺騙網站的機器人檢測腳本。

3.2. 搜索執行

現在我們已經實現了我們的 ChromeDriver，接下來我們來實現一個 GoogleSearchService 類，用於我們的自動化搜索：

public class GoogleSearchService {

    private final WebDriver driver;

    public GoogleSearchService(WebDriver driver) {
        this.driver = driver;
    }

    public void navigateToGoogle() {
        driver.get("https://www.google.com");
    }

    public void search(String query) {
        WebElement searchBox = driver.findElement(By.name("q"));
        searchBox.sendKeys(query);
        searchBox.sendKeys(Keys.ENTER);
    }

    public String getPageTitle() {
        return driver.getTitle();
    }

    public void quit() {
        driver.quit();
    }
}

我們使用了標準的 Selenium 驅動程序 ，這有助於我們導航到 Google 搜索引擎。我們可以用任何其他公共網站替換它，以便測試我們的腳本。 命令使用其屬性名 (q) 來查找頁面上的搜索框元素。

public class AvoidBotDetectionSelenium {

    public static void main(String[] args) {
        ChromeDriver driver = WebDriverFactory.createDriver();
        GoogleSearchService googleService = new GoogleSearchService(driver);
        googleService.navigateToGoogle();
        googleService.search("baeldung");
        googleService.quit();
    }
}