本文從“可運行”的實踐角度，探索利用Python與AI技術實現語音控制Windows操作系統的方案。核心觀點是：構建一個完整的語音控制助手，是將“能聽會説”的語音模型與“能操作”的系統執行器相結合的過程。本文將繞過複雜的底層理論，直接提供一條基於開源技術的實踐路徑，並通過一個可運行的代碼Demo，展示如何將自然語言指令轉化為具體的系統操作。

一、構建“口-腦-手”協同系統

一個完整的語音控制計算機系統，可以類比為人的“口-腦-手”協同：

1. 口（感知層）：負責“聽”和“説”。使用麥克風接收語音，並通過語音識別（STT） 技術轉為文本；將AI的回覆通過語音合成（TTS） 技術播報出來。
2. 腦（認知層）：負責“思考”。使用大語言模型（LLM） 理解用户的文本指令，並將其解析為計算機可以執行的一系列結構化操作命令。
3. 手（執行層）：負責“做”。通過系統自動化工具接收結構化命令，並實際操控Windows的圖形界面、應用程序或文件系統。

微軟正在其“智能體操作系統”的願景中系統性地整合這三層，例如通過“Hey Copilot”喚醒詞、Copilot Voice/Vision進行感知和理解，並通過模型上下文協議（MCP）讓AI安全地操作系統。而我們的Demo將採用一個更靈活、可完全自定義的開源方案來實現。

二、技術方案選型

為了實現高自由度的控制，我們放棄對特定商業API（如特定雲端LLM）的強依賴，選擇模塊化的開源方案，便於你未來擴展和修改。

表1：Demo技術棧選型與説明

這套方案的優勢在於完全本地運行，保護隱私，且執行精準可靠（依靠Windows-MCP而非視覺識別）。其平均操作延遲在1.5-2.3秒，系統佔用低於50MB內存，具備實用性。

三、實戰Demo-文件整理助手

下面我們構建一個“文件整理助手”Demo。它的功能是：當你對着麥克風説“請把桌面上所有截圖文件移到‘截圖’文件夾裏”，AI將自動完成此任務並語音回覆你。

第一步：環境準備

1. 安裝Python：確保系統已安裝Python 3.10或以上版本。
2. 安裝Ollama並拉取模型：
   • 訪問 Ollama官網 下載並安裝。
   • 打開命令行，運行 ollama run llama3.2:3b 來下載並運行一個輕量級模型。
3. 部署Windows-MCP服務器（系統的“手”）：
   • 打開命令行，依次執行以下命令：

   git clone https://github.com/CursorTouch/Windows-MCP.git
   cd Windows-MCP
   uv sync  # 自動安裝依賴
   uv run server  # 啓動MCP服務器，保持此窗口運行
   

4. 安裝Demo所需Python庫：

   pip install speechrecognition pyaudio pyttsx3 requests
   

第二步：編寫核心Python代碼

創建一個名為 voice_desktop_assistant.py 的文件，並寫入以下代碼。這段代碼清晰地體現了“口-腦-手”的協同流程。

import speech_recognition as sr
import pyttsx3
import requests
import json
import time

# ========== 初始化“口”（語音模塊） ==========
recognizer = sr.Recognizer()
tts_engine = pyttsx3.init()

def listen():
    """監聽麥克風，將語音轉為文本"""
    with sr.Microphone() as source:
        print("請説出您的指令...")
        recognizer.adjust_for_ambient_noise(source)
        audio = recognizer.listen(source, timeout=5, phrase_time_limit=10)
    try:
        text = recognizer.recognize_google(audio, language='zh-CN')
        print(f"識別結果: {text}")
        return text
    except sr.UnknownValueError:
        speak("抱歉，我沒有聽清楚。")
        return None
    except sr.RequestError:
        speak("語音服務似乎出錯了。")
        return None

def speak(text):
    """用語音播報文本"""
    print(f"AI: {text}")
    tts_engine.say(text)
    tts_engine.runAndWait()

# ========== 初始化“腦”與“手”的通信 ==========
# Windows-MCP 服務器地址（默認運行在本機）
MCP_SERVER_URL = "http://127.0.0.1:8080"

def ask_ai_to_plan(user_command):
    """
    將用户指令發送給本地的Ollama LLM，要求它生成Windows-MCP能理解的命令序列。
    提示詞（Prompt）工程是關鍵，它指導AI如何思考。
    """
    # 精心設計的提示詞，讓AI扮演一個Windows自動化專家
    system_prompt = """你是一個Windows桌面自動化助手。你的任務是將用户的自然語言指令，解析為一系列可以由Windows-MCP工具執行的具體、安全的操作步驟。
請嚴格按照以下JSON格式輸出，且只輸出這個JSON對象：
{
  "plan": ["步驟1的簡要描述", "步驟2的簡要描述", ...],
  "commands": [
    {"tool": "工具名1", "params": {"參數名": "參數值"}},
    {"tool": "工具名2", "params": {"參數名": "參數值"}}
  ]
}
可用的Windows-MCP工具示例：
- `list_files`: 列出目錄文件。參數: {"path": "目錄路徑"}
- `move_file`: 移動文件。參數: {"source": "源文件路徑", "destination": "目標路徑"}
- `create_folder`: 創建文件夾。參數: {"path": "文件夾路徑"}
請確保路徑使用雙反斜槓或正斜槓，例如：C:\\Users\\Name\\Desktop 或 C:/Users/Name/Desktop。
指令："""
    
    full_prompt = system_prompt + user_command
    
    try:
        # 發送請求到本地運行的Ollama模型
        response = requests.post(
            'http://localhost:11434/api/generate',
            json={
                "model": "llama3.2:3b", # 與你運行的模型名稱一致
                "prompt": full_prompt,
                "stream": False,
                "options": {"temperature": 0.1} # 低隨機性，確保輸出穩定
            }
        )
        response.raise_for_status()
        # 從響應中提取AI生成的文本
        ai_response_text = response.json()['response']
        # 找到JSON部分（防止AI輸出額外解釋）
        start = ai_response_text.find('{')
        end = ai_response_text.rfind('}') + 1
        if start != -1 and end != 0:
            json_str = ai_response_text[start:end]
            return json.loads(json_str)
        else:
            raise ValueError("AI未返回有效的JSON格式")
    except Exception as e:
        print(f"與AI模型通信失敗: {e}")
        return None

def execute_commands(command_list):
    """將AI生成的結構化命令發送給Windows-MCP服務器執行"""
    for cmd in command_list:
        try:
            print(f"執行: {cmd['tool']} 參數: {cmd['params']}")
            # 調用Windows-MCP服務器的工具接口
            response = requests.post(
                f"{MCP_SERVER_URL}/tool/execute",
                json={"tool": cmd["tool"], "parameters": cmd["params"]}
            )
            result = response.json()
            if response.status_code == 200 and result.get("success"):
                print(f"成功: {result.get('message')}")
                time.sleep(0.5) # 短暫等待，避免操作衝突
            else:
                print(f"失敗: {result.get('error', '未知錯誤')}")
                return False
        except Exception as e:
            print(f"執行命令時發生異常: {e}")
            return False
    return True

# ========== 主循環：啓動你的語音助手 ==========
def main():
    speak("語音桌面助手已啓動。")
    
    while True:
        # 1. 聽
        user_command = listen()
        if not user_command:
            continue
        
        # 2. 想（AI規劃）
        speak("正在思考如何完成...")
        ai_plan = ask_ai_to_plan(user_command)
        
        if not ai_plan:
            speak("我沒能理解如何執行這個任務。")
            continue
        
        print(f"執行計劃: {ai_plan['plan']}")
        
        # 3. 做（系統執行）
        speak("開始執行任務。")
        success = execute_commands(ai_plan['commands'])
        
        # 4. 反饋
        if success:
            speak("任務已完成！")
        else:
            speak("任務執行過程中遇到了問題。")

if __name__ == "__main__":
    main()

第三步：運行與交互

1. 確保 Ollama 模型 正在運行（第一步中 ollama run 的窗口）。
2. 確保 Windows-MCP 服務器 正在運行（第一步中 uv run server 的窗口）。
3. 在新的命令行窗口中，運行你的Python程序：

   python voice_desktop_assistant.py
   

4. 程序啓動後，你會聽到“語音桌面助手已啓動”的提示。此時，你可以嘗試説出類似以下的指令：
   • “在桌面上創建一個名為‘測試’的文件夾。”
   • “請列出我桌面上的所有文件。”
   • “幫我把桌面上所有的.txt文件移動到‘文檔’文件夾裏。”（請提前確保有對應文件或文件夾）

程序會將你的語音轉為文本，發送給本地AI模型，AI會生成一個包含 list_files、create_folder、move_file 等操作的JSON命令序列，最後由 Windows-MCP 服務器執行這些命令並操作你的真實系統。

四、關鍵要點

通過這個Demo，你已實踐了語音控制Windows的核心閉環。要讓其更強大、可靠，你可以從以下幾個方面深化：

1. 強化AI的規劃能力（改進“腦”）：當前的提示詞（Prompt）較為簡單。你可以為AI提供更詳細的 Windows-MCP 工具手冊，或讓AI在執行前先“模擬”或“確認”危險操作（如刪除文件）。這正是微軟在Copilot Actions中採取“從有限場景開始測試”的謹慎策略。
2. 提升語音交互體驗（改進“口”）：使用離線STT/TTS引擎（如Vosk和Piper）以獲得更快的響應和絕對的隱私。實現“Hey Assistant”這樣的免喚醒詞熱詞檢測，讓交互更自然。
3. 確保系統安全（約束“手”）：這是最重要的環節。在Demo中，所有操作通過 Windows-MCP 進行，它默認只監聽本地請求，且每次操作都需要用户授權（Cursor等IDE集成時會彈窗）。在實際產品中，必須像微軟設計“智能體工作空間”一樣，為AI代理建立一個權限受限的沙盒環境，將其活動與主系統隔離，並對刪除、修改系統設置等敏感操作設置多次確認。
4. 探索更前沿的集成：關注微軟“模型上下文協議（MCP）”的生態發展。未來，你可以將自己的助手註冊為Windows任務欄的一個智能體，實現更深度的系統集成。

結論

語音和AI對話控制計算機，從技術理論上看是多種成熟技術的組合創新，而從實踐上看，其關鍵在於可靠地連接“語言理解”與“系統執行”這兩個環。本文提供的Demo方案，利用 Ollama + Windows-MCP 構建了一個可在本地運行、完全受控的“原型智能體”，它跳出了單純的理論和API調用，觸及了AI智能體（Agent）實現自主任務執行的核心邏輯。

儘管前方仍有提升AI規劃可靠性、確保操作安全等挑戰，但通過這個可運行的起點，你已經擁有了一個強大的實驗平台，可以親手探索和塑造未來人機交互的樣貌。

注：本Demo為教學演示目的，請在測試環境中謹慎運行，避免對重要文件和系統造成意外修改。實際操作前，請務必理解代碼邏輯。