上海市網信辦近日開展了一項名為 “AI 濫用” 的專項執法行動，旨在整治生成式人工智能技術的違規行為。隨着生成式人工智能的迅速發展，這項技術為各行各業帶來了便利，但也伴隨着濫用問題的凸顯，如 AI 換臉、AI 變聲等侵權現象。這些問題不僅威脅個人隱私權益，還可能對網絡生態造成破壞。

在此次行動中，執法人員發現一些企業在開發和使用生成式人工智能時，未按照法律規定進行安全評估，也未採取必要的安全防護措施，導致這些技術被用於換臉、變聲和偽造等侵權行為。這些行為可能產出違法內容，例如 “開盒”、“洗錢” 及生成低俗色情圖片等。

專項行動的重點是整治 AI 濫用，以促進新興產業的健康發展。為了加強管理，網信辦指導屬地應用商店下架了54款違規的生成式人工智能應用。此外，依據《人工智能生成合成內容標識辦法》，專家團隊為企業提供了實務解析，以解答相關疑難問題。

在處罰方面，網信辦對26家此前被要求下線功能的生成式人工智能服務網站進行了回頭檢查，確保問題不再復發。對於3家拒不整改的網站，首次適用《生成式人工智能服務管理暫行辦法》進行了立案處罰。同時，首次違規的企業也獲得了免罰的機會，要求他們下線相關違法功能並指導其進行備案。