趋势科技解析OpenAI最新ChatGPT AI代理功能及其资安风险

ChatGPTAI代理功能 及其資安風險 August01,2025 OpenAI最近推出了ChatGPTAI代理。它具備哪些功能，以及相關的網路資安風險有哪些？我們利用趨勢科技的Digital Assistant Framework進行檢視，協助企業應對這項新的數位助理可能帶來的變化與風險。 重點摘要： •新推出的ChatGPTAI代理提供了升級後的能力，但也帶來了傳統助理從未面臨過的資安挑戰。•該代理具有較高的操控潛力，且更容易受到隱私風險影響，使企業可能面臨非預期操作和資料外洩的風險。•利用該代理能力的企業與個人，應保有嚴格的人工監督，以協助管理這些風險。•趨勢科技的Digital Assistant Framework提供了一個清晰的方法，將這些新能力對應到其帶來的風險，幫助讀者更好地評估OpenAI最新AI助理的影響。 OpenAI最新發表的AI代理標誌著AI系統能力的一次低調卻重要的轉變。與以往專注於回答問題或生成媒體內容的AI助理不同，這個新代理更進一步。它可以代表使用者執行各種操作，例如：管理行事曆、發送電子郵件、執行程式碼，甚至與外部應用互動。 簡單來說，這個新助理不僅僅是提供協助，而是能夠「主動行動」。 這一演變帶來了顯著的益處。它使數位助理(digital assistants, DAs)更加多才多藝，能夠處理跨系統和應用程式的任務；然而，它卻也引來了新的風險，因為AI開始自主行動，直接與人類的數位生活服務相互動。 此篇部落格聚焦討論兩個主題。首先，我們檢視了OpenAI發布的內容，並利用我們過去一份研究報告中所介紹的趨勢科技Digital AssistantFramework來整理出這款新AI代理的功能全貌。然後，透過將這些功能與早期ChatGPT助理進行比較，展示了變化的程度，以及這一躍進所帶來的風險。 這些風險既不是理論，也不是在許久的未來才發生。OpenAI的新AI代理早已上線，⽽它以多種方式改變了威脅局面，值得我們高度關注。 OpenAI最新的ChatGPT AI代理是一個主動採取行動的助理！ 新的ChatGPTAI代理不僅僅是另一個版本的聊天機器人，它是一個可以即刻自主採取行動的助理，從頭到尾執行複雜、多步驟的任務，使其更趨近於具代理能力的人工智慧（AgenticAI）。 它可以計劃和預訂旅行，檢查行事曆並向你報告即將到來的客戶會議，甚至創建可編輯的簡報與講稿。它透過一個虛擬機來完成這些工作，讓它能夠瀏覽網站、生成和執行程式碼，以及整合資訊，完美結合推論和執行，這是過往的助理無法做到的。 因此，使用者不再是被動的答案接收者，他們主動與AI代理合作，並准許關鍵的執行並在需要時拿回掌控權。AI代理能理解文字和口語輸入，使用文本輸出和視覺內容做回應，且可以在智慧手機等攜帶式裝置上使用，隨時等候差遣。它結合了先前各種專業工具的優勢，如網路互動、深入研究及流暢對話等，整合成一個能代表使用者執行行動的統一系統。 在引擎蓋下，AI代理展示了先進的計劃和推理能力：它可以適應不熟悉的任務，並在過程中學習。它隨著時間的推移建立對使用者的工作理解，根據上下文了解其偏好。 而且，由於它直接整合電子郵件、行事曆及各種網路平台等外部服務，它不僅僅是回答問題，而是作為更廣泛數位生態系的一部分，能夠在真實應用中執行各種任務。 用趨勢科技Digital Assistant Framework彙整ChatGPTAI代理的功能 為了回顧OpenAI新助理的能力並以清晰、易於視覺化的方式呈現，現在來看看一個用於評估DAs獨特能力的工具：趨勢科技Digital Assistant Framework。 此框架最初於我們2024年12月的文章中提出。自那之後，我們將「代理（A1）」能力拆分為兩部分：代理與自主性。自主性的等級定義如下： A2.自主性 自主性能力被定義為DAs在無需人類輸入的情況下執行決策的能力。 •A2.0–被動回應：DA僅依據使用者的請求行動。•A2.1–監督式工作：DA在監督下運作，需要使用者明確確認。•A2.2–完全自主：DA可獨立管理任務，無需使用者監督。 參考原文連結的Figure1.互動式圖表，展示了新的ChatGPTAI代理如何對應至該框架，並突顯其主要特點與進展等級。 理解這場躍進：能力與風險對應分析 OpenAI最新AI代理帶來的能力躍進並非毫無代價。隨著AI助理變得更加自主，並與我們的數位生態系統更緊密整合，風險也隨之與帶來的好處一同增加。 要清楚了解這些風險，我們首先需要看看發生了哪些變化：新的AI代理是如何在早期版本的ChatGPT基礎上演進，以及這些新增加的能力如何開啟新的挑戰，而這些是傳統AI助理從未面對過的風險。 自主式（A2）能力的風險 早期版本的ChatGPT已經展現出一定程度的代理能力，它會自行選擇如何以最佳方式完成使用者的請求。但這些AI助理本質上仍是被動的，即它們會等待明確的指令才採取行動。 新的AI代理在此基礎上更進一步，明顯提升了自主性（A2）：它不僅能代表使用者行動，還能主動出擊，在最少的監督下管理任務，無需持續下指令。 正如我們在《通往AgenticAI之路(TheRoad to AgenticAI)》的研究中所解釋的，這正是將AI助理與真正具「代理性」的系統區分開來的關鍵轉變。當傳統AI助理（如Gemini）依然保持被動時，新的ChatGPTAI代理已開始跨越這條門檻來主動採取行動，並在極少指令輸入的情況下管理任務。 然而，自主性提升也帶來了新風險，這是早期版本的ChatGPT從未遭遇的。由於系統現在在較少使用者監督下運作，惡意攻擊者可能把握機會來操縱它的行為，而使用者未必能立即察覺，這使得AI代理更容易背離使用者的意圖。 任務複雜度（A3）能力的風險 這種危險因任務的複雜性（A3）而進一步放大。與先前版本僅限於提供指令不同，新的AI代理能代表使用者採取具體行動，其中部分可能造成不可逆後果，如誤刪檔案、寄信給錯的人，或下單購買非預期商品。 為了減輕這些風險，OpenAI實施了一系列的安全機制：AI代理在執行具實際影響的關鍵操作（如購物）前會要求使用者明確確認；在處理特定敏感任務（如發送電子郵件）時需主動監督；封鎖高風險操作（如銀行轉帳）。雖然技術上AI代理可在無監督下運作，但這樣會讓使用者與組織承受嚴重風險。 原因在於，這種AI代理如今可能以連OpenAI都無法完全預測的方式被利用。先前的ChatGPT版本遵循的推論鏈較為簡單且可預測，而新的AI代理則能自主學習新領域並在其中進行推論。結果是，它即使在完全不熟悉的場景中，也能展現複雜行為。 計畫與邏輯推論（Ｃ1）能力的風險 然而，這種能夠跨不熟悉領域進行規劃與推論的能力（C1），同時也讓AI代理更容易受到提示注入（prompt injection）與其他微妙操縱的影響，進而改變其決策。例如，攻擊者可能在AI代理瀏覽的網頁中嵌入惡意提示（隱藏在文字或中繼資料中），引導它做出非預期行動。 這也是為什麼必須一再強調，在具代理行為的AI持續發展過程中，讓代理保持在使用者監督之下，仍然是確保安全的關鍵。但是，即使有人類參與其中，也無法完全消除所有風險。重複的提示可能導致「同意疲勞」的情況發生，使使用者下意識地批准行動。 深入了解使用者（C2）與生態系統整合（C3）能力的風險 AI代理的另一項能力提升在於它對使用者的深入理解（C2）。不同於僅保留靜態資訊（如語言偏好與位置）的ChatGPT，新的AI代理能透過互動持續學習。它會偵測使用者行為與偏好的模式，並隨時間調整，以更好地滿足個人需求。 同時，它與使用者的數位生態系統（C3）整合得更加順暢。早期AI助理僅能與特定工具互動，且常需使用者手動串接服務，而新的ChatGPTAI代理則能原生結合多個資訊來源於單一工作流程中，例如它可能會掃描使用者的行事曆來查詢空檔、查看最近的電子郵件以獲取相關更新，並建議後續行動，而這全程無需依賴額外工具來完成串接。 乍看之下，這種轉變似乎只是漸進式的，但其影響深遠，特別是在隱私方面。如果AI代理遭到入侵，它可能會洩露對使用者的了解。而由於AI代理直接連接至更廣泛的數位生態系統，遭駭可能會暴露來自已連結帳號與已登入網站的高度敏感資訊。 為應對這一點，OpenAI推出更嚴格的隱私控管：使用者可清除瀏覽紀錄並登出已開啟的對話；在自主模式下運作時，AI代理也會避免儲存敏感資訊輸入（如密碼）。然而，隨著AI代理的能力與嵌入程度提升，使用者必須嚴格限制其存取權限，只開放真正必要的部分，在便利與掌控之間取得謹慎平衡。 原文連結的Figure2.互動式圖表運用我們的框架，對比OpenAI新代理與ChatGPT的能力變化。可以明顯看出，即便是自主性、使用者理解與生態系統整合等能力上的小幅提升，也可能徹底改變風險格局。 值得注意的是，兩者同時也存在一系列挑戰，正如我們先前的研究中所分享的那樣。 結論 隨著功能的擴展，全新的ChatGPTAI代理不僅僅是升級版的AI助理，更有望成為使用者數位生活中值得信賴的夥伴與長期存在的角色。雖然許多進步看似只是漸進式提升，但即使是小 幅的功能增強，也可能引入新的風險，重新塑造我們與DAs的互動方式，以及我們必須採取的保護措施。 本篇部落格聚焦於OpenAI最新AI代理帶來的新風險——尤其是隨著助理愈趨自主、能處理愈來愈複雜的任務後，其可能遭到操縱的風險。同樣令人擔憂的是新興的隱私風險，因為該AI代理將更深入了解使用者，並能更廣泛地存取其數位生態系。 儘管該代理具備更高的自主性，仍建議企業對此工具保持嚴謹的人工監督，特別是在處理敏感資訊或流程操作時。這有助於偵測可能因操控或其他威脅而產生的異常情況。 為了建立更完善且資訊充分的資安策略，趨勢科技的Digital Assistant Framework被證明是一個有價值的工具。它不僅是能協助一般消費者的工具，也適用於企業環境中日益增長的具代理能力系統。隨著AI持續發展並成為我們生活中不可或缺的一部分，這個框架提供了一個重要視角，幫助理解AI新崛起的能力與其伴隨之風險來相互平衡。