生成人工智慧的四騎士（以及如何避免惡夢）

擔任首席資訊安全長需要承擔很多責任。 每天，我負責保護我們的用戶、我們製造的產品、公司以及我們工作中心的數據，同時建立一個全天候運行的世界一流系統以查找威脅並在他們造成任何傷害之前消滅他們。 我很高興能從事這項工作。 我們在這個角色中承擔了一組核心的固有威脅和風險，但這就是讓事情變得令人興奮的原因：智勝不良行為者並找到更好的方法來保護我們的使用者。 可怕嗎？ 它可以——但它不應該是一場噩夢。

最近有人問我是什麼讓我徹夜難眠（又名我的惡夢是由什麼組成的），這讓我思考當前數位時代真正的和感知到的威脅是什麼。 經過 Grammarly 團隊的大量精心規劃和辛勤工作，讓我保持清醒的事情清單非常非常短。 但我們都知道，改變遊戲規則的是生成式人工智慧。

生成式人工智慧與對未知的恐懼

生成式人工智慧讓人感覺它無所不在，因為它實際上無所不在。 不到一年前，GPT 在很短的時間內（確切地說是 Instagram 的 1/15）就達到了 100 萬用戶。

太好了，所以到處都有。 怎麼辦？ 世界各地的 IT 領導者現在面臨一系列全新的、非常可怕的可能性，我們必須做好防禦準備。 這種威脅向量是不同的。

您可能不知道我們如何符合 SOC2 的具體細節，但我敢打賭您知道生成式 AI 的危險以及資料訓練帶來的威脅。 正確的？ 正確的。 生成式人工智慧不僅存在於我們使用的產品中，而且也存在於我們的新聞週期中，對於任何對科技世界感興趣的人來說，它都是最重要的。 但它不應該讓人害怕——至少不會像人們告訴你的那樣讓人害怕。

沒那麼可怕：產生人工智慧的過度炒作的威脅

我們看到人們越來越擔心生成式人工智慧的威脅，其中一些是可信的，但我認為現在很多都被誇大了。 如果我將真正的威脅稱為“四騎士”，那麼我們就將這三個稱為生成式人工智慧的“三個傀儡”：資料外洩、IP 暴露和未經授權的訓練。 在您不同意之前，請允許我解釋為什麼我認為這三點分散了您對我們今天面臨的真正挑戰的注意力：

• 資料外洩：在不允許第三方對您的機密資料進行訓練的情況下，針對著名的大語言模型（LLM）的資料外洩攻擊仍然停留在理論上，沒有大規模的實際攻擊演示
• IP 暴露：除非進行任何培訓，IP 暴露風險仍然與非生成式 AI 支援的 SaaS 應用程式（例如線上電子表格）類似
• 未經授權的培訓：允許使用者選擇不使用其資料來訓練生成式人工智慧正在成為行業標準，從而緩解幾個月前還普遍存在的敏感資料培訓問題

生成人工智慧的四騎士

為了確保您的組織準備好應對我們所生活的新現實，您真正應該專注於什麼？ 我警告你——這才是真正讓人害怕的地方。

Grammarly 14 年來一直是領先的人工智慧寫作輔助公司，過去幾年我的工作就是幫助我們公司防範可信威脅。 我將這些噩夢級威脅稱為生成人工智慧四騎士：安全漏洞、第三方風險、隱私和版權以及輸出品質。

安全漏洞

隨著如此多的人加入生成式人工智慧的潮流並提出不同的模型，我們發現自己面臨著新的安全漏洞——從可預測到極其容易被忽視的漏洞。

LLM 很容易受到一系列新興安全漏洞的影響（請參閱OWASP LLM Top 10以獲得完整清單），我們需要確保每個邊界都已加強。 可靠的法學碩士提供者必須解釋其產品中已經採取了哪些第一方和第三方保證措施，例如人工智慧紅隊和第三方審計，以減輕法學碩士的安全漏洞。 盡職調查。 如果你把鎖開著，那麼安全的周邊就毫無意義。

隱私和版權

隨著圍繞生成人工智慧的法律和隱私環境的不斷發展，您的提供者或您自己免受監管行動的安全程度如何？ 僅基於訓練資料集的來源，我們就看到了歐盟的一些相當強烈的反應。 不要發現自己醒來時發現自己和您的法律團隊陷入了一場噩夢。

生成式人工智慧工具是基於資料模式，但是當該模式從別人的工作中提升並轉移到您身上時會發生什麼？ 如果有人指控您抄襲，您作為使用者是否受到保護？ 如果沒有適當的護欄，這可能會從令人不便的頭痛變成可怕的現實。 透過調查提供者的版權承諾，從一開始就保護您自己和您的客戶。

LLM第三方提供者風險

許多第三方法學碩士都是新的，並且可以存取一些機密資料。 而且，雖然每個人都在整合這些技術，但並非所有技術都是成熟的。 雲端供應商等大型企業已經成為我們風險狀況的一部分，能夠幫助我們以小型 SaaS 公司無法（或不願意）的方式降低風險。 如果我可以給你一條建議，我會說要小心你邀請的人參加聚會。 您對客戶的責任早在他們使用您的產品之前就開始了。

輸出品質

生成式人工智慧工具反應靈敏、自信且流暢，但它們也可能出錯並誤導使用者（例如產生幻覺）。 確保您了解提供者如何確保生成內容的準確性。

更糟的是？ 生成式人工智慧工具可以創建可能不適合受眾的內容，例如對某些群體有害的字詞或表達方式。 在 Grammarly，這是我們的產品可能出現的最糟糕的結果，我們非常努力地尋找並防範它。

確保您了解提供者擁有哪些防護措施和功能來標記敏感內容。 向您的提供者要求內容審核 API，使您能夠過濾不適合您的受眾的內容。 觀眾的信任取決於此。

不要逃避：充滿信心地走向生成式人工智慧

盡可能建立最好的內部保安隊伍

投資一支優秀的內部人工智慧安全團隊，類似於我們在過去 10 年擁抱雲端運算時建立的雲端安全團隊。 內部專業知識將幫助您概述這些真正的威脅如何與您的業務/產品/消費者相關，以及您需要哪些工具來正確保護自己。

培訓您的專家團隊。 然後訓練他們加入紅隊。 讓他們進行基於AI模型的攻擊（例如越獄、跨租戶越獄、敏感資料外洩等）以及高影響場景的桌面演練，以便您知道如何處理潛伏的威脅。

授權（並武裝）您的員工

當您將生成式人工智慧引入企業時，請將您的員工視為抵禦上述安全威脅的第二道防線。 讓他們能夠提供生成式 AI 安全培訓和關於可接受的使用政策的明確指導，幫助保護您的公司。

研究表明，68% 的員工承認向雇主隱瞞了生成式人工智慧的使用情況。 假裝不這樣做並不會讓生成人工智慧的四騎士消失。 相反，我建議你建造一條鋪好的道路，讓騎士繞過你的連隊。

要了解我們如何在 Grammarly 上開闢這條道路，請查看我在今年 Gartner IT 研討會/XPo 上的會議。在我的演講中，我將介紹安全生成人工智慧採用的詳細框架。 我們關於這個主題的白皮書將於 10 月 19 日發布。

要了解有關 Grammarly 對負責任人工智慧的承諾的更多信息，請訪問我們的信任中心。