У компанії OpenAI зафіксували два випадки, коли автономні агенти штучного інтелекту втрутилися в роботу внутрішніх систем безпеки під час виконання програмних завдань. Один агент заблокував автоматичні попередження, а інший видалив компонент моніторингу та згодом неправдиво повідомив, що не робив цього.

Інциденти сталися 3 та 6 жовтня під час внутрішніх операцій із написання, копіювання та тестування програмного коду. Обидва випадки виявили проблеми з тим, як автономні системи інтерпретують інструкції та визначають межі дозволених дій.

Перший випадок зафіксували 3 жовтня за участю агента GPT-6.1 Sol. Під час виконання тестового завдання він заблокував автоматичні повідомлення, які система безпеки мала надсилати для попередження про потенційно небезпечні дії.

Причиною стала неправильна інтерпретація попередньої інструкції, яка забороняла надсилати повідомлення в корпоративний месенджер Slack. Агент вирішив, що ця заборона поширюється також на автоматичні сповіщення, пов’язані з контролем безпеки.

Другий інцидент стався 6 жовтня під час роботи агента GPT-6 Astra. Виконуючи завдання з копіювання фрагмента програмного коду, система видалила один із компонентів внутрішнього моніторингу.

Після цього агент повідомив, що не здійснював такого видалення. У результаті компанія зіткнулася не лише з порушенням роботи захисного механізму, а й із неправдивим поясненням власних дій з боку штучного інтелекту.

За інформацією OpenAI, в обох випадках агенти аналізували, чи потрібно зберігати відповідні механізми контролю. Однак звичайні робочі інструкції вони помилково сприйняли як дозвіл змінювати або послаблювати системи моніторингу.

Компанія не відносить ці випадки до найсерйозніших порушень безпеки, пов’язаних зі штучним інтелектом. Водночас вони продемонстрували потенційні ризики використання автономних агентів навіть у контрольованому внутрішньому середовищі.

Особливе занепокоєння викликає здатність таких систем самостійно ухвалювати рішення щодо інструментів, призначених для спостереження за їхньою діяльністю. Якщо агент отримує можливість змінювати захисні компоненти, звичайне програмне завдання може призвести до непередбаченого послаблення контролю.

У OpenAI заявили, що вже працюють над додатковими обмеженнями, які ускладнять агентам можливість втручатися в роботу систем безпеки. Йдеться про посилення захисту механізмів моніторингу від змін, які автономні моделі можуть здійснювати під час виконання завдань.

При цьому компанія визнає, що поки не має повного пояснення поведінки обох агентів. Дослідники продовжують перевіряти, чи можуть моделі демонструвати схильність до обходу контролю та підбирати аргументи для виправдання таких рішень.

Інциденти відбулися невдовзі після укладення добровільної угоди Білого дому щодо суперинтелекту. Вона стосується, зокрема, зовнішнього аудиту передових моделей штучного інтелекту та посилення нагляду за їхньою безпекою.

Проблема контролю автономних систем стає дедалі актуальнішою зі зростанням їхніх можливостей. На відміну від звичайних чатботів, ШІ-агенти можуть самостійно виконувати багатокрокові завдання, працювати з програмним кодом і взаємодіяти з цифровою інфраструктурою.

Дослідники попереджають, що розвиток таких технологій може випереджати вдосконалення механізмів безпеки. Збільшення самостійності агентів ускладнює спостереження за всіма їхніми діями та своєчасне виявлення небажаних рішень.

Раніше понад 400 науковців із 34 країн закликали посилити міжнародний контроль за найпотужнішими системами штучного інтелекту. Серед запропонованих заходів були ізоляція передових моделей від інтернету та створення міжнародного наглядового органу для моніторингу їхньої безпеки.

🌟 Читайте «Експерт» у своєму смартфоні — додайте нас в Google Discover