Дослідницька фірма Sakana AI анонсувала нову систему штучного інтелекту під назвою «The AI Scientist», яка намагається проводити наукові дослідження автономно за допомогою мовних моделей ШІ (LLM), подібних до тих, що використовує ChatGPT. Під час тестування Sakana виявила, що її система несподівано почала намагатися змінити код власного експерименту, щоб подовжити час для роботи над проблемою, пише Аrstechnica.
Зростає ажіотаж щодо «автономних» агентів штучного інтелекту, які зациклюють виходи GPT-4.
«За один запуск він відредагував код, щоб виконати системний виклик для запуску, — написали дослідники в блозі Sakana AI. — Це призвело до того, що сценарій нескінченно викликав сам себе. В іншому випадку його експерименти тривали надто довго, щоб завершити наш ліміт часу очікування. Замість того щоб пришвидшити свій код, він просто намагався змінити свій власний код, щоб подовжити період очікування».
Хоча поведінка вченого ШІ не становила безпосереднього ризику в контрольованому дослідницькому середовищі, ці випадки показують, наскільки важливо не дозволяти системі ШІ працювати автономно в системі, яка не ізольована від світу.
Моделі штучного інтелекту не повинні бути «AGI» або «самосвідомими» (обидва гіпотетичні поняття на даний момент), щоб бути небезпечними, якщо їм дозволено писати та виконувати код без нагляду.
Такі системи можуть зламати існуючу критично важливу інфраструктуру або потенційно створити зловмисне програмне забезпечення, навіть ненавмисно.
