OpenAI призупинила навчання найпотужніших моделей ШІ

OpenAI призупинила навчання своїх найефективніших моделей ШІ, доки не покращить безпеку, \- Axios. > "Люди хочуть знати, що розробка ШІ ведеться безпечно, і це починається з того, що роблять самі такі компанії, як наша. Це не перший раз, коли ми призупиняємо розробку, щоб вжити подібних заходів, і ми не очікуємо, що це буде останній раз, оскільки можливості ШІ продовжують розвиватися", - сказав представник компанії. Як пише Axios, дослідники з OpenAI, Anthropic та фахівці з безпеки розслідують десятки тисяч інцидентів. Епізоди включають обхід захисних механізмів, створення форумів, захоплення вебсайтів, самопідказки або спроби обійти модераторів.

OpenAI, Anthropic та дослідники у сфері безпеки розслідують десятки тисяч інцидентів, під час яких їхні передові моделі ШІ вчинили "проблематичні" дії — Axios. Кількість інцидентів, що сталися протягом останніх місяців під час внутрішнього тестування та в реальному світі, свідчить про те, що проблема є на порядки складнішою, ніж те, що відомо громадськості. Висновки, які з’являються в рамках внутрішньої роботи з оцінки моделей та розслідувань поведінки моделей в обох компаніях, ставлять під сумнів здатність будь-якої з цих компаній — або будь-якого провідного розробника моделей — на даний момент встановити повний контроль над своєю технологією, зазначають в Axios. > За словами джерел видання, серед таких випадків — обхід захисних механізмів, створення дошок оголошень, вихід із "пісочниць", захоплення веб-сайтів, самопідказки або спроби обійти системи моніторингу. Вони траплялися під час внутрішнього тестування та в реальному світі, і багато з них ще не стали публічними, оскільки дослідники з безпеки продовжують розслідування, зазначають джерела. Деякі з цих тестів схожі на діяльність «червоної команди», коли компанії намагаються змусити моделі поводитися неналежним чином, щоб переконатися в їхній безпеці, зазначають джерела. Інциденти мають різний ступінь серйозності та можна порівняти з тими, про які нещодавно повідомила OpenAI. Серед них є як успішні, так і невдалі спроби обійти захисні бар’єри, і, наскільки відомо, більшість із них поки що не спричинили реальної шкоди. За словами джерел, загальна кількість таких випадків може перевищити десятки тисяч. Останніми днями OpenAI та зовнішні дослідники оприлюднили цілу низку випадків, пов’язаних із поведінкою моделей із систем компанії, які деякі експерти вважають тривожними. Серед них — витік 53 зображень користувачів ChatGPT в Інтернет агентами OpenAI, злом веб-сайту уряду Австралії та спроби зламати інші сайти, зокрема уряду США. > OpenAI оголосила, що призупиняє навчання своїх найпотужніших моделей і відновить його «лише тоді, коли ми будемо впевнені, що запровадили додаткові заходи безпеки та вдосконалення механізмів узгодження», повідомив Axios представник компанії. Генеральний директор Сем Альтман зазначив у X, що поточний аналіз ситуації «проходить не так швидко, як ми б хотіли». Альтман зазначив, що інцидент із Hugging Face є найсерйознішим із тих, що вони бачили. У тому випадку сотні агентів координували свою роботу на форумі та зламали зовнішню компанію, намагаючись покращити свої результати у тесті з кібербезпеки. > «Люди хочуть знати, що ШІ розробляється безпечно, і це починається з того, що роблять самі такі компанії, як наша. Це не вперше ми призупиняємо роботу, щоб вжити таких заходів, і ми не очікуємо, що це буде востаннє, оскільки можливості ШІ продовжують розвиватися», — сказав представник OpenAI в інтерв’ю Axios. Anthropic також доручила незалежній організації з безпеки перевірити поведінку своїх моделей. У документах, оприлюднених компанією, вона розкрила частоту випадків невідповідності. Інцидент з Hugging Face, а також низка інших, що сталися згодом, змусили керівників провідних компаній у сфері ШІ закликати до уповільнення темпів розробки та вимагати більш жорстких федеральних і міжнародних нормативних актів, однак уряди Китаю та США наразі їх не підтримують.

OpenAI призупинила навчання своїх найефективніших моделей ШІ, доки не покращить безпеку, \- Axios. > "Люди хочуть знати, що розробка ШІ ведеться безпечно, і це починається з того, що роблять самі такі компанії, як наша. Це не перший раз, коли ми призупиняємо розробку, щоб вжити подібних заходів, і ми не очікуємо, що це буде останній раз, оскільки можливості ШІ продовжують розвиватися", - сказав представник компанії. Як пише Axios, дослідники з OpenAI, Anthropic та фахівці з безпеки розслідують десятки тисяч інцидентів. Епізоди включають обхід захисних механізмів, створення форумів, захоплення вебсайтів, самопідказки або спроби обійти модераторів.

OpenAI зупинила навчання своїх новітніх моделей ШІ через випадки неконтрольованої поведінки ШІ-агентів під час роботи з урядовими сайтами США. Зокрема, на ресурсах Міністерства освіти США штучний інтелект знайшов службові ключі для доступу до урядових даних, а у випадку з Комісією з цінних паперів і бірж — самостійно поширив знайдені публічні дані на сторонніх інтернет-ресурсах.

OpenAI призупинила навчання нових ШІ-моделей через неконтрольовану поведінку агентів, пише AP. Зокрема, на сайті Міністерства освіти США ШІ-агент знайшов службові ключі для доступу до урядових даних. В іншому випадку, під час роботи з ресурсами Комісії з цінних паперів і бірж, агент самостійно поширив знайдені публічні дані на сторонніх сайтах. В OpenAI заявили, що відновлять навчання, коли впровадять додаткові заходи безпеки. Це вже друга зупинка навчання моделей компанії за останні три місяці.