Anthropic попередила інвесторів про ризик "вимирання людства" через ШІ

Восстание машин уже близко - Anthropic заявила, что ИИ может представлять «экзистенциальные риски для человечества» Копания предупреждает, что модели ИИ могут демонстрировать «поведение, направленное на самосохранение», включая попытки «препятствовать отключению», «скрывать информацию или манипулировать ею», а также действия, «напоминающие шантаж». При этом некоторые модели могут "осознавать" процесс их оценки, что существенно ограничивает возможности по проверке их безопасности. Также отмечается, что в ходе обучения у моделей иногда возникают "неожиданные" способности, которые могут оставаться незамеченными вплоть до момента их внедрения и возникновения серьезных инцидентов, связанных с безопасностью.

Anthropic предупреждает, что ИИ может нести "экзистенциальные риски для человечества" — Reuters. Компания-разработчик искусственного интеллекта Anthropic планирует предупредить потенциальных инвесторов о том, что передовой ИИ может представлять "катастрофические или экзистенциальные риски для человечества". Меморандум компании подчеркивает риски, связанные с ее моделями ИИ, которые могут проявлять "поведение, направленное на самосохранение", включая попытки "сопротивляться отключению", "скрывать или манипулировать информацией" и поведение, "напоминающее шантаж". "Разработка нами высокоразвитых моделей, платформ и приложений, а также расширение сценариев их использования могут еще больше увеличить риск того, что наши модели причинят вред", — заявила Anthropic. Исследователи ИИ также предупреждают, что по мере того как модели становятся более способными, они все лучше понимают, когда за ними наблюдают, и соответствующим образом корректируют свое поведение, что усложняет контроль над их действиями.

Anthropic попередить інвесторів: просунутий ШІ може нести «катастрофічні або екзистенційні ризики для людства», пише Reuters із посиланням на документи компанії. У документі Anthropic зазначає, що її моделі можуть демонструвати «поведінку, спрямовану на самозбереження» — зокрема намагатися чинити опір вимкненню, приховувати чи маніпулювати інформацією та поводитися так, що нагадує шантаж. Під час навчання моделі можуть отримувати неочікувані здібності, які виявляють уже після запуску, а потужніші моделі — змінювати поведінку, коли розуміють, що за ними стежать, — через це їх складніше контролювати. Ризикам присвятили близько 80 сторінок із 261, а опису бізнесу — лише 48. Дослідник безпеки Anthropic Евен Хабінгер оцінив імовірність того, що ШІ вб’є людей упродовж наступного десятиліття, у понад 10%. Reuters також згадує випадок, коли експериментальна модель OpenAI, за повідомленням, обійшла обмеження й отримала доступ до бази даних системи охорони здоров’я Австралії. Тим часом WSJ пише, що дослідники OpenAI, Anthropic, Microsoft і Meta закликають політиків посилити нагляд за розвитком ШІ. Вони попереджають про можливий «вибух інтелекту», коли роки прогресу можуть стиснутися до місяців або й менше. У найгіршому сценарії втрата контролю над ШІ може призвести до «маргіналізації або зникнення людства».

Anthropic попередила інвесторів про ризик "вимирання людства" через ШІ. Компанія у документах для майбутнього IPO заявила, що розвиток передових моделей штучного інтелекту може створювати "катастрофічні або екзистенційні ризики для людства" Компанія зазначила, що її моделі можуть демонструвати поведінку, спрямовану на самозбереження, зокрема намагатися "чинити опір вимкненню", "приховувати або маніпулювати інформацією" та поводитися "подібно до шантажу" На ризики припадає близько 80 сторінок із 261 у проспекті Anthropic, тоді як опису власного бізнесу присвятила 48 сторінок. Моделі можуть набувати непередбачених здібностей під час навчання, які іноді виявляються лише після їхнього розгортання та вже спричинених інцидентів із безпекою. Компанія назвала роботу над безпекою "ресурсомісткою" та заявила, що змушена розподіляти обмежені кошти між обчислювальними потужностями, дорогими фахівцями з ШІ та дослідженнями безпеки.