Организация Anthropic предлагает ведущим мировым компаниям, занимающимся искусственным интеллектом, разработать скоординированный способ приостановки разработки передовых систем ИИ, предупреждая, что технология совершенствуется настолько быстро, что существует риск потери контроля со стороны людей.
Компания, разработавшая чат-бота Claude, заявила в четверг в своем блоге, что по мере того, как передовые технологии искусственного интеллекта все быстрее выполняют задачи, «было бы хорошо, если бы у мира была возможность замедлить или временно приостановить» его разработку.
Компания Anthropic заявила, что ее внутренний исследовательский институт планирует изучить этот вопрос в сотрудничестве с другими организациями и «предпринять действия», чтобы помочь создать системы для убедительного замедления или приостановки экономического роста, не уточняя подробностей.
Конкурент OpenAI, выступающий против антропогенных факторов, в опубликованном в среду отчете высказался за иной подход, заявив, что «правила, гарантии и механизмы подотчетности должны в конечном итоге определяться демократическими правительствами, а не частными компаниями, действующими в одиночку».
«Мы считаем, что решения о темпах внедрения инноваций в области искусственного интеллекта не должны оставаться на усмотрение какой-либо одной лаборатории, компании или группы, преследующей особые интересы», — говорится в заявлении.
Как говорится в сообщении компании Anthropic, модели ИИ становятся быстрее, и скорость их самостоятельного выполнения программных задач, таких как программирование, стремительно возрастает. Исходя из текущих тенденций и при наличии достаточной вычислительной мощности, система ИИ сможет проектировать и разрабатывать собственных преемников, что известно как «рекурсивное самосовершенствование».
По мнению Anthropic, самоорганизующийся ИИ станет важной технологической вехой, которая принесет пользу науке, здравоохранению и другим областям, но «также может увеличить риск потери контроля над системами ИИ со стороны людей».
Некоторые деятели технологической индустрии давно предупреждали о подобном сценарии.
Сообщение Anthropic появилось после другого предупреждения на этой неделе от группы исследователей из Университета Торонто, которые показали, как инструменты ИИ могут быть использованы для создания нового типа «червя» ИИ, который адаптирует свою стратегию взлома по мере распространения от устройства к устройству и захвата обширной вычислительной сети.
«Я думаю, очень важно, чтобы люди понимали, что проблемы безопасности представляют не только самые большие и мощные языковые модели», — сказал ведущий исследователь Николас Паперно в интервью.
Авторы статьи в Anthropic, соучредитель компании Джек Кларк и глава исследовательского института Марина Фаваро, заявили, что пауза будет использована для того, чтобы «исследования социальных структур и согласованности» могли идти в ногу с достижениями в области ИИ. Согласованность — это отраслевой термин, обозначающий соответствие технологии человеческим ценностям и намерениям.
Предлагаемая координация позволит передовым лабораториям искусственного интеллекта проверить, действительно ли глобальные конкуренты прекратили или замедлили свою работу, «и что злоумышленник не сможет использовать скоординированное замедление для того, чтобы тайно опередить конкурентов».
Компания заявила о необходимости скоординированного глобального механизма, поскольку без него замедление развития ИИ может позволить «наименее осторожным» игрокам наверстать упущенное и усилить давление на компании и правительства, которым приходится принимать сложные решения относительно безопасности ИИ.
Сообщение Anthropic появилось на фоне того, как компания и разработчик ChatGPT, OpenAI, спешат продать свои акции на фондовом рынке в рамках IPO, которое может оценить Anthropic почти в триллион долларов.
Компания Papernot уведомила канадские органы по кибербезопасности перед публикацией отчета, в котором показано, как исследователи разработали червя в лаборатории, используя инструмент искусственного интеллекта с «открытым исходным кодом», к которому разработчики программного обеспечения могут легко и недорого получить доступ и модифицировать его.
«В прошлом киберпреступники сосредотачивались на очень важных целях, — сказал он. — Банковские системы, больницы, электросети, системы водоочистки, школы».
Папернот согласился с тем, что необходимо расширить сотрудничество между компаниями, государственными учреждениями и академическими исследователями для разработки контрмер, поскольку инструменты взлома на основе искусственного интеллекта значительно ускоряют поиск компьютерных уязвимостей.
«Тот старый ноутбук, который вы храните в подвале и редко проверяете, может показаться не очень ценной целью, но его можно использовать в качестве плацдарма для атак на более важные цели», — сказал он. «Все, что подключено к интернету, теперь находится под угрозой из-за того, насколько низкой стала стоимость осуществления кибератак».