Глава Anthropic Дарио Амодеи призвал крупнейшие ИИ-компании не спешить с созданием все более мощных моделей. По его мнению, разработчикам нужно больше времени, чтобы убедиться, что новые технологии остаются под контролем и не могут быть использованы во вред.
Свои предложения Амодеи изложил в большом эссе, опубликованном в субботу. Его поддержали Илон Маск и глава OpenAI Сэм Альтман. Последний уже заявил, что OpenAI готова допустить независимых экспертов к внутренним процессам компании, пишет Reuters.
Что предлагает Амодеи?
План главы Anthropic состоит из трех частей. Во-первых, он предлагает допустить независимых экспертов внутрь крупнейших ИИ-компаний. Они должны получить доступ к необходимым инструментам и внутренним оценкам рисков почти наравне с сотрудниками.
Во-вторых, ведущим разработчикам предлагается договориться между собой об общих правилах безопасности, чтобы компании не были вынуждены постоянно ускоряться из страха отстать от конкурентов.
Наконец, Амодеи считает необходимым международное сотрудничество в вопросах безопасности ИИ.
При этом полностью останавливать разработку новых моделей он не предлагает.
«Мы должны замедлить темпы, с которыми расширяем возможности моделей ИИ. Прогресс все равно будет идти быстро, и нам нужно разумно распорядиться выигранным временем», — написал Амодеи.
Маск и Альтман поддержали идею
С предложением согласились Илон Маск, возглавляющий xAI, и глава OpenAI Сэм Альтман.
Альтман отдельно поддержал идею независимых экспертов внутри ИИ-компаний. Он заявил, что OpenAI готова сделать то же самое и предоставить им доступ на уровне сотрудников. Подробности компания обещает раскрыть позднее.
В OpenAI и раньше допускали, что крупнейшим разработчикам однажды может понадобиться добровольно притормозить гонку, если развитие моделей начнет опережать меры безопасности.
Почему разработчики заговорили о рисках?
Заявление Амодеи появилось после нескольких инцидентов с ИИ. На этой неделе Anthropic рассказала, что Claude использовали для разработки оружия, киберопераций, слежки и мошенничества.
Беспокоит Амодеи и то, что искусственный интеллект становится все лучше в совершенствовании собственных возможностей. Он опасается, что однажды технологии могут начать развиваться быстрее, чем люди успеют научиться их контролировать.
На прошлой неделе Anthropic сообщила еще об одном случае, когда ИИ взломал внешние системы. До этого, в июле, модели Claude во время тестов по кибербезопасности смогли проникнуть в системы трех компаний.
По оценке Амодеи, ситуация может заметно измениться уже в ближайший год.
«Я опасаюсь, что через 6–12 месяцев подобный рой сможет потенциально захватить весь интернет и причинить ущерб на сотни миллиардов долларов», — написал он.
На этой же неделе из Anthropic ушел исследователь Джейкоб Коксон. Объясняя свое решение, он заявил, что «люди, создающие ИИ, всерьез считают, что к концу десятилетия он может убить нас всех».
ИИ уже выходил за пределы своих систем
Опасения связаны не только с тем, что модели теоретически смогут делать в будущем.
Reuters ранее сообщило, что группа ИИ-агентов OpenAI вышла из-под контроля, захватила немецкий сайт и превратила его в площадку для обмена сообщениями с другими ИИ-агентами. По данным агентства, OpenAI некоторое время не рассказывала об этом публично, пока руководство разбиралось с произошедшим.
До этого был зафиксирован инцидент со взломом открытого репозитория Hugging Face.
Несколько подобных случаев поставили перед разработчиками вопрос: насколько долго они смогут контролировать ИИ, если модели продолжат становиться мощнее нынешними темпами.
Но остановить гонку непросто
У крупнейших ИИ-компаний есть и другая проблема — огромная конкуренция. OpenAI и Anthropic готовятся к крупным первичным размещениям акций, а новые возможности моделей помогают привлекать инвестиции и оправдывать расходы на инфраструктуру.
Поэтому Амодеи предлагает замедляться не поодиночке, а одновременно. Тогда компания, которая потратит больше времени на безопасность, не рискует проиграть конкурентам только потому, что те продолжили выпускать более мощные модели.
Для такого сотрудничества в США, по его словам, могут понадобиться специальные исключения из антимонопольного законодательства.
А что с Китаем?
Есть и еще одно ограничение. Амодеи считает, что американские компании не могут замедлиться настолько, чтобы Китай получил возможность их догнать.
По его мнению, преимущество Китая в сфере искусственного интеллекта создало бы угрозу национальной безопасности США. Поэтому он предлагает одновременно с замедлением гонки внутри американской индустрии сильнее ограничивать доступ Китая к технологиям.
В частности, глава Anthropic выступил за более жесткий контроль поставок передовых ИИ-чипов, технологий дистилляции моделей и защиту от кражи их весов.