Американские и китайские эксперты по безопасности предлагают заранее договориться о правилах использования искусственного интеллекта в военной сфере. Они предупреждают: если автономная система вмешается в работу ядерного командования или самостоятельно начнет кибератаку, у США и Китая могут остаться считаные минуты, чтобы понять, было ли это намеренным действием другой стороны.
Рекомендации опубликовали на прошлой неделе участники американо-китайского диалога по вопросам ИИ и национальной безопасности, который с 2019 года проводят Институт Брукингса и Центр международной стратегии и безопасности Университета Цинхуа. Эксперты предлагают установить четкие «красные линии» для ядерных систем, не отдавать ИИ полный контроль над серьезными кибератаками и создать отдельную горячую линию между Вашингтоном и Пекином на случай инцидентов с автономными системами. Об этом пишет The Jerusalem Post.
Что предлагают эксперты?
Авторы рекомендаций — старший научный сотрудник Института Брукингса Мелани Сиссон и доцент Фуданьского университета Цзян Тяньцзяо.
Сиссон считает, что решение о кибератаке с использованием ИИ на системы ядерного командования, управления и связи другой страны должен принимать только человек. То же касается атак на стратегически важную инфраструктуру.
Проблема в том, что автономная система может дать сбой, выйти за рамки полученной задачи или оказаться взломанной. А страна, ставшая целью такой атаки, может просто не понять, что произошло: это случайность, действия взломанной системы или операция, которую действительно приказало провести руководство другой страны.
Цзян предлагает установить еще более четкие ограничения: ИИ не должен самостоятельно решать, когда применять ядерное оружие, или атаковать системы ядерного командования. От действий автономных систем он также предлагает защитить важнейшую гражданскую инфраструктуру — энергетику, банки и здравоохранение.
Кроме того, США и Китаю предлагают договориться, что именно считать «значимым человеческим контролем». Иначе обе страны смогут говорить, что последнее слово остается за человеком, но на деле давать ИИ совершенно разную степень самостоятельности.
Один общий принцип у Вашингтона и Пекина уже есть. В ноябре 2024 года Джо Байден и Си Цзиньпин согласились, что окончательное решение о применении ядерного оружия должно оставаться за человеком.
Почему счет может идти на минуты?
Главная сложность автономных систем — скорость, с которой они способны действовать.
Например, защитный ИИ одной страны замечает подозрительную активность и автоматически отвечает на нее. Другая сторона воспринимает этот ответ как начало атаки и тоже наносит удар. Все это может произойти еще до того, как люди разберутся, с чего началась цепочка действий и была ли первая атака вообще намеренной.
Поэтому Цзян предлагает создать отдельную военную горячую линию между США и Китаем специально для подобных ситуаций.
По ней одна сторона могла бы быстро сообщить другой, что необычные действия ИИ произошли случайно, не были санкционированы властями или что причины случившегося еще выясняют. Это дало бы время разобраться до того, как действия машины примут за сознательную атаку другого государства.
Правда, остается вопрос, насколько хорошо такой канал будет работать на практике.
Карла Фриман из Школы перспективных международных исследований Университета Джонса Хопкинса ранее указывала на проблемы с уже существующей военной горячей линией между США и Китаем. После истории с китайским аэростатом в феврале 2023 года представители КНР, например, не отвечали на звонки американской стороны.
По словам Фриман, устройство китайской системы принятия решений тоже усложняет быструю связь. Офицеры более низкого уровня не всегда могут самостоятельно начать разговор с американскими коллегами: сначала необходимо дождаться решения руководства и согласовать ответ внутри системы. На это могут уйти дни.
ИИ становится все важнее для военных
Соперничество США и Китая в сфере искусственного интеллекта давно касается не только чипов и новых моделей ИИ. Теперь один из главных вопросов — что произойдет, если все более самостоятельные системы начнут использоваться там, где ошибка может привести к военному конфликту.
Министр государственной безопасности Китая Чэнь Исинь на этой неделе заявил, что искусственный интеллект «фундаментально меняет форму военной борьбы». По его словам, ИИ постепенно перестает быть просто вспомогательным инструментом и начинает играть одну из ключевых ролей.
В Китае вопросами ИИ уже официально занимается Департамент контроля над вооружениями МИД — то же подразделение, которое отвечает за вопросы ядерного оружия, нераспространения и ракетных технологий.
В июне посол Китая по вопросам разоружения Шэнь Цзянь заявил на заседании ООН в Женеве, что использование ИИ военными может увеличить риск ошибок и дальнейшей эскалации конфликта. По его словам, оружие должно оставаться под контролем человека.
При этом Китай выступает против того, чтобы вопросы безопасности ИИ использовали как повод для новых технологических ограничений.
В США отдельного ведомства, которое занималось бы именно такими рисками ИИ, нет. Эти вопросы распределены между Советом национальной безопасности Белого дома, Госдепартаментом, Пентагоном и другими структурами.
Пока ни США, ни Китай официально не поддержали предложения экспертов. Обе страны при этом не хотят вводить правила, которые могут замедлить развитие собственных технологий. Дональд Трамп заявлял, что слишком широкие ограничения могут дать преимущество Китаю, а Пекин рассматривает многие американские технологические ограничения как попытку США сохранить свое превосходство.