Основные выводы, сделанные на конференции "Военный ИИ, диалоги о мире и безопасности 2025
Загрузите PDF-версию здесь
Диалоги "Военный ИИ, мир и безопасность" (MAPS) 2025 года, организованные Управлением ООН по вопросам разоружения (УВР) и финансируемые Республикой Корея, призваны предоставить государствам платформу для обмена знаниями и повышения осведомленности о последствиях использования ИИ в военной сфере для международного мира и безопасности. Инициатива способствует текущим многосторонним дискуссиям, обеспечивая нейтральную обстановку, в которой государства могут взаимодействовать с международными организациями, гражданским обществом, исследователями и промышленностью, обмениваться мнениями и определять практические области для сотрудничества.
В этой записке собраны материалы и выводы, сделанные в ходе двух открытых вебинаров " Военный ИИ: возможности, риски и международный мир и безопасность" и "Наращивание потенциала и международное сотрудничество в области ИИ в военной сфере", состоявшихся соответственно 12 и 25 марта 2025 года, а также последующей личной встречи, проведенной 2 июля 2025 года в соответствии с правилами Чатем-Хауса. В нем зафиксированы темы, которые могут послужить основой для последующего диалога между государствами-членами, включая области, в которых обмен мнениями может быть полезен в ближайшем будущем.
В двух открытых вебинарах приняли участие девять экспертов, а число участников составило соответственно 205 и 187 человек из государств-членов (50%), организаций гражданского общества (30%), а также международных и региональных организаций (20%). На очной встрече присутствовали 33 делегата. На всех трех мероприятиях присутствовало большое количество представителей Глобального Юга.
В ходе всех мероприятий участники признали, что технологии ИИ могут быть интегрированы в целый ряд функций и задач, и что связанные с ними риски и возможности зависят от контекста использования.
Потенциальный вклад в мир и безопасность
Участники выделили несколько областей, в которых ответственное использование ИИ может способствовать укреплению мира и безопасности. Они подчеркнули важность проведения различия между стратегическими и гуманитарными возможностями (такими как защита гражданских лиц в конфликте), признав при этом, что ответственная практика может поддерживать оба типа использования при целенаправленном подходе.
Во-первых, ИИ может улучшить обработку информации и поддержку принятия решений, позволяя операторам и командирам обрабатывать большие объемы данных, выявлять закономерности и более эффективно распределять внимание. Это связано с потенциальным улучшением ситуационной осведомленности и принятием обоснованных решений в кинетических и виртуальных средах.
Во-вторых, ИИ может снизить риски для персонала, позволяя или улучшая выполнение задач в опасных условиях, таких как поиск взрывоопасных предметов, расчистка маршрутов или операции, в которых нарушена связь. Эти функции, по мнению участников, обеспечивают безопасность и эффективность при условии понимания и соблюдения пределов производительности.
В-третьих, несколько участников указали на потенциальный вклад в защиту гражданского населения. В качестве примера были приведены инструменты, помогающие охарактеризовать гражданскую среду, поддержать планирование, минимизирующее случайный ущерб, или улучшить своевременность и точность предупреждений. Было подчеркнуто, что такие преимущества не являются автоматическими. Они зависят от качества данных, надежности и мер контроля, которые обеспечивают принятие правовых и этических решений людьми.
Наконец, такие области, как логистика, техническое обслуживание и обучение, были часто отмечены как применимые и сравнительно менее спорные. Но даже в этих областях участники подчеркнули важность дисциплинированной практики, включая тестирование и обучение операторов, для защиты от чрезмерного доверия и непредвиденных последствий.
Динамика рисков и операционные проблемы
Наряду с возможностями участники рассмотрели риски, которые возникают или усиливаются в военных условиях. Во-первых, центральное место занимали вопросы технической надежности и прочности. Вероятностные системы могут вести себя непредсказуемо, если данные скудны, зашумлены или не отражают операционную обстановку. Обсуждались уязвимости к вражеским манипуляциям и отравлению данных, а также практические пределы объяснимости в критических по времени условиях. Конфиденциальность данных и более широкие риски кибербезопасности влияют как на разработку, так и на интеграцию ИИ в военную сферу. Были отмечены и дополнительные факторы: обучение на синтетических или нецелевых данных может укоренить предвзятость или ухудшить производительность. Энергозатраты на обучение и эксплуатацию больших моделей ИИ также оказывают влияние на окружающую среду, например, выбросы углекислого газа или потребление электроэнергии; поэтому государствам важно проводить планирование устойчивости и жизнестойкости.
Во-вторых, участники также рассмотрели риски, связанные с человеко-машинным взаимодействием. Чрезмерное доверие, предвзятое отношение к автоматизации и ослабление бдительности могут привести к тому, что пользователи будут чрезмерно доверять результатам работы системы, особенно когда интерфейсы передают необоснованную уверенность. И наоборот, недоверие может свести на нет потенциальные преимущества, например, игнорирование точных выводов, сделанных ИИ, поскольку они противоречат убеждениям или ожиданиям человека-оператора. Поэтому некоторые участники сконцентрировались на выборе дизайна и обучении, которые позволяют правильно калибровать доверие, включая четкое указание на то, когда следует отключиться или перейти к человеческому анализу. Также было отмечено, что высокая эффективность систем с ИИ при выполнении задач (таких как обработка данных или оперативная поддержка) может непреднамеренно поощрять чрезмерное доверие и создавать ощущение "дистанцирования" от человеческого воздействия решений.
В-третьих, были отмечены риски неправильного использования на протяжении всего жизненного цикла систем ИИ. К ним относятся злонамеренное использование при развертывании инсайдерскими угрозами или другими "плохими субъектами", перспектива наступательных кибер-операций, усиленных ИИ, и использование негосударственными субъектами, включая частные военные компании, действующие вне стандартных рамок подотчетности. Некоторые участники, в частности, предупреждали о том, что в таких ситуациях, как ядерные структуры командования, управления и связи (NC3), неправильная интерпретация или просчеты могут иметь особенно серьезные последствия.
Еще одной повторяющейся темой было сжатие времени принятия решения. Хотя некоторые инструменты ИИ направлены на ускорение процесса интерпретации сложной информации, более быстрые циклы принятия решений могут сократить время, отведенное на обдумывание решений человеком, и ухудшить способность командиров понимать обоснование выводов и действий, предпринимаемых системами с ИИ. Это увеличивает вероятность ошибки, эскалации или просчета, особенно в условиях стресса и кризиса. Кроме того, в качестве дополнительного фактора риска была названа динамика гонки вооружений. Восприятие стратегической конкуренции и психологические убеждения, связанные с получением преимущества над противником, могут создать давление, требующее быстрого внедрения возможностей, что потенциально может опережать процессы обеспечения, тестирования и управления.
Правовые, этические и политические основы
Участники подтвердили, что соответствующие существующие правовые обязательства, включая Устав ООН, международное гуманитарное право и международное право прав человека, применимы к разработке и использованию военных возможностей с использованием ИИ. Особое внимание было уделено сохранению человеческого суждения и контроля над решениями о применении силы, а также тому, чтобы ответственность и подотчетность оставались за людьми на протяжении всего жизненного цикла. Государства описывали или ссылались на правовые обзоры в соответствии со Статьей 36 Дополнительного протокола 1 к Женевским конвенциям, указывая, что эта практика также применима к ИИ, включая последующие обзоры при обновлении или перепрофилировании систем, а также роль военных юрисконсультов.
Была подчеркнута важность ответственности и подотчетности. Было высказано предостережение, что правовые определения, например, в отношении принципов необходимости, пропорциональности и различия, не должны быть закодированы в непрозрачных системах, и что инструменты поддержки принятия решений должны обеспечивать, а не заменять законность и этические рассуждения. По мере обновления систем или создания их на основе других моделей ("ИИ, обучающий ИИ"), атрибуция и прослеживаемость могут усложняться, что подчеркивает необходимость документации, возможности аудита и четкого распределения ролей между операторами, разработчиками и командирами. Были отмечены этические проблемы, связанные с делегированием ИИ полномочий по принятию решений, связанных с жизнью и смертью. Некоторые участники также отметили когнитивную сложность процесса принятия решений в реальном мире, который часто зависит от негласных суждений и интуиции, и поставили под сомнение то, насколько современные системы могут полноценно воспроизводить такие способности человека. Было отмечено, что международное гуманитарное право требует привлечения людей к ответственности за военные преступления.
Гарантии и методы оценки
Меры по обеспечению надежности часто определялись как обеспечение доверия к системам ИИ, в том числе посредством основанного на фактах тестирования, оценки, верификации и валидации (TEVV) на протяжении всего жизненного цикла ИИ. Участники подчеркнули ценность репрезентативных тестовых данных, повторного тестирования и испытаний на основе сценариев для понимания пределов производительности, режимов отказов и устойчивости в условиях изменения распределения. Практика документирования, такая как четкое изложение предполагаемого использования, эксплуатационных границ и известных ограничений, рассматривалась как фактор, способствующий надзору и обучению.
Участники отметили, что обеспечение безопасности - это не ярлык, а непрерывный процесс. Обновления моделей, данных или путей интеграции могут существенно изменить поведение. Поэтому было подчеркнуто, что необходимо управлять изменениями и периодически проводить переоценку. Интерфейсы, передающие информацию о неопределенности, доверительных интервалах и соответствующих предупреждающих сигналах, считались частью гарантии использования. Обучение операторов было частью этой дискуссии. Обучение может помочь смягчить когнитивные ошибки, включая предвзятость и чрезмерную зависимость от автоматизации, и должно включать тренировки по критериям отключения и процедурам эскалации для проверки человеком. Несколько участников высказали мнение, что обеспечение и обучение взаимно усиливают друг друга, а результаты оценки учитываются в учебных программах и стандартных операционных процедурах.
Потребности в наращивании потенциала и сотрудничестве
Участники определили приоритетные потребности в людях, процессах и технологиях.
Что касается людей, то многопрофильная рабочая сила была признана необходимой. Сюда входят операторы, командиры и планировщики, инженеры и специалисты по обработке данных, юристы и политические деятели. Обучение выявлению когнитивных предубеждений и ограничений систем ИИ было признано важным для всех этих групп, а не только для технических специалистов.
Что касается процессов, участники обсудили общие элементы практики юридической экспертизы систем с ИИ, базовые протоколы TEVV и подходы к закупкам, в которых на первый план выходят гарантии. Несколько докладов подчеркнули ценность обмена знаниями и технологиями, а также регионального взаимного обучения для сокращения разрыва в возможностях и продвижения совместимых практик. Такие подходы также могут обеспечить значимое участие всех государств в многосторонних обсуждениях, связанных с ИИ. Сотрудничество было сформулировано как соразмерное и уважительное по отношению к условиям безопасности и уровням развития и распространения ИИ, с акцентом на практические методы и извлеченные уроки.
Говоря о технологиях, несколько участников подчеркнули необходимость в доступных и прозрачных инструментах оценки, а также в механизмах безопасного доступа к данным, уважающих суверенитет и неприкосновенность частной жизни. Возможность тестирования в репрезентативных условиях с помощью наборов данных, сценариев или общих методологий рассматривалась многими государствами как практический инструмент.
Сближение и практические пути для дальнейшего обмена
Пути на уровне объектов
В ходе обсуждений несколько тем были рассмотрены как практические способы воплощения принципов высокого уровня в реальную практику. К числу областей, в которых мнения сходятся, относятся применимость международного права, необходимость сохранения ответственности человека за принятие решений о применении силы, важность обеспечения гарантий и управления жизненным циклом, а также ценность всестороннего наращивания потенциала. Было широко признано, что ответственная практика требует сознательных инвестиций, а не является автоматическим побочным продуктом технологической модернизации.
Пересечение ИИ и ядерного оружия было определено как область с высокими последствиями, где меры по укреплению доверия и прозрачность рассматриваются как важные, но недостаточно развитые. Предложения были сосредоточены на практических, пропорциональных шагах по снижению ошибочного восприятия, не забывая при этом о деликатности. Некоторые предложения указали на потенциальные "красные линии" в отношении интеграции ИИ в процесс принятия решений в ядерной сфере.
Пути на уровне процесса
Несколько участников предположили, что предварительная работа по уточнению сферы применения и терминологии может привести к продуктивным дискуссиям по практической реализации принципов ответственного ИИ в военной области. Поскольку ИИ имеет двойное назначение, а риски зависят от контекста, было отмечено, что сфера применения должна определяться не только технологией или типом оператора, но и контекстом использования. В ходе дальнейшего обмена мнениями можно было бы изучить практические критерии определения сферы применения, чтобы обосновать дискуссии и помочь определить, где могут существовать пробелы в управлении.
Участники также отметили, что условия и форма проведения диалога определяют его результаты. Форматы с участием многих заинтересованных сторон могут способствовать прозрачности и доверию на различных уровнях, в то время как целенаправленные обсуждения, как правило, дают более выгодные с оперативной точки зрения результаты. Государствам было предложено рассмотреть возможность перехода от широких принципов к специальным рамочным программам - будь то ориентированные на применение, учитывающие риски или другие прагматические подходы - для изучения того, как специфические характеристики определенных технологий, используемых в конкретных операционных контекстах, взаимодействуют с существующими юридическими обязательствами и операционной практикой.
Наконец, поощряется координация с параллельными процессами, чтобы избежать дублирования или разработки несовпадающих норм, а также использовать синергетический эффект. Обмен опытом мог бы объединить работу над гражданским управлением ИИ и дискуссии о смертоносных автономных системах вооружений, выявив области, в которых совместимые подходы, практика и уроки могут быть переданы, а где требуется отдельный подход. Региональные или тематические последующие мероприятия также были предложены для консолидации обучения, отражения различных операционных контекстов и углубления сотрудничества между техническими, юридическими и политическими сообществами.
Заключение
Встречи подчеркнули как перспективы, так и риски применения ИИ в военной сфере. Возможности - в области обработки информации, безопасности и эффективности - реальны, но зависят от продуманных мер предосторожности. Риски - ошибки, эскалация, хрупкость и неправильное использование - управляемы только при постоянных инвестициях в гарантии, человеческие суждения и контроль, а также сотрудничество.
УНП ООН определило несколько будущих направлений работы в рамках Диалогов MAPS, включая углубленные обсуждения для достижения общего понимания возможностей и рисков, потенциальных "красных линий" (например, в отношении режимов разоружения, контроля над вооружениями и нераспространения), а также дипломатических инструментов для поддержки диалога между государствами. С этой целью УНП ООН в настоящее время ищет финансирование для проведения Диалога MAPS в 2026 году.
Для получения дополнительной информации о Диалогах MAPS, пожалуйста, свяжитесь с г-ном Улиссом Ричардом по адресу ulysse.richard1@un.org
