сотрудник
ВАК 12.00.10 Международное право; Европейское право
ВАК 12.00.12 Криминалистика; судебно-экспертная деятельность; оперативно-розыскная деятельность
ВАК 12.00.14 Административное право; административный процесс
УДК 34 Право. Юридические науки
ГРНТИ 10.07 Теория государства и права
ББК 60 Общественные науки в целом
ТБК 7341 Современное политическое положение зарубежных госудаств
В работе уделяется внимание ряду принципов международного гуманитарного права, которым должно соответствовать как оружие, так и способ его применения: проведение различия, военная необходимость и соразмерность, запрет на причинение излишних страданий и гуманность. В работе даются рекомендации и оценки по каждому из рассматриваемых принципов. Автор обосновывает необходимость не запрещать автономное оружие, а выработать правила его использования и участия человека в его функционировании. Существенным вызовом для разработки таких правил является непрозрачность автономных систем вооружения, если рассматривать их как сложную интеллектуальную компьютерную систему.
автономные системы вооружения¸ искусственный интеллект, международное гуманитарное право, прозрачность систем ИИ, автономные роботизированные системы
Исследование выполнено при финансовой поддержке РФФИ в рамках научного проекта № 18-29-16129.
Системы искусственного интеллекта уже используются практически во всех сферах нашей жизни. Как любая перспективная технология, искусственный интеллект не мог не попасть в сферу интересов вооруженных сил по всему миру. Интеллектуальные системы могут применяться вооруженными силами в разных сферах, от повышения эффективности обучения военнослужащих до анализа стратегических рисков, но наибольшее внимание мировой общественности привлекло использование искусственного интеллекта в качестве «цифрового мозга» автономного оружия [6]. В основном дискуссия сосредоточена на способности существующих автономных систем вооружения удовлетворять юридическим требованиям международного гуманитарного права (МГП) и на прогнозах о том, что будущие технологии смогут удовлетворять этим требованиям.
Автономное оружие принято на вооружение во многих странах мира, и его наличие определяет стратегический потенциал государства и его место на стратегической карте мира в будущем [19]. Преимущества автономного оружия очевидны, оно зачастую точнее, эффективней и не подвержено «человеческим слабостям». Такое оружие может быть дешевле в эксплуатации и легко усовершенствовано посредством обновления программного обеспечения. В то же время существуют опасения о несоответствии такого оружия международному праву.
Красный крест определяет автономную систему вооружений как «любую систему вооружения, которая автономна в реализации ее ключевых функций». Под такими функциями в тексте понимаются «выбор цели», «поражение цели» без вмешательства человека [4]. Такое оружие зачастую называют автономным оружием, смертельным (летальным) автономным оружием (от англ. lethal autonomous weapon (LAW)) или смертельными автономными вооруженными системами (от англ. lethal autonomous weapon system (LAWS)) [15].
Многие страны определяют смертельное автономное оружие по-своему. Например, Нидерланды определяют «смертельные автономные вооруженные системы» как «оружие, которое без вмешательства человека выбирает и поражает цели, удовлетворяющие некоторому предопределенному критерию, в соответствии с решением активировать оружие оператора, понимающего, что однажды запущенное оно не может быть остановлено в течение атаки» [40]. Франция дает следующее определение полностью автономной системы. Это система, которая подразумевает полное отсутствие вмешательства человека, что означает отсутствие связи с каким-либо военным подразделением. Также это означает, что она (система) сможет передвигаться, адаптируясь к среде (суша, вода, воздух) и целиться и поражать цели каким-либо образом (пули, бомбы, ракеты и т.д.) без какого-либо вмешательства или одобрения человеком [14]. Министерство обороны США определяет смертельные автономные системы как способные будучи однажды активированы, выбирать и поражать цели без дальнейшего вмешательства человека-оператора [34]. Подобные определения даются и некоторыми другими странами [36].
Исходя из приведенных определений ключевой характеристикой таких систем, является именно их автономность, т.е. возможность действовать независимо от действий человека. Автономность может быть полной, когда система с момента запуска самостоятельно принимает все решения, и частичной, когда человек принимает участие в принятии некоторых решений в той или иной форме. Но исходя из анализа дефиниций, проведенного выше, под такими системами подразумеваются именно полностью автономные системы.
Под принятием решений подразумевается выбор мишени и применение поражающей военной силы к этой мишени. То есть, прежде всего, это автоматизированный выбор цели, а не управление передвижением или другой деятельностью системы вооружения. Например, автономное транспортное средство, оборудованное пулеметом, который дистанционно наводится на цель оператором, не будет относиться к автономному вооружению.
Полная автономность — это свойство, характеризующееся самостоятельным функционированием и поведением. Несмотря на то, что такие системы разрабатываются человеком, предсказать, как поведет себя система в тот или иной момент, достаточно сложно. Более того, некоторые авторы высказывают мнение что автономное оружие гарантировано поведет себя непредсказуемо в сложных условиях реального боя [15]. Таким образом, автономность подразумевает возможность действия без участия человека и некоторую степень непредсказуемости.
Такие системы могут оперировать на земле [24], в воздухе [38] и на море [39], а также в условиях, которые непригодны для человека (зоны радиационного заражения, высокие температуры, сверхперегрузки). В настоящее время существует достаточно много примеров того, как использование автономных систем вооружения повышало эффективность решения боевых задач. Так, США и Израиль совместно разработали и ввели в эксплуатацию систему «Железный купол» (Iron Dome), которая защищает Израиль от оружия класса «земля — земля», такого как мины из минометов и ракеты. Железный купол состоит из двух подсистем: противоракетной, артиллерийско-минометной и ПВО близкого действия. Система перехватывает в автоматическом режиме до 90% всех ракет, запущенных с территорий, окружающих Израиль [21].
Несмотря на то, что автономные вооруженные системы демонстрируют высокую эффективность в рамках испытаний и реальной эксплуатации, высказываются опасения, что использование такого вооружения может нарушать нормы и принципы международного гуманитарного права [18]. Некоторые авторы утверждают, что использование автономных вооруженных систем в целом угрожает мировому порядку [31].
Нормы, относящиеся к легальности использования того или иного оружия, содержатся во многих международных соглашениях, но прежде всего они сформулированы в Женевских конвенциях 1949 г. [10; 11; 12; 13] и протоколах к ним [25; 26; 27]. Основой для оценки легитимности использования автономного оружия является ряд принципов, которым должно соответствовать как оружие, так и способ его применения. Среди этих принципов: проведение различия (от англ. distinction), военная необходимость (от англ. necessity), соразмерность (от англ. proportionality), запрет на причинение излишних страданий (от англ. prohibition on causing unnecessary suffering), гуманность (от англ. humanity) [17; 22]. Целью, объединяющей эти принципы, является минимизация жертв, страданий и материальных потерь среди гражданского населения. Идеальной войной с точки зрения международного гуманитарного права, которая, наверное, невозможна в действительности, является вооруженный конфликт, который не приносит никаких неудобств мирному населению.
Проведение различия (distinction). Согласно этому принципу воюющие стороны должны всегда проводить различие между гражданским населением и комбатантами и между гражданскими и военными объектами. Использование оружия, которое не позволяет отделить комбатантов от некомбатантов (например, оружия массового поражения), недопустимо. Участники вооруженного конфликта должны направлять свои действия только против военных объектов. Данный принцип не означает, что нарушением международного гуманитарного права является любая гибель гражданского населения или поражение гражданских объектов, но воюющие стороны обязаны свести к минимуму такие ситуации. Ст. 48 Дополнительного протокола I к Женевским конвенциям предусматривает, что стороны должны всегда иметь возможность проводить различие как между комбатантами и гражданскими лицами, так и между военными и гражданскими объектами и инфраструктурой. Таким образом, правомерность использования новых систем вооружения должна проверяться с точки зрения способности выбирать в качестве цели военный контингент и военные объекты.
Автономные системы вооружения могут успешно справляться с данной задачей, по мнению некоторых авторов [23]. В некоторых случаях развертывание дистанционно управляемого оружия или роботов может привести к меньшему числу случайных жертв среди гражданского населения и к меньшему ущербу для гражданского населения по сравнению с применением обычного оружия [23]. Исследования и практика показывают, что искусственный интеллект при распознавании образов превосходит человека как в скорости, так и в качестве [3]. Таким образом, автономные системы вооружения могут точнее отличить комбатанта от некомбатанта по визуальным признакам. Интеллектуальные системы уже умеют определять эмоции и враждебную настроенность по мимике [35] и различать людей даже с частично закрытым лицом [9]. Всё вышеперечисленное позволяет сторонникам использования автономных систем вооружения утверждать, что принцип проведения различия (distinction) будет реже нарушаться с распространением применения таких систем.
Несмотря на многообещающие результаты в развитии когнитивных способностей машин, существуют поводы для опасений. Во-первых, изменилась тактика ведения войн. Сейчас более распространены войны с участием повстанческих или террористических формирований. Такие подразделения зачастую смешиваются с мирным населением, не носят знаки отличия и образуют временные военные группы¸ которые собираются под конкретную задачу. Такие группы делают всё возможное, чтобы их не отличали от гражданского населения. Во-вторых, некоторые исследования показывают, что несмотря на лучшие результаты в распознавании образов, выявлении эмоций и т.д., автономные машины могут быть умышленно введены в заблуждение [29]. Такой вид умышленных атак называется adversarial example и, по сути, представляет из себя небольшое изменение входных данных, которое приводит непредсказуемому поведению интеллектуальных систем. Например, в известном эксперименте по распознаванию образов фотография с пандой была распознана интеллектуальным программным обеспечением корректно с уверенностью 57,7%. После того, как исследователи наложили некоторый невидимый глазу шум на исходную картинку (всего 0,04% от картинки), она была распознана глубокой нейронной сетью как гиббон с 99,3% уверенностью. Несмотря на то, что ученые приложили значительные усилия для решения этой проблемы [2], до окончательного ее преодоления еще далеко [28]. Таким образом, решение по каждой отдельно взятой системе вооружения должно приниматься индивидуально с учетом того, насколько такая система устойчива к провокациям и условиям гибридной войны.
Военная необходимость (necessity) и соразмерность (proportionality). Два данных принципа нераздельно связаны друг с другом. В рамках вооруженного конфликта военная необходимость может потребовать причинения ущерба гражданскому населению и гражданским объектам для достижения цели победы над противником [16]. В этом случае должен соблюдаться баланс между предполагаемой целью и попутным причиняемым ущербом. Таким образом, жертвы среди гражданского населения не должны быть «чрезмерными» по отношению к конкретному военному преимуществу, полученному в результате атаки. Данный принцип не поддается количественному исчислению, т.е. не существует какой-либо формулы или определенной пропорции, которая обосновывала достижение конкретного военного результата.
Многие авторы высказывают разумные сомнения в том, что автономные системы вооружения смогут действовать в соответствии с данным принципом [6; 20]. Для следования этому правилу интеллектуальной системе вооружения необходимо самостоятельно оценить соразмерность достигаемых результатов применения военной силы с потенциальными жертвами среди мирного населения. У автономной системы вооружения, чтобы следовать этой норме, должно быть четкое понимание того, когда ожидаемый ущерб гражданскому населению будет чрезмерным по отношению к полученному военному преимуществу. Это требует от интеллектуальной системы понимания военной стратегии, оперативных вопросов и тактики [15]. В настоящий момент интеллектуальные системы не могут самостоятельно понимать такую многоконтекстную среду с множеством связей и зависимостей, а следовательно, автономное оружие не сможет следовать этому принципу без помощи человека.
Несмотря на то, что автономная система не сможет самостоятельно понять соразмерность предполагаемого военного результата с потенциальными гражданскими жертвами, она это может сделать в рамках совместного с человеком принятия решений. В таком случае именно человек заранее будет определять границы применения автономного оружия, а оно самостоятельно будет действовать в условиях реального мира в рамках установленных границ. Таким образом, автономной системе не придется решать сложную для нее дилемму, и в то же время предварительное определение границ не снизит ее эффективность в рамках выполнения боевой задачи. Например, принимать решение об использовании автономного оружия в густонаселенном районе будет человек, оценивая потенциальные жертвы среди мирного населения в сравнении с предполагаемым достижением военной цели. В случае подобного использования в связке «человек — машина» автономные средства вполне могут соответствовать принципам военной необходимости (necessity) и соразмерности (proportionality).
Запрет на причинение излишних страданий (prohibition on causing unnecessary suffering), гуманность (humanity). Эти два принципа также лучше рассматривать вместе, так как они оба направлены на минимизацию страданий, причиняемых в ходе военных действий. Право на гуманное обращение является абсолютным и применяется не только к военнопленным и гражданскому населению оккупированных территорий, но к жителям территорий, находящихся под контролем противника. Запрет на излишние страдания, в свою очередь, подразумевает, что запрещены к использованию виды оружия и методы его использования, которые вызывают избыточное причинение вреда и излишние страдания [5].
Оба принципа подразумевают что будут учитываться как биологические и психофизические, так и моральные особенности человека. Например, расстрел под угрозой смерти своих односельчан не связан с физическим страданием или пытками, но негуманен, так как вызывает существенные моральные страдания. В этом смысле, чтобы следовать этому запрету, необходимо не только понимать сущность человека и аспекты причинения стараний, но и понимать суть гуманного поведения.
Многие авторы сходятся во мнении, что в настоящее время и в ближайшем будущем роботы не смогут понимать основы гуманного поведения, и использование автономного оружия приведет к дегуманизации вооруженных конфликтов [6; 31; 32]. Следует согласиться с авторами, ведь сложный контекст термина «гуманность» понятен только для еще не созданного сильного искусственного интеллекта (от англ. strong AI) широкого профиля[1] [33]. В настоящее время системам искусственного интеллекта доступны только узкие (от англ. narrow) специфичные задачи, а следовательно, ему сложно принимать выбор с учетом принципа гуманности.
Проблема с автономным оружием заключается и в том, что достаточно сложно оценить возможность соблюдения конкретной системой принципов и правил международного гуманитарного права в бою до того, как появится информация о первых нарушениях этих принципов. Несмотря на то, что отрасль разработки и эксплуатации вооружений жестко контролируется правительством, полностью отсутствует независимый общественный контроль. Таким образом, система, декларируемая как соответствующая принципам международного гуманитарного права, может на практике представлять угрозу для ведения войны в рамках правил.
Современным интеллектуальным системам, которые и являются ядром автономных систем вооружения, свойственна непрозрачность (от англ. opacity).
Непрозрачность условно можно разделить на три типа. Первый — это юридическая непрозрачность, когда алгоритм или автономная система защищены правом. В случае автономных систем доступ к их устройству ограничен не только правом интеллектуальной собственности (intellectual property law) и правом коммерческой тайны (trade secret law) [37], но и законами о защите военных и стратегических секретов. Доступ к устройству такой системы неуполномоченным лицом может быть рассмотрен как шпионаж, а корпорации, занимающиеся разработкой, даже имея такое намерение, не могут публиковать данные, представляющие военную тайну.
Другие два вида непрозрачности связаны с технической сложностью алгоритма или системы, принимающей решение. Во-первых, система может быть сложна для понимания без необходимых знаний в области математики и компьютерных наук [7]. Таким образом, даже если мы опубликуем материалы, которые объясняют принципы работы автономной системы вооружения, никто за пределом узкого круга специалистов ее не поймет. Во-вторых, система может быть настолько сложной, что ее понимание лежит за пределами человеческих возможностей [7]. Часто такую проблему обозначают как Black Box problem (проблема черного ящика), когда даже разработчик до конца не понимает, что происходит внутри системы. Более того, авторы сходятся во мнении, что «расшифровка черного ящика стала экспоненциально сложнее и более востребована. Технология (имеется ввиду ИИ) сама по себе стала более сложной и широко применимой» [8]. То есть проблема непрозрачности с каждым днем становится всё более острой.
Получается, что вопрос соответствия систем автономного вооружения международному гуманитарному праву может быть рассмотрен при накоплении достаточного опыта использования такого оружия в реальных условиях. Очевидно, что автономная система, предназначенная для функционирования в сложных полевых условиях, должна быть достаточно сложной с точки зрения устройства. Таким образом, даже в случае длительной проверки в условиях реального боя система не застрахована от непредсказуемого поведения в силу высокой сложности ее устройства.
Подводя итоги, отметим, что нельзя сказать о несоответствии автономных систем вооружения принципам гуманитарного права в общем. Некоторые принципы, например, гуманизма, по сути, не предназначены для выполнения современными машинами. В то же время принцип проведения различия (от англ. distinction) может исполняться автономным оружием даже лучше, чем оружием под контролем человека. По мнению автора, необходимо не запрещать автономное оружие, потому что оно не соответствует принципам международного гуманитарного права, а выработать правила его использования и участия человека в его функционировании. Существенным вызовом для разработки таких правил является непрозрачность автономных систем вооружения, если рассматривать их как сложную интеллектуальную компьютерную систему.
[1] Оценки, когда будет создан такой вид ИИ, разнятся. Например, Билл Гейтс считает, что это случится через несколько десятилетий.
1. Петрова Д.А., Гайворонская Я.В., Мамычев А.Ю. Смертоносные автономные системы: этические, юридические, политические проблемы и перспективы их решения // Территория новых возможностей. вестник Владивостокского государственного университета экономики и сервиса. — 2019. — № 11(4). — С. 33–43.
2. Adversarial image detection in deep neural networks. F. Carrara, F. Falchi, R. Caldelli et al. Multimedia Tools and Applications. 2018, pp. 1–21. URL: https://link.springer.com/article/10.1007%2Fs11042-018-5853-4.
3. Are Computers Already Smarter Than Humans? Time. URL: https://time.com/4960778/computers-smarter-than-humans/.
4. Article 1. Views of the International Committee of the Red Cross (ICRC) on autonomous weapon system Convention on Certain Conventional Weapons (CCW). Meeting of Experts on Lethal Autonomous Weapons Systems 11–15 April 2016. URL: https://www.icrc.org/en/download/file/21606/ccw-autonomous-weapons-icrc-april-2016.pdf.
5. Article 35, Protocol I. Additional to the Geneva Conventions of 12 August 1949, and Relating to the Protection of Victims of International Armed Conflicts of 8 June 1977.
6. Asaro P. On banning autonomous weapon systems: Human rights, automation, and the dehumanization of lethal decision-making. International Review of the Red Cross. 2013, no. 94(886), pp. 687–709.
7. Burrell J. How the machine “thinks”: Understanding. Big Data & Society. 2016, no. 3(1), pp. 1–12. DOI: 10.1177/2053951715622512.
8. Castelvecchi D. Can we open the black box of AI? Nature. 2016. URL: http://www.nature.com/nature/index.html. DOI: 10.1038/538020a.
9. China’s facial-recognition giant says it can crack masked faces during the coronavirus. URL: https://qz.com/1803737/chinas-facial-recognition-tech-can-crack-masked-faces-amid-coronavirus/.
10. Convention (I) for the Amelioration of the Condition of the Wounded and Sick in Armed Forces in the Field. Geneva, 12 August 1949. URL: https://ihl-databases.icrc.org/applic/ihl/ihl.nsf/xsp/.ibmmodres/domino/OpenAttachment/applic/ihl/ihl.nsf/4825657B0C7E6BF0C12563CD002D6B0B/FULLTEXT/GC-I-EN.pdf.
11. Convention (II) for the Amelioration of the Condition of Wounded, Sick and Shipwrecked Members of Armed Forces at Sea. Geneva, 12 August 1949. URL: https://ihl-databases.icrc.org/applic/ihl/ihl.nsf/xsp/.ibmmodres/domino/OpenAttachment/applic/ihl/ihl.nsf/2F5AA9B07AB61934C12563CD002D6B25/FULLTEXT/GC-II-EN.pdf.
12. Convention (III) relative to the Treatment of Prisoners of War. Geneva, 12 August 1949. URL: https://ihl-databases.icrc.org/applic/ihl/ihl.nsf/xsp/.ibmmodres/domino/OpenAttachment/applic/ihl/ihl.nsf/77CB9983BE01D004C12563CD002D6B3E/FULLTEXT/GC-III-EN.002.pdf.
13. Convention (IV) relative to the Protection of Civilian Persons in Time of War. Geneva, 12 August 1949. URL: https://ihl-databases.icrc.org/applic/ihl/ihl.nsf/xsp/.ibmmodres/domino/OpenAttachment/applic/ihl/ihl.nsf/AE2D398352C5B028C12563CD002D6B5C/FULLTEXT/ATTXSYRB.pdf.
14. Convention on Certain Conventional Weapons (CCW). Meeting of experts on Lethal Autonomous Weapons Systems (LAWS). Geneva, 11–15 April 2016. France opinion. URL: https://www.unog.ch/80256EDD006B8954/httpAssets/5FD844883B46FEACC1257F8F00401FF6/$file/2016_LAWSMX_CountryPaper_France+CharacterizationofaLAWS.pdf.
15. Egeland K. Lethal Autonomous Weapon Systems under International Humanitarian Law. Nordic Journal of International Law. 2016, no. 85(2), pp. 89–118.
16. Françoise Hampson Military necessity in “Crimes of War” webpage, 2011. URL: http://www.crimesofwar.org/a-z-guide/military-necessity/.
17. Fundamentals of IHL. URL: https://casebook.icrc.org/law/fundamentals-ihl#d_iii.
18. Garcia D. Lethal artificial intelligence and change: The future of international peace and security. International Studies Review. No. 20(2), pp. 334–341.
19. Gill S. Artificial Intelligence and International Security: The Long View. Ethics & International Affairs. 2019, no. 33(2), pp. 169–179.
20. Grimal F., Sundaram J. Combat drones: Hives, swarms, and autonomous action? Journal of Conflict and Security Law. 2018, no. 23(1), pp. 105–135.
21. Grudo G. Iron dome. Air Force Magazine. 2016, no. 99(4), pp. 48–51.
22. IHL: general information. URL: https://www.redcross.ru/sites/default/files/books/mezhdunarodnoe_gumanitarnoe_pravo_obshchiy_kurs.pdf.
23. Kellenberger J. Keynote Address. International Humanitarian Law and New Weapon Technologies, 34th Round Table on Current Issues of International Humanitarian Law. San Remo. 8–10 September 2011. P. 5–6. URL: http://www.iihl.org/iihl/Documents/JKBSan%20Remo%20Speech.pdf.
24. Nguyen H.G., Laird R., Kogut G. Land, sea, and air unmanned systems research and development at SPAWAR systems center pacific. Proceedings of SPIE — The International Society for Optical Engineering. No. 7332. 2009.
25. Protocol Additional to the Geneva Conventions of 12 August 1949, and relating to the Protection of Victims of International Armed Conflicts (Protocol I), 8 June 1977. URL: https://ihl-databases.icrc.org/applic/ihl/ihl.nsf/xsp/.ibmmodres/domino/OpenAttachment/applic/ihl/ihl.nsf/D9E6B6264D7723C3C12563CD002D6CE4/FULLTEXT/AP-I-EN.pdf.
26. Protocol Additional to the Geneva Conventions of 12 August 1949, and relating to the Protection of Victims of Non-International Armed Conflicts (Protocol II), 8 June 1977. URL: https://ihl-databases.icrc.org/applic/ihl/ihl.nsf/xsp/.ibmmodres/domino/OpenAttachment/applic/ihl/ihl.nsf/AA0C5BCBAB5C4A85C12563CD002D6D09/FULLTEXT/AP-II-EN.pdf.
27. Protocol Additional to the Geneva Conventions of 12 August 1949, and relating to the Adoption of an Additional Distinctive Emblem (Protocol III), 8 December 2005. URL: https://ihl-databases.icrc.org/applic/ihl/ihl.nsf/xsp/.ibmmodres/domino/OpenAttachment/applic/ihl/ihl.nsf/8BC1504B556D2F80C125710F002F4B28/FULLTEXT/AP-III-EN.pdf.
28. Papernot N., McDaniel P., Goodfellow I. Practical black-box attacks against machine learning. ASIA CCS 2017 — Proceedings of the 2017 ACM Asia Conference on Computer and Communications Security. 2017, pp. 506–519.
29. Robust Physical-World Attacks on Deep Learning Visual Classification. K. Eykholt et al. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, 2018, pp. 1625–1634. DOI: 10.1109/CVPR.2018.00175.
30. Rosert E., Sauer F. Prohibiting Autonomous Weapons: Put Human Dignity First. Global Policy. 2019, no. 10(3), pp. 370–375.
31. Sharkey N. Saying “no!” to lethal autonomous targeting. Journal of Military Ethics. 2010, no. 9(4), pp. 369–383.
32. Szpak A. Legality of Use and Challenges of New Technologies in Warfare — The Use of Autonomous Weapons in Contemporary or Future Wars. European Review. 2020, no. 28(1), pp. 118–131.
33. URL: https://www.theguardian.com/technology/2015/jan/29/artificial-intelligence-strong-concern-bill-gates.
34. US Department of Defense, Autonomy in Weapons Systems, Directive 3000.09. 21 November 2012.
35. Wang X., Chen X., Cao C. Human emotion recognition by optimally fusing facial expression and speech feature. Signal Processing: Image Communication. 2020, no. 84. 115831.
36. Weapons that would search for, identify and attack targets, including human beings, using lethal force without any human operator intervening (Norway). CCW Group of Governmental Experts on Lethal Autonomous Weapons Systems (LAWS). 13–17 November 2017. General statement by Norway. URL: https://www.unog.ch/80256EDD006B8954/(httpAssets)/DF861D82B90F3BF4C125823B00413F73/$file/2017_GGE+LAWS_Statement_Norway.pdf.
37. Wexler R. Life, Liberty, and Trade Secrets: Intellectual Property in the Criminal Justice System. Standford Law Review. 2017, no. 1343. URL: https://papers.ssrn.com/sol3/papers.cfm?abstract_id=2920883.
38. Wingo H. Beyond the loop: Can cyber-secure, autonomous Micro-UAVs stop active shooters? Proceedings of the 13th International Conference on Cyber Warfare and Security. ICCWS 2018, pp. 497–502.
39. Wirtz J.J. Innovation for seapower: U.S. Navy strategy in an age of acceleration. Defense and Security Analysis. 2020, no. 36(1), pp. 88–100.
40. Yearbook of international humanitarian law. 2016, vol. 19. Correspondents’ reports. URL: https://asser.nl/media/3717/netherlands-yihl-19-2016.pdf.
