Искусственный интеллект и авиация: новые возможности или новые риски?

Введение

Тема искусственного интеллекта (ИИ) ныне занимает в СМИ не меньше места, чем сообщения о неопознанных летающих объектах (НЛО), или, согласно новой терминологии, «неопознанных аномальных явлениях». Эти фокусы общественного внимания «конкурируют» и на сайте МКАА «Безопасность полетов»: в период с 2018 года по январь 2024 года на нем было размещено семь статей по НЛО (https://aviasafety.ru/19435, https://aviasafety.ru/40967, https://aviasafety.ru/43202, https://aviasafety.ru/43547, https://aviasafety.ru/44762, https://aviasafety.ru/45358, https://aviasafety.ru/45469) и десять отдельных публикаций по ИИ (https://aviasafety.ru/19983, https://aviasafety.ru/20027, https://aviasafety.ru/40194, https://aviasafety.ru/44597, https://aviasafety.ru/45638, https://aviasafety.ru/45670, https://aviasafety.ru/45688, https://aviasafety.ru/45771, https://aviasafety.ru/45916, https://aviasafety.ru/46077).

Несмотря на иллюзорность ИИ как реально существующего феномена, он оказывает влияние на нашу жизнь. И, по-видимому, большее, чем влияние НЛО, поскольку с проявлениями того, что называют «искусственный интеллект», люди сталкиваются чаще, чем с «летающими тарелками». Становится все более очевидным, что с развитием ИИ, в которое ныне вкладываются огромные финансовые и интеллектуальные ресурсы, не только открываются новые возможности, но и возникают новые опасности.

Эта проблема рассматривается ниже с точки зрения инженера, участника аэрокосмических и ядерных проектов. В них элементы ИИ играли значительную роль, хотя сам такой термин не использовался.

Что такое «искусственный интеллект»?

Понятие «искусственный интеллект» как будто подразумевает наличие у машин разума. Идея разумных машин появилась давно. Современные исследователи находят ее в мифах Древней Греции (Darbinyan 2021), в появившейся в начале XVIII века книге Джонатана Свифта «A Tale of a Tube», в пьесе Карела Чапека «R.U.R. (Rossum’s Universal Robots)», написанной в 1920 году (Schagaev 2023). Авторство термина «искусственный интеллект» принадлежит Джону Маккарти, американскому специалисту в области программирования компьютеров, который предложил его в 1956 году. С тех пор ИИ связывают с компьютерными системами.

Этим термином обозначают:

• свойство компьютерных систем выполнять функции, присущие человеческому интеллекту;
• область науки и техники, связанную с созданием таких систем.

Постановка вопроса, способны ли компьютерные системы на мыслительную деятельность, принадлежит Алану Тьюрингу, английскому математику, одному из создателей вычислительной техники. Однако и сегодня, спустя 74 года после его основополагающей статьи (Turing 1950), нет точного критерия, удовлетворение которому свидетельствовало бы о наличии у машины интеллекта. Главным препятствием для выработки подобного критерия является отсутствие понимания природы интеллекта, равным образом, как разума, мышления и сознания. Таким образом, термин «искусственный интеллект», в котором обоснованно только первое слово (прилагательное), а за вторым (существительным) скрывается нечто неопределенное, способен вводить в заблуждение.

К области ИИ относят экспертные системы, базы знаний и системы логического вывода, системы распознавания образов, большие языковые модели, машинное обучение, нейронные сети (перечень неисчерпывающий). Признаками «интеллектуальности» соответствующих компьютерных программ по сравнению с «обычными» программными средствами (например, реализующими вычислительные методы) считают возможности:

• нахождения в данных, содержащих значительную долю неопределенности, устойчивых паттернов и статистически значимых взаимосвязей;
• использования нечеткой логики;
• самообучения за счет изменения заложенных в программы моделей обработки (алгоритмов) в соответствии с обрабатываемыми данными (или их частью, играющей роль обучающего набора).

Но, поскольку всё перечисленное сводится (по крайней мере, пока) к выполнению арифметических и логических действий электронными схемами, все существующие проявления ИИ входят, наряду с другими программными средствами, в область информационных технологий, составляя ее «особенный», быстро развивающийся сегмент. Современные авиационные, аэрокосмические и космические системы в значительной мере опираются на информационную (компьютерную) поддержку функционирования. Целью внедрения ИИ является придание этой поддержке нового качества: пластичности, свойственной человеческому интеллекту.

Всякая технология дает превосходство над обычными человеческими способностями. «Старые», давно освоенные технологии демонстрируют превосходство машин в энергии, скорости перемещения, действии на расстоянии. С помощью информационных технологий обеспечивается превосходство в обработке информации. Всякая мощь, превосходящая человеческие возможности, вызывает опасения, поскольку при выходе из-под контроля угрожает непредсказуемыми последствиями. Существует вполне понятные опасения и перед трудно прогнозируемой мощью ИИ. С точки зрения инженера опасность ИИ заключается не в нем самом, а в возможных ошибках взаимодействия человека с ним – на всех этапах жизненного цикла машины, снабженной «интеллектуальными» функциями.

Открывающиеся возможности

Информационные технологии (охватывающие все нынешние проявления ИИ) повышают производительность обработки информации за счет выполнения операций электронными схемами вместо человеческого мозга, функционирующего на биологических принципах. При этом также оказывается возможным:

• исключить ошибки, возникающие при обработке информации «вручную» вследствие недостаточной квалификации, недобросовестности, невнимательности, забывчивости или усталости человека;
• сохранять данные на электронных носителях и передавать их через электронные коммуникации;
• защищать данные от несанкционированного доступа, в том числе со стороны злоумышленников.

В итоге обеспечивается более высокое качество выходной информации, необходимой для обоснования каких-либо решений. Благодаря повышению производительности и качества становится возможной обработка больших объемов данных с быстрым получением ранее не достижимых результатов.

Применение информационных технологий при проектировании воздушных судов, космических аппаратов, энергетических установок и прочих сложных систем позволяет анализировать множество вариантов их исполнения и проводить оптимизацию по нескольким критериям. Посредством электронных коммуникаций может быть обеспечена «бесшовная» передача проектных данных участникам постпроектных этапов жизненного цикла системы: изготовителям ее элементов, сборочным предприятиям, монтажным, строительным, испытательным, эксплуатирующим и ремонтным организациям. Согласно некоторым оценкам, затраты на создание технической системы в полностью интегрированной информационной среде снижаются почти в полтора раза по сравнению с традиционной кооперацией, в которой используются бумажные документы, часть данных остается недоступной для конечных пользователей, другая просто теряется, а любые изменения требуют долгих и непростых согласований. Автор вместе с коллегами занимался концептуальной разработкой такой среды для многоразовой транспортной системы, которая должна была прийти на смену ракете-носителю «Энергия» и космическому кораблю «Буран» (Спирочкин и др. 1992), а затем участвовал в подобных работах по информационной поддержке проектирования ядерных установок (Спирочкин и Европин 2008), (Спирочкин и Атрошенков 2009). Можно добавить, что в проекте «Энергия-Буран» предусматривалась предстартовая проверка с использованием экспертной системы (одно из направлений ИИ). Концепция интегрированной информационной среды для ядерных установок включала возможность использования нейронных сетей как альтернативы традиционным инженерным расчетам по обоснованию прочности.

Не менее чем при создании системы, «интеллектуальные» информационные средства востребованы на этапе ее эксплуатации. Главными направлениями их применения в авиации автору представляются:

• контроль состояния воздушного судна и окружающей среды в реальном времени для предупреждения критических ситуаций (вызываемых техническими неисправностями, погодными условиями, человеческим фактором и пр.);
• управление в критических ситуациях с целью предотвратить их перерастание в аварии;
• обеспечение выживания людей на борту воздушного судна, если предотвратить аварию не удалось.

Ключевыми могут оказаться при этом преимущества автоматического управления на основе информационных технологий: высокая производительность и качество обработки больших объемов данных. Предпочтительность «интеллектуальных» средств управления обусловливается их родовыми отличительными особенностями (см. выше): возможностями находить в потоке данных признаки неблагоприятного развития событий, обрабатывать плохо определенную и нечеткую информацию, самообучаться.

В критической ситуации требуется ее быстрое распознавание, определение алгоритма действий по компенсации отклонений или минимизации угрозы и реализация этого алгоритма. Перерастание критической полетной ситуации в аварию может занимать весьма малое время, сравнимое с задержкой человеческой реакции. В таких случаях управление, направленное на возвращение в нормальный режим полета или спасение людей в условиях начавшейся аварии, осуществимо лишь с помощью автоматических средств, реакция которых превосходит человеческие возможности. Очевидно, что сложность задачи распознавания критических ситуаций в реальном времени и соответствующего управления обусловливает необходимость использования элементов ИИ.

Автоматическое «интеллектуальное» управление не имеет альтернативы, когда критическая ситуация создается злоумышленными действиями оператора технической системы, например, пилота самолета или террориста, захватившего его место. Такие ситуации имели место в действительности – см., например, перечень авиационных катастроф, сознательно устроенных пилотами с целью самоубийства (https://aviation-safety.net/database/event/SES/list) – и их нельзя исключать в будущем. Распознавание злоумышленных действий оператора, их блокирование и реализация удовлетворительного исхода должны проводиться исключительно автоматическими средствами, содержащими элементы ИИ и работающими со скоростью, опережающей реакцию человека.

Выше представлены лишь некоторые перспективы применения ИИ в авиационных системах – те, что обещают повышение безопасности полетов. Более подробную информацию по соответствующим вопросам можно найти в книге автора (Spirochkin 2023).

Возникающие риски

Российский национальный стандарт ГОСТ Р 51897, идентичный международному документу «Руководство ИСО 73:2009», трактует риск как «следствие влияния неопределенности на достижение поставленных целей» и содержит примечание, что «риск часто представляют в виде последствий возможного события … и соответствующей вероятности» (ГОСТ Р 51897-2011). Таким образом, риск какого-либо неблагоприятного события выражается через два показателя: неопределенность или вероятность причинения этим событием вреда (жизни или здоровью людей, имуществу и окружающей среде) и характеристику тяжести вреда. В подобном виде понятие риска фигурирует в Руководстве по управлению безопасностью полетов Doc 9859 (ИКАО 2018).

Согласно научным представлениям начала XX века (Willett 1901), (Knight 1921), разделяемым некоторыми исследователями и в наше время (Stirling 2007), (Aven and Steen 2010), понятие риска охватывает не все проявления неопределенности, а лишь те, для которых можно оценить количественную вероятность, т.е. оно применимо к алеаторной, или стохастической неопределенности. Если оценка вероятности невозможна, в частности, из-за отсутствия статистических данных, то использование термина «риск» некорректно. В этом случае мы находимся в условиях эпистемической неопределенности, или отсутствия знаний. Именно такая неопределенность характеризует ситуацию с развитием ИИ, в том числе последствия его внедрения в авиацию: мы не знаем, что ожидает нас в будущем. Из-за этого приложение термина «риск» к перспективам ИИ не совсем корректно. Тем не менее, оно полезно для анализа перспектив, если в качестве риска рассматривать лишь один его компонент – характеристику тяжести вреда.

Обобщая существующие мнения, можно утверждать, что потенциальный вред от перекладывания на «интеллектуальные» компьютерные системы функций, ранее присущих человеку, складывается из трех составляющих:

• потери людьми работы;
• деградации их мыслительных способностей;
• непрозрачности (затрудненности контроля) обеспечения безопасности с помощью ИИ.

История развития любых технологий, в том числе информационных, показывает, что, несмотря на сокращение занятости при замене людей машинами, катастрофического обвала рынка труда не происходит, а наоборот открываются новые возможности трудоустройства. Приход в нашу жизнь компьютеров инициировал расширение добычи и переработки редкоземельных элементов, появление таких отраслей, как производство электронных чипов, процессоров и других компонентов, программирование, защита данных, электронные коммуникации и т.д. Поэтому первая составляющая потенциального вреда может иметь лишь локальный и временный характер. В развитых социально-экономических системах она устранима.

С деградацией мыслительных способностей людей дела обстоят хуже. Специалисты в области нейрофизиологии и психологии замечают, что, возлагая на «электронные мозги» задачи, которые раньше решал человеческий мозг, люди глупеют. Согласно ряду источников, наивысший уровень интеллектуального развития человечества пришелся на период с конца XIX века по 60-е годы XX века. Начиная с 1970-х годов, каждые 10 лет среднее значение IQ у людей снижается на 1 – 1,5 единицы. Ныне, когда любую информацию можно добыть через Гугл, почти ничего не надо запоминать, находить опытным путем и анализировать самостоятельно, большинство предпочитает готовые ответы. Опасения вызывает автоматизация наиболее тонкой, творческой мыслительной деятельности, которая является прерогативой ученых: добывание новых знаний. Здесь все большее применение находят нейронные сети, и непонятно, где проходит граница, которую не следует переходить.

Главные направления применения ИИ в авиации, описанные в предыдущем разделе, способны привести к повышению безопасности полетов благодаря преимуществам автоматического «интеллектуального» управления. Но при использовании в контурах управления нейронных сетей алгоритмы обеспечения безопасности становятся менее «прозрачными» для человека. Изменяемость нейронной сети в процессе обучения затрудняет понимание того, как будут приниматься решения в конкретной ситуации и какими могут быть последствия. Поэтому на нынешнем этапе использование ИИ для управления в критических ситуациях с возможным катастрофическим исходом вызывает обоснованные сомнения.

Таким образом, элементы ИИ, призванные решать задачи, в которых их способности превосходят человеческие, создают дополнительную неопределенность. Она возрастает при недостаточно продуманном взаимодействии человека с машиной, снабженной средствами «интеллектуального» управления, когда оператор плохо представляет себе, как работают эти средства, или вообще не имеет представления о них. Об опасности подобных ситуаций свидетельствуют две катастрофы самолетов Boeing-737-8 (MAX): в районе Джакарты (рейс JT-610, 2018 год) и под Аддис-Абебой (рейс ET302, 2019 год). Их причинами были установка новой системы MCAS (Maneuvering Characteristics Augmentation System – системы улучшения характеристик управления самолетом), в которой были функциональные недостатки, и отсутствие информации об этой системе в руководствах для пилотов (KNKT 2019).

Риски, связанные с внедрением в авиацию новых технологий, в том числе ИИ, рассмотрены в статье Saraçyakupoğlu (2020). Возникает вопрос, как можно уменьшить эти риски?

Конструктивный подход к проблеме

Возможности снижения рисков (тяжести вреда) при внедрении ИИ в авиацию укладываются в общую схему управления рисками в инновационной деятельности (Cocron and Aronhime 2022). Соотношения между неопределенностью результата инновации и показателем потенциального вреда (материального или денежного ущерба для производителя, неблагоприятных последствий для социума) представимы в рамках нечеткой логики как четыре области их общего пространства (см. рисунок 1), отвечающие интуитивно понимаемым характеристикам:

• малая неопределенность – низкий показатель вреда;
• большая неопределенность – низкий показатель вреда;
• малая неопределенность – высокий показатель вреда и
• большая неопределенность – высокий показатель вреда.

Рисунок 1 – Графическое представление неопределенности и риска (показателя вреда) при инновациях

В рассматриваемой нами проблеме неопределенность результата инновации «задана»: она большая, однако изготовители элементов ИИ и производители воздушного судна или авиационной системы в целом свободны в выборе показателя вреда: его можно снизить за счет ограничения объема внедрения «интеллектуальных» элементов или реализации «интеллектуальных» функций в отдельных средствах управления. В таких условиях предпочтительной областью инновационной деятельности становится та, что характеризуется большой неопределенностью и низким показателем вреда. При этом обеспечивается возможность исследования составляющих риска в процессе эксплуатации созданной системы и, если потребуется, корректировка объекта инновации.

Разновидностью описанного подхода является поэтапное внедрение ИИ, в том числе с проверкой первоначального применения в отраслях, отличных от авиации по уровням рисков, например, в автомобилестроении или бытовой технике (Saraçyakupoğlu 2020).

Но возможности даже такой осторожной технической политики ограничены, ибо согласно «закону Амары» люди «склонны переоценивать влияние технологий в краткосрочной перспективе и недооценивать его в долгосрочной» (SecurityLab 2024).

Заключение

Подведем итог нашему рассмотрению следующим образом:

1. При внедрении ИИ в авиацию открываются новые возможности, обещающие повышение безопасности полетов – прежде всего, с учетом критических ситуаций, в которых автоматическое «интеллектуальное» управление оказывается решающим для защиты и спасения людей на борту воздушного судна.
2. Одновременно возникают и новые риски. Применение в контурах управления авиационными системами элементов ИИ, особенно на основе нейронных сетей, делает алгоритмы обеспечения безопасности менее прозрачными для человека и трудно контролируемыми. В связи с этим использование ИИ в критических ситуациях с возможностью катастрофического исхода вызывает пока обоснованные сомнения.
3. Конструктивным подходом к проблеме двойственного влияния ИИ на безопасность полетов представляется постепенное и поэтапное внедрение «интеллектуальных» средств управления в авиационные системы, благодаря чему потенциал неопределенных опасностей может быть снижен. Такое внедрение должно сопровождаться исследованиями составляющих риска в процессе эксплуатации.
4. Поскольку неопределенность, связанная с применением «интеллектуальных» средств управления в авиации, не устранима полностью, возрастает роль регулирующих органов, способных направлять устремления бизнеса в наиболее безопасное русло.
5. Непредсказуемость развития ИИ и возможность его негативного влияния на общество обусловливают необходимость мониторинга процессов разработки, внедрения и использования «интеллектуальных» устройств, разумного ограничения (как на национальном, так и на глобальном уровне) по принципу предосторожности и готовности реагировать на возникающие угрозы – подобно мерам противоэпидемической защиты.

Библиография

ГОСТ Р 51897-2011/Руководство ИСО 73:2009. Менеджмент риска. Термины и определения. Национальный стандарт Российской Федерации. Стандартинформ, Москва, 2012

ИКАО (2018) Doc 9859. Руководство по управлению безопасностью полетов. Издание четвертое. Международная организация гражданской авиации (ИКАО), Монреаль (Канада)

Спирочкин ЮК, Крылов АН, Улыбышев ЮП, Чернягин АГ, Горбунов ВА (1992) Коммерческая многоразовая транспортная космическая система. Техническое предложение. Пояснительная записка, часть 32. Вычислительный комплекс КМТКС. 100В.0000-0 ПЗ 31. Научно-производственное и коммерческое акционерное общество «Восток», г. Калининград (ныне Королев) Московской обл.

Спирочкин ЮК, Европин СВ (2008) Подходы к информационному сопровождению прочности ЯУ в течение жизненного цикла. Годовой отчет ФГУП НИКИЭТ – 2008: Сб. статей под ред. Е.О. Адамова, с. 120-121. НИКИЭТ, Москва

Спирочкин ЮК, Атрошенков РС (2009) Применение ИПИ (CALS-технологий) в современной ядерной энергетике. Компьютерные технологии анализа инженерных задач механики: Лекции I Международной научной школы для молодежи, ИМАШ РАН, 9-13 ноября 2009. Сборник лекций, с. 36-42. Институт машиноведения РАН, Москва

Aven T and Steen R (2010) The concept of ignorance in a risk assessment and risk management context. Reliability Engineering & System Safety, 95(11):1117-1122

Cocron A and Aronhime L (2022) Risk, uncertainty and innovation. NATO Review. Opinion, analysis and debate on security issues, 14 April 2022. https://www.nato.int/docu/review/articles/2022/04/14/risk-uncertainty-and-innovation/index.html. Доступ: 2023-02-06

Darbinyan R (2021) The reality behind the AI illusion. Forbes, Jun 16, 2021. https://www.forbes.com/sites/forbestechcouncil/2021/06/16/the-reality-behind-the-ai-illusion/?sh=2e6129793dac. Доступ: 2024-01-24

Knight FH (1921) Risk, uncertainty and profit. Houghton Mifflin Company, The Riverside Press Cambridge; Boston and New York

KNKT (2019) Komite Nasional Keselamatan Transportasi. Final KNKT.18.10.35.04. Aircraft accident investigation report. PT. Lion Mentari Airlines. Boeing 737-8 (MAX); PK-LQP. Tanjung Karawang, West Java. Republic of Indonesia. 29 October 2018. KNKT, Jakarta

Saraçyakupoğlu T (2020) The adverse effects of implementation of the novel systems in the aviation industry in pursuit of Maneuvering Characteristics Augmentation System (MCAS). Journal of Critical Reviews, 7(11):2530-2538

Schagaev I (2023) Illusions of Artificial Intelligence. Extended and translated version of the talk at the meeting of Eclectic Club, venue — Caledonian Club — 20th September 2023, London. https://www.academia.edu/108538240/Illusions_of_Artificial_Intelligence. Доступ: 06.12.2023

SecurityLab (2024) Давос-2024: ИИ на грани доверия и конфликта. SecurityLab.ru, 21 января 2024. https://www.securitylab.ru/news/545380.php. Доступ: 2024-01-22

Spirochkin Y (2023) Human factors and design. Springer, Singapore

Stirling A (2007) Risk, precaution and science: towards a more constructive policy debate. Talking point on the precautionary principle. EMBO Reports, 8(4):309–315

Turing AM (1950) Computing machinery and intelligence. Mind, 49(236):433–460

Willett AH (1901) The economic theory of risk and insurance. The Columbia University Press (Reprint for the S.S. Huebner Foundation for Insurance Education, University of Pennsylvania, by Richard D. Irwin, Inc., Homewood, Illinois, 1951)

МКАА «Безопасность полетов» не несет ответственности за содержание этого материала. Содержимое сообщения не обязательно является мнением или взглядом учредителей МКАА «Безопасность полетов». Материал публикуется с целью ознакомления авиационного сообщества с различными мнениями специалистов.

Содержание материалов представлено в том виде, в котором их подготовили авторы – без какой-либо редакторской правки.