Как гарантировать безопасность беспилотных транспортных средств | Журнал Кванта

Беспилотные автомобили и самолеты больше не являются делом будущего. Только в городе Сан-Франциско две компании такси в общей сложности проехали 8 миллионов миль автономного вождения к августу 2023 года. А в Соединенных Штатах зарегистрировано более 850,000 XNUMX автономных летательных аппаратов или дронов, не считая тех, которые принадлежат военным.

Но есть обоснованные опасения по поводу безопасности. Например, за 10-месячный период, закончившийся в мае 2022 года, Национальная администрация безопасности дорожного движения переправу около 400 аварий с участием автомобилей, использующих ту или иную форму автономного управления. В результате этих происшествий погибли шесть человек, пятеро получили серьезные ранения.

Обычный способ решения этой проблемы — иногда называемый «тестированием методом исчерпывания» — предполагает тестирование этих систем до тех пор, пока вы не убедитесь, что они безопасны. Но никогда нельзя быть уверенным, что этот процесс выявит все потенциальные недостатки. «Люди проводят тесты до тех пор, пока не исчерпают свои ресурсы и терпение», — сказал он. Саян Митра, ученый-компьютерщик из Университета Иллинойса, Урбана-Шампейн. Однако само по себе тестирование не может дать гарантий.

Митра и его коллеги могут. Его команде удалось доказывать домен безопасность возможностей отслеживания полосы движения для автомобилей и системы посадки для автономных летательных аппаратов. Их стратегия сейчас используется для посадки дронов на авианосцы, и в этом году компания Boeing планирует протестировать ее на экспериментальном самолете. «Их метод обеспечения сквозных гарантий безопасности очень важен», — сказал Корина Пасареану, научный сотрудник Университета Карнеги-Меллон и Исследовательского центра Эймса НАСА.

Их работа предполагает гарантию результатов алгоритмов машинного обучения, которые используются для информирования беспилотных транспортных средств. На высоком уровне многие автономные транспортные средства состоят из двух компонентов: системы восприятия и системы управления. Система восприятия сообщает вам, например, как далеко ваша машина находится от центра полосы движения или в каком направлении движется самолет и каков его угол по отношению к горизонту. Система работает, передавая необработанные данные с камер и других сенсорных инструментов в алгоритмы машинного обучения на основе нейронных сетей, которые воссоздают среду снаружи автомобиля.

Эти оценки затем отправляются в отдельную систему — модуль управления, который решает, что делать. Например, если приближается препятствие, он решает, задействовать ли тормоза или объехать его. В соответствии с Лука Карлоне, доцент Массачусетского технологического института, хотя модуль управления опирается на хорошо зарекомендовавшую себя технологию, «он принимает решения на основе результатов восприятия, и нет никакой гарантии, что эти результаты верны».

Чтобы обеспечить гарантию безопасности, команда Митры работала над обеспечением надежности системы восприятия автомобиля. Сначала они предположили, что можно гарантировать безопасность, когда доступна идеальная визуализация внешнего мира. Затем они определили, сколько ошибок система восприятия вносит в воссоздание окружения автомобиля.

Ключом к этой стратегии является количественная оценка возникающих неопределенностей, известная как диапазон ошибок или «известные неизвестные», как выразился Митра. Этот расчет основан на том, что он и его команда называют контрактом восприятия. В разработке программного обеспечения контракт — это обязательство, согласно которому для данного входного сигнала компьютерной программы выходные данные будут находиться в пределах заданного диапазона. Определить этот диапазон непросто. Насколько точны датчики автомобиля? Сколько тумана, дождя или солнечного света может выдержать дрон? Но если вы можете удерживать транспортное средство в заданном диапазоне неопределенности и если определение этого диапазона достаточно точно, команда Митры доказала, что вы можете обеспечить его безопасность.

Это знакомая ситуация для любого, у кого неточный спидометр. Если вы знаете, что устройство никогда не отключается на скорости более 5 миль в час, вы все равно можете избежать превышения скорости, всегда оставаясь на 5 миль в час ниже ограничения скорости (по показаниям вашего ненадежного спидометра). Контракт восприятия дает аналогичную гарантию безопасности несовершенной системы, зависящей от машинного обучения.

«Вам не нужно идеальное восприятие», — сказал Карлоне. «Вы просто хотите, чтобы все было достаточно хорошо, чтобы не подвергать риску безопасность». Самый большой вклад команды, по его словам, — это «представление всей идеи контрактов восприятия» и предоставление методов их построения. Они сделали это, воспользовавшись методами из области информатики, называемой формальной верификацией, которая обеспечивает математический способ подтверждения того, что поведение системы удовлетворяет ряду требований.

«Хотя мы не знаем точно, как нейронная сеть делает то, что она делает», — сказал Митра, они показали, что все еще возможно численно доказать, что неопределенность выходных данных нейронной сети находится в определенных пределах. И если это так, то система будет в безопасности. «Затем мы сможем предоставить статистическую гарантию того, будет ли (и в какой степени) данная нейронная сеть действительно соответствовать этим границам».

Аэрокосмическая компания Sierra Nevada в настоящее время тестирует эти гарантии безопасности при посадке дрона на авианосец. Эта проблема в некотором смысле более сложна, чем вождение автомобиля, из-за дополнительного измерения, связанного с полетом. «При посадке есть две основные задачи», — сказал Драгош Маргинеанту, главный технолог по искусственному интеллекту компании Boeing, «выравнивает самолет по взлетно-посадочной полосе и следит за тем, чтобы на взлетно-посадочной полосе не было препятствий. Наша работа с Саянами предполагает получение гарантий по этим двум функциям».

«Моделирование с использованием алгоритма Саяна показывает, что выравнивание [самолета перед приземлением] действительно улучшается», — сказал он. Следующим шагом, запланированным на конец этого года, будет использование этих систем при фактической посадке экспериментального самолета Boeing. Одной из самых больших проблем, отметил Маргинеанту, будет выяснение того, чего мы не знаем — «определение неопределенности в наших оценках» — и понимание того, как это повлияет на безопасность. «Большинство ошибок происходит, когда мы делаем то, что, как нам кажется, знаем, — а оказывается, что это не так».