Моральная дилемма беспилотного автомобиля — провокация гуманитариев

10

Когда не-инженеры берутся обсуждать инженерные вопросы, мне, право же, хочется схватиться за парабеллум. Ну зачем, скажите на милость, «британские ученые» (а на самом деле это был MIT) запустили этот сборник вопросов по ПДД будущего под кодовым названием «Кого давить первым»? Должен признаться, увидев его первый раз, я тоже повелся и даже начал раздумывать над этими ситуациями — кого должен убить, а кого оставить в живых умный автомобиль. 

Да, эта манипуляция сознанием неплохо работает, они молодцы по части НЛП. Мы послушно начали обсуждать, кто больше матери-истории ценен — уточки, собачки, бабушки, дети, девушки на выданье или мужчины в полном расцвете сил. 

Где-то в комментариях по этой теме попался анекдот, который показывает всю провокационность этой картинки:
- Инструктор в автошколе спрашивает курсанта: «Вы видите на переходе бабушку и красивую молодую девушку. Ваши действия? Кого будете давить?» Курсант задумывается. «Идиот! Тормоз надо давить, тормоз!»

Этика вместо физики

Для того чтобы замутить широкую общественную дискуссию, а потом принять дурацкие законы, лучший, проверенный способ — перевести вопрос из физической плоскости в этическую или, еще лучше, в политическую. Дальше гуманитарии всех мастей заболтают друг друга до полного изнеможения и придумают какие-нибудь немыслимые запреты (вспомним хотя бы закон Яровой).

Но позвольте! Для начала в этой задаче не хватает важных физических условий: какова скорость, ускорение и масса автомобиля, коэффициент трения при торможении и т.д. Если он катится себе прямолинейно-равномерно со скоростью 30 км/час, то даже бабушки и внучки успеют убраться с его траектории. Разве что Герман Оскарович в костюме инвалида может замешкаться. Но при таких параметрах системы экстренное торможение вполне успеет сработать, и никто не пострадает.

Но это все слишком сложно для гуманитариев. Гораздо интереснее устроить в интернете голосование, кого должен убить робот, а потом написать в новостях «Беспилотный автомобиль столкнулся с моральной дилеммой». Что за чушь? Да, механизмы могут быть опасны, и надо соблюдать правила техники безопасности при работе с ними. Так любой токарь знает, что его намотает на шпиндель, если он вдруг заявится на работу в галстуке или в модном хипстерском шарфе. Кстати, никто же не подумал запретить открытые машины после гибели Айседоры Дункан. Ее длинный алый шарф зацепился за ось колеса и задушил великую танцовщицу — виноват автомобиль, разве нет?

Компания «Мерседес» решила эту дилемму просто — ее беспилотник всегда спасает пассажира, иначе никто не будет такие машины покупать, — об этом рассказала Ольга Ускова на конференции «Сколково Роботикс». И это правильно, я считаю.

Повторение истории с ГМО

Можно было бы посмеяться над этим «исследованием» и забыть, но, к сожалению, его идеи приняли форму массовой истерии и проникли в общественное сознание. Манипуляторы сделали свое черное дело — люди будут бояться беспилотных автомобилей без всяких на то реальных оснований. На наших глазах раскручивается повторение истории с ГМО, когда невежды начинают диктовать условия всему обществу и тормозить прогресс.

Это один из известных методов информационной войны — вбросить очевидную чушь, а другая сторона пусть оправдывается. Но сути оправданий уже никто не услышит, людей научили главному: «Беспилотники — зло». В результате будет потрачено много усилий, чтобы ублажить глупцов, вместо того, чтобы уже сейчас начать получать пользу от новых технологий.

Полезные побочные эффекты

В качестве компенсации за этот зигзаг истории (потому что, в конечном счете, беспилотники все равно выйдут на улицы) мы получим более совершенные системы технического зрения. Этим успешно воспользовалась наша компания Cognitive Technologies, которая разрабатывает системы искусственного интеллекта для беспилотных транспортных средств, превосходящие многие зарубежные аналоги, в том числе и от Google, и сейчас успешно завоевывает международные рынки (а здесь можно посмотреть ролик, как ИИ «видит» дорогу). 

Истинные причины трагедий на дорогах

Отчего происходят несчастные случаи на дорогах? Ситуаций всего две: нарушает правила водитель или пешеход. Ну, или оба сразу.

Чаще всего наезд на пешехода происходит оттого, что водители не соблюдают скоростной режим. Но с этим все просто — беспилотный автомобиль в принципе не должен гнать по Ленинскому проспекту со скоростью 150 км/час. 

Вторая ситуация — когда пешеходы, одетые во все черное, ночью прутся через трассу в неположенном месте. Это кандидаты на премию Дарвина, однозначно. Почему водитель и пассажиры должны их спасать ценой своей жизни?

Есть простые решения, чтобы никто не пострадал

Увы, моралисты уже загнали ситуацию в тупик. Мы решаем только один вопрос – в кювет или в пешеходов. Этот выбор – кого принести в жертву – видимо, очень щекочет нервы, будоражит кровь. Поэтому и столько разговоров вокруг. 

Единственно правильная постановка вопроса по беспилотным автомобилям должна звучать так: Каким образом организовать движение, чтобы исключить возникновение опасных ситуаций?

И тут просматривается несколько довольно простых решений, не требующих мощного искусственного интеллекта – но требующих наличия хотя бы элементарного:

  • Начать эксплуатацию беспилотников в промышленных зонах. Например, карьерные самосвалы, сельхозтехника и т.д. В такой среде легче контролировать риски и решать юридические вопросы. Если рабочий нарушает правила, он и виноват, а не робот. Зато можно накопить опыт эксплуатации технологии в реальных условиях.
  • Изолировать людские и транспортные потоки. Это по-любому надо делать, ибо «водители-человеки» опасны для пешеходов куда более, чем водители-роботы. Ну почему до сих пор на трассе Москва — Минск, например, есть наземные переходы? Понимаю, строить ограждения и надземные/подземные переходы это скучно. Интереснее болтать о роботах-убийцах.
  • Разрешить движение беспилотников по выделенным маршрутам и ввести специальные предупреждающие знаки «Осторожно, беспилотный автомобиль» — мы пешеходов предупредили, дальше их ответственность.
  • Обязать пешеходов носить специальные токены-радиомаячки, чтобы автомобиль «видел» их даже в полной темноте — и не надо тогда так заморачиваться с компьютерным зрением. Это будет полезно не только беспилотникам, но и людям за рулем. И штрафовать пешеходов за их отсутствие. Ведь было же в Беларуси правило, что в темное время суток каждый пешеход обязан иметь на одежде светоотражающие элементы — и штраф, если нет. 

Последний пункт мне нравится больше всего — это простое, дешевое и довольно надежное решение пресловутой «моральной дилеммы». Оно ее ликвидирует в принципе. Потому что пешеход — тоже участник движения, он также отвечает за свою жизнь и за жизнь и свободу водителя (или хозяина беспилотного автомобиля). Технически вполне осуществимо уже сейчас.

Как говорится, используем системный подход. Не надо фокусироваться только на одной части системы — автомобиле, надо рассматривать ее целиком: автомобиль, пешеход, дорога. Тогда и найдутся адекватные решения. С появлением беспилотников должна измениться система в целом, включая пешеходов и дорожную инфраструктуру, разве это не очевидно?

Пресловутая «моральная дилемма» — не более, чем провокация.


8513
Коментарии: 10

Комментировать могут только авторизованные пользователи.
Предлагаем Вам в систему или зарегистрироваться.

  • Виктор Ганин
    Рейтинг: 10
    КАМАЗ, ПАО
    Консультант исполнительного директора, руководитель проектов SAP
    05.07.2017 15:31

    Вспомним наследие Айзека Азимова с его тремя законами робототехники! Он многие проблемы предвосхитил!

    • Вадим Коноваленко Виктор
      Рейтинг: 93
      ФГБОУ ВО Северо-Западный государственный медицинский университет им. И.И.Мечникова
      Начальник Управления информатизации и связи (CIO/CDTO)
      07.07.2017 14:17

      Да, великий Азимов совершенно прав. Более того в его романах кое-где мелькает даже некая правоприменительная практика, основанная на этих трёх Законах робототехники. Но то ж когда было?
      Теперь роботы есть, а законов для них (и их владельцев) практически нет. Что-то приняли про беспилотники.... Но это скорее ограничительно-нормативные документы....
      А является ли робот с ИИ (тот же автомобиль без водителя) субъектом права? Пока ещё нет, за его действия отвечает владелец.
      Но вот пара вопросов:
      1. Программный сбой и автомобиль с ИИ куда-то поехал сам по себе, нанёс ущерб. Кто отвечает за это? Простой ответ - страховая компания. А такое авто кто-то захочет страховать? Если да, то за какие деньги?
      2. ПО обеспечивающее работу систем автомобиля с ИИ хакнули и опять таки ущерб. Кто отвечает?

      • Вадим
        12.07.2017 13:30

        Вопросы про сбойный код и взлом лежат в плоскости архитектурной проработки системы. Возможно поколение коммерческих систем, разрабатываемых в условиях недостаточной проработанности архитектуры продукта приводит к его уязвимости известной еще в момент разработки. С другой стороны ПО работающее только с известным аппаратным окружением (датчики, периферия, процессор и контроллеры шины), сертифицированное производителем в процессе тщательного тестирования, годами безотказно работает в критических точках АСУТП.

        Что касается страхования, пассажирские самолеты с системами автопилотирования в момент посадки тоже страховались с множеством оговорок и ограничений. Но ведь застрахованы.

        • Вадим Коноваленко
          Рейтинг: 93
          ФГБОУ ВО Северо-Западный государственный медицинский университет им. И.И.Мечникова
          Начальник Управления информатизации и связи (CIO/CDTO)
          12.07.2017 14:08

          "С другой стороны ПО работающее только с известным аппаратным окружением (датчики, периферия, процессор и контроллеры шины), сертифицированное производителем в процессе тщательного тестирования, годами безотказно работает в критических точках АСУТП."

          Это как бы верно, но только теоретически.... Был, как Вы помните червь StackNet, вирусное заражение несколько лет назад заставило медленнее крутиться центрифуги для обогащения урана в Иране - а это достаточно прикрытые системы.
          Банки достаточно тщательно тестируют своё ПО и периферию, но тем не менее, сейчас идёт волна заражений и сбоев через POS-терминалы.
          Есть попытки управления датчиками охраны периметра территории, подставляя через них ложную информацию о "безопасности" периметра или его участка....

          Так что как бы ни была проработана и протестирована архитектура всегда существует возможность воздействия/взлома системы и чем она сложнее и чем больше в ней датчиков (читай потенциальных входов), тем она уязвимей.

          • Вадим
            13.07.2017 01:22

            Не будем спорить про теорию, скажу за практику:
            Stuxnet - специализированное многокомпонентное кибер-оружие (после него были Flame, Havex и многие другие)
            Первоначальный путь заражения в закрытой системе через внешние флеш накопители (эксплуатация уязвимостей MS систем)
            Для работы в ОС использовались украденные подлинные сертификаты
            Нацеленность на определенную SCADA WInCC.
            Но ведь если внимательно посмотреть на продукты известного производителя, то явно видны как постоянные недостатки, так и дисклеймер самой корпорации (темная сторона силы известный производитель никогда не называл свои ОС гарантированно пригодными для применения в промышленных системах реального времени)
            поэтому в качестве архитектурного решения возможно стоило бы подумать о другой ос (например QNX), возможно для определенных кейсов нельзя применять популярное облачное решение с обновлениями выкладываемыми в публичный доступ, но сила маркетинга...
            Если посмотреть такой ресурс как exploit-db.com - заранее прошу прощение за публикацию ссылки и готов на ее удаление )) - то увидим порядка 10 уязвимостей для QNX и более 8000 для MS.
            Большая проблема заключается в том, что за безопасность не все привыкли платить.
            Что касается работы Neutrino (можно вспомнить и 2016 год с Multigrain), то здесь также вопрос к архитектору - вектор поражения известен, атака производится через внешние каналы - мониторинг, порты, в конце концов специализированный POS может находится в защищенном сегменте, а не быть доступным по локальной сети без IPS, маршрутизатора, firewall и прочих безусловно полезных методик.
            Возможностей поломать безусловно много, вот чтобы поломка не произошла есть различные решения резко уменьшающие риски таких событий, но это финансовые затраты, штат, специализированное ПО и оборудование.

            • Вадим Коноваленко
              Рейтинг: 93
              ФГБОУ ВО Северо-Западный государственный медицинский университет им. И.И.Мечникова
              Начальник Управления информатизации и связи (CIO/CDTO)
              13.07.2017 11:38

              Согласен, но MS считает (а главное что его маркетинг так думает!), что серверный вар-т его ОС надёжен и предназначен для промышленной эксплуатации.
              Коммерческий пользователь идет на коротком поводке у MS (ну и получают за это все "пряники"), а многие ли готовы ставить у себя QNX? Распространённость этой ОС вообще несравнима с MS или Linux. Я вот даже не припомню каких-то курсов в Питере для админов QNX....

              Ну а то, что "Большая проблема заключается в том, что за безопасность не все привыкли платить." - это факт....
              С другой стороны, если делать всё очень безопасно, то на кого лягут расходы? На конечного потребителя, на предпринимателя - владельца магазина, которому поставят защищённый терминал, ну и на покупателя. А у покупателя другой критерии - цена, качество, вкус, цвет.... Он пойдёт в другой магазин, хотя может именно в этом, другом магазине нарвётся на заражённый терминал....

              Надо полагать, что если авто с ИИ защитить от всех "снарядов", то и стоить оно будет как танк. И всё равно рано или поздно будет взломано!

              Как найти баланс между стоимостью защиты и разумной ценой изделия для конечного потребителя?

  • Алексей Овчинников
    Рейтинг: 116
    Нанолек, ООО
    Руководитель управления информационной инфраструктуры
    05.07.2017 16:19

    Смотрел эти тесты, тоже не мог понять, пешеход топает на красный свет, а я должен выбрать он или пассажир. И обратная ситуация - пешеход идет на зеленый, с чего тогда "робомобиль" вообще едет и должен кого-то давить. Стой себе и жди. В общем опросник неадекватный.

  • Максим Шуйский
    Рейтинг: 310
    ООО "РусХОЛТС"
    ИТ Директор
    05.07.2017 20:04

    Как показала практика, ГМО все же вредит человечеству и при употреблении продуктов его содержащих люди самовольно участвуют в генетическом эксперименте.
    Так что благодаря "невеждам" у человечества все же есть шанс не выродиться через 10-15 поколений.

    Роботы - конечно круто, но без морального взросления человечества это приведет к очередной бойне.
    Я не фанат Т900, но такой результат достижим именно благодаря отсутствию морали.

    Беспилотники будут и пробьются на дороги это вопрос времени, а далее анекдот про нас:

    Прилетает на Землю инопланетянин, чтоб внести землян в «Каталог разумных цивилизаций» и спрашивает:
    — Почему при изобилии земли, воды и света многие на Земле голодают?
    — Денег нет.
    — Почему при всех ваших возможностях так много бездомных?
    — Денег не хватает.
    — Почему вы так свою планету загаживаете?
    — Денег нет, чтоб устроить иначе.
    — Почему так много больных, которых можно вылечить?
    — Денег мало.
    — Что-же это за ресурс такой дефицитный, который вам жить нормально не дает? Может вам помочь его с других планет завезти? И вообще, где вы его добываете?
    — Завозить не надо, мы их сами печатаем.
    И вычеркнул инопланетянин землян из списка разумных существ!

  • Андрей Соловьев
    Рейтинг: 20
    НПП Спецгеофизика
    главный инженер
    12.07.2017 17:03

    "Отчего происходят несчастные случаи на дорогах? Ситуаций всего две: нарушает правила водитель или пешеход. Ну, или оба сразу."

    Интересно, а в известном случае, когда Тесла в режиме автопилота "не разглядела" фуру и влетела в неё, неся гибель своему владельцу, кто являлся нарушителем ?

  • 17.10.2017 14:29

    RSM – Лидер в разработке IT-решений для бизнеса!
    Беспилотный автомобиль?
    Уже совершенно ясно, что данные технологии не за горами!
    Через 10 лет не нужны будут водительские права.
    Компания Ростсельмаш, динамика развития которой подтверждена рейтингами РА «Эксперт» (https://expert.ru/ratings/rejting-krupnejshih-kompanij-rossii-2016-po-ob_emu-realizatsii-produktsii/) , журналом Forbes http://www.forbes.ru/rating/350675-200-krupneyshih-rossiyskih-kompaniy-2017, уже сегодня решает аналогичные задачи в своем бизнесе.
    Без современных электронных систем такие сложные продукты как трактор, комбайн, посевной комплекс, опрыскиватель уже не могут приносить максимальную прибыль клиенту-фермеру.
    А за уникальные сетевые решения, за автоматизированные системы управления бизнесом Потребитель готов платить еще больше и вести максимально плотное сотрудничество с компаниями, которые предлагают такие Продукты. Так как, в конечном итоге, они позволяют максимизировать его собственную прибыль.
    Компания Ростсельмаш уже сегодня имеет собственное Конструкторское бюро управляющих систем и планирует увеличить его численность вдвое, в том числе в связи с тем, что стартует новый цикл разработок, цель которого создать свой собственный продукт, который свяжет поставляемую Компанией технику, особенности земли клиента, используемые им технологии и его бухгалтерию воедино!
    Ростсельмаш видит будущее компании в максимальном использовании ИТ – технологий и создании целого пула инновационных ИТ- продуктов для бизнеса своих клиентов, в связи с этим, Мы формируем мощные проектные команды в рамках Кб управляющих систем, для развития цифрового будущего Компании.
    Приглашаем:
    ·Руководителей сложных IT- проектов с опытом проектирования архитектуры ПО в сфере B2B, IoT.
    ·Веб-программистов – верстальщиков: Кросс-браузерная и кросс-платформенная верстка и тестирование.
    ·Веб-программистов – тестировщиков ПО: Разработка программ методик испытаний ПО, регрессионное тестирование, кросс-браузерная и кросс-платформенная тестирование.
    ·Веб-программистов мобильной версии веб-приложений.
    ·Программистов ПО: Разработка программного обеспечения для бортовой системы управления сельскохозяйственной техники.
    Предлагаем:
    ·Сложные и интересные задачи.
    ·Долгосрочный проект.
    ·Перспективы карьерного и профессионального роста.
    ·График работы и заработная плата обсуждаются индивидуально с каждым кандидатом.

Предметная область
Отрасль
Управление
Мы используем файлы cookie в аналитических целях и для того, чтобы обеспечить вам наилучшие впечатления от работы с нашим сайтом. Заходя на сайт, вы соглашаетесь с Политикой использования файлов cookie.