3.4 Машинная этика
Авторы раздела
Готовцев П. М.
Карпов В. Э.
Ройзензон Г. В.
Время чтения — 16 минут
Машинная этика, или этика «поведения» систем ИИ, вызывает целый ряд проблем, прежде всего ― понимание того, в чем заключается этичность решения. Основная сложность заключается в выборе тех самых этических норм, которые будут закладываться в ИИ.
3.4.1 Подходы к решению проблем машинной этики
При рассмотрении этических проблем ИИ диапазон тем для рассуждений чрезвычайно широк — от опасности «думающих машин» (вспомним обсуждение проблемы машинных ошибок в книге А. Тюринга и опасность для человека у Н. Винера, негативные сценарии возможного развития ИИ у Бострема и т. д.) до интересных попыток формализации понятий морали с целью имитировать их в программных и технических системах. Однако реальные достижения в этом направлении выглядят гораздо скромнее, это обусловлено отсутствием потребностей и, соответственно, задач, в которых такая формализация была бы необходима. Сегодня ситуация меняется, и вопросы практической реализации этической компоненты ИИ становятся все более и более значимыми, среди них:
- реализация машинной этики;
- формализация этических понятий;
- верификация и валидация этической компоненты;
- стандартизация машинной этики;
- стандартизация этических аспектов ИИ.
Turing A.M. Computing machinery and Intelligence // Mind. 1950. Vol.. 54, no 236. P. 433–460.
Wiener N. Some Moral and Technical Consequences of Automation // Science. 1960. Vol. 131, no 3410. P. 1355–1358.
Bostrom N., Yudkowsky E. The Ethics of Artificial Intelligence // Cambridge Handb. Artif. Intell. 2011. P. 1–20.
См.: Gensler H. J. Formal Ethics. London and New York: Routledge, 1996; Лефевр В. Алгебра совести / Пер.с англ. М.: Когито-Центр, 2003.
Применительно к самым разным научно-техническим сферам вопросы этики понимаются в основном с точки зрения опасности применения тех или иных технологий. Однако в области ИИ ситуация совершенно иная, и наряду с проблемами применения ИИ и профессиональной этики создания ИС на первый план выходит проблема этичности «поведения» ИС, так называемой машинной этики (рисунок 6).
Рисунок 6
Машинная этика
Машинная этика
Соответственно, в первую очередь перед учеными, во вторую — перед инженерами, юристами, философами и т. д. стоит задача выработать подходы к проектированию ИAC c этической компонентой, которая может быть реализована прежде всего в этических стандартах по проектированию ИАС. В этически обусловленном проектировании предмет исследования — это ИАС, совершающие выбор того или иного значимого, критически важного для человека или общества действия или решения. Нас интересует ситуация, когда выбор осуществляется на базе некоторых эвристик, основанных на этических императивах.
Эвристики ― это правила, помогающие при поиске вариантов решений. Эвристики не имеют строгого обоснования, а основной мотивацией их использования является лишь увеличение эффективности поиска. Примером эвристики является правило левой (правой) руки при поиске выхода в лабиринте.
Иными словами, основной вопрос ― это этичность поведения самой системы, что вызывает целый ряд проблем. Предстоит понять, в чем заключается этичность решения, на этот вопрос очень сложно получить однозначный ответ от моральных философов. Однако без привлечения профессиональных специалистов по этике (см. раздел 1.2) разработчики этической компоненты ИИ так и останутся в плену своих бытовых представлений о морали. Следовательно, принципиально важно установить связи между этическими концепциями, понятиями и сущностями и техническими элементами, в которых они могут быть воплощены, то есть решить вопросы конструктивных определений и онтологий.
Онтология ― это максимально точное, строгое, ясное описание некоторого понятия, явления, предметной области. Формально онтология состоит из терминов, организованных в таксономию (систему), их определений и атрибутов, а также связанных с ними аксиом и правил вывода. Этот термин был введен при рассмотрении вопроса взаимодействия ИС друг с другом и с человеком.
С технической точки зрения онтологии — это базы знаний специального типа, которые можно «читать», понимать и отчуждать от разработчика. Именно они могут стать основным инструментом создания этической компоненты ИС.
Важное разъяснение для философов: понятие «онтология» уже давно применяется в ИИ (и других технологиях), причем в отличном от философского понимания смысле.
Уже довольно давно существует групповая робототехника. Вместо того чтобы создавать сложное устройство для решения комплексной задачи, целесообразнее выпустить множество простых устройств, которые, взаимодействуя друг с другом, совместно решат задачу (патрулирование территории, разведка, строительство, транспортировка грузов и т. д.). На практике оказалось, что эти группы не так эффективны, как ожидалось. Предложена гипотеза: появление нового качества групповой робототехники возможно в том случае, если роботы смогут образовать не просто группу, а социум со всеми законами социального взаимодействия: подражанием, агрессией, доминированием, общением и т. д.
Управление таким социумом становится актуальной задачей, поскольку его деятельность должна быть направлена на решение прикладных, нужных человеку задач. В ходе исследования выяснилось, что среди различных способов управления социумом роботов наиболее эффективно управление моральными надстройками. Для этого предусматриваются дополнительные правила поведения работа, цели их введения ― это определение способов разрешения конфликтов внутри сообщества и обеспечение индивидуального поведения, так чтобы «индивид» согласовывал свои потребности с потребностями социума.
Мораль — это более удобная, легкая и безопасная надстройка системы управления, чем другие возможные (например, управление средой). Речь идет о тех моральных императивах, которые могут определить характер поведения агента и социума в целом, заставляя их вести себя более агрессивно или, напротив, быть более замкнутыми, быть терпимыми или нетерпимыми к чужакам и т. д. Все это определяет характер решения прикладных задач, стоящих перед социумом искусственных агентов.
Управление таким социумом становится актуальной задачей, поскольку его деятельность должна быть направлена на решение прикладных, нужных человеку задач. В ходе исследования выяснилось, что среди различных способов управления социумом роботов наиболее эффективно управление моральными надстройками. Для этого предусматриваются дополнительные правила поведения работа, цели их введения ― это определение способов разрешения конфликтов внутри сообщества и обеспечение индивидуального поведения, так чтобы «индивид» согласовывал свои потребности с потребностями социума.
Мораль — это более удобная, легкая и безопасная надстройка системы управления, чем другие возможные (например, управление средой). Речь идет о тех моральных императивах, которые могут определить характер поведения агента и социума в целом, заставляя их вести себя более агрессивно или, напротив, быть более замкнутыми, быть терпимыми или нетерпимыми к чужакам и т. д. Все это определяет характер решения прикладных задач, стоящих перед социумом искусственных агентов.
Карпов В. Э., Карпова И. П., Кулинич А. А. Социальные сообщества роботов. М.: УРСС, 2019.
В этом отношении мораль (этика, нравственность) понимается как механизм урегулирования конфликтных ситуаций между агентами, как способ целеполагания поведения. В рамках моделирования социального поведения в системах групповой робототехники реализованы модели подражательного поведения и социального обучения. На основании этого делается вывод о возможности моделирования такого механизма, как эмпатия (отзывчивость на эмоциональное состояние других). Эмпатия ― это удобный механизм определения цели поведения робота или ИС. Если ИАС способна определить эмоциональное состояние контрагента (человека или члена сообщества роботов), то она может взаимодействовать с человеком по правилам, учитывающим его эмоциональное состояние, и, следовательно, быть более этичной. Для роботов, непосредственно общающихся с человеком, эта отзывчивость может определить новое качество дружественного «этичного» интерфейса.
Скорее всего, проверка этичности ИАС является самым сложным вопросом. С технической точки зрения наиболее затруднительна этическая верификация. Она заключается в комплексе тестов, способных определить степень этичности ИС. Для выяснения этой степени пригодны только наблюдения за реакциями и поведением исследуемой ИАС. С точки зрения гипотетической процедуры этической верификации, остается только провести цикл двухэтапных проверок:
1
предъявление очередной неоднозначной ситуации, разрешение которой требует привлечения соображений нравственности (когда ИАС надо совершать экстренное торможение или жертвовать собой — это не проблема нравственного выбора);
2
«Заслушивание», или анализ цепочки рассуждений ИАС, благодаря которому экспертам станет ясно, почему система приняла то или иное решение.
К сожалению, здесь не исключена реинкарнация тезиса Тюринга, который в технической (ИИ) среде был развенчан Дж. Вейценбаумом, создавшим свои знаменитые программы «Доктор» и «Элиза». Вейценбаум Д. Возможности вычислительных машин и человеческий разум. От суждений к вычислениям. М.: Радиоисвязь, 1982.
Собственно второй пункт — объяснительная компонента — это то, отличает эту процедуру верификации от той, что предлагается в известном проекте Moral Machine, в котором при «статистическом» подход к проблемам морального выбора мы не сможем получить иного объяснения, почему ИАС сделала именно этот выбор, кроме подобного: «…этот выбор осуществлен по причине того, что так поступает большинство» или «такова была аппроксимация при анализе большой выборки обучающих примеров». Помимо учета мнения «большинства» возможны другие подходы к определению того, какие этические нормы следует закладывать в систему ИИ (см. раздел 3.4.3).
3.4.2 Алгебра совести: формализация этики
Наличие математического аппарата, позволяющего формализовать этические понятия, также требует внимания. Уже разработан обширный математический инструментарий, который может быть использован для формализации понятия этики в ИИ. В частности, особый интерес представляют подходы, позволяющие оценивать те или иные технологии, использующие ИИ, на соответствие определенным требованиям (этическим нормам, критериям, стандартам и т. п.). Важно отметить, что проблема формализации этических норм тесно связана с более общей задачей — с формализацией гуманитарного знания.
Лефевр В. А. Алгебра совести. М.: Когито-Центр, 2003;
Поспелов Д. А., Кузнецов О. П. Знания и рассуждения в гуманитарных науках // Новости искусственного интеллекта. 1996. № 2. С. 93–98;
Фоминых И. Б. О формализации гуманитарного знания // Одиннадцатая национальная конференция по искусственному интеллекту с международным участием (КИИ-2008). Труды конференции. Т. 1. М.: Ленанд, 2008. С. 133–141;
Финн В. К. Интеллектуальные системы и общество: Сб. ст. М.: КомКнига, 2006;
Таран Т. А. Булевы модели рефлексивного управления в ситуации выбора // Автоматика и телемеханика. 2001. № 10. С. 103–117.
Поспелов Д. А., Кузнецов О. П. Знания и рассуждения в гуманитарных науках // Новости искусственного интеллекта. 1996. № 2. С. 93–98;
Фоминых И. Б. О формализации гуманитарного знания // Одиннадцатая национальная конференция по искусственному интеллекту с международным участием (КИИ-2008). Труды конференции. Т. 1. М.: Ленанд, 2008. С. 133–141;
Финн В. К. Интеллектуальные системы и общество: Сб. ст. М.: КомКнига, 2006;
Таран Т. А. Булевы модели рефлексивного управления в ситуации выбора // Автоматика и телемеханика. 2001. № 10. С. 103–117.
Проблема формализации этических норм включает в себя две основные задачи ― создание форм представлений этических норм (критериев, признаков и т. п.) и выбор соответствующего математического аппарата для работы с ними: сопоставления, измерения, анализа и т. д.
Не всегда соответствие тем или иным нормам можно свести к классическим «да» и «нет». Поэтому здесь актуально рассмотрение и использование различных неклассических логик (например, многозначных), механизма многокритериальной классификации, вероятностных подходов и т. п., как показано на таблице 5.
Таблица 5
Подходы к формализации этики в ИИ
Подходы к формализации этики в ИИ
| Механизм | Описание | Комментарий |
|---|---|---|
| Булева алгебра | Высказывания могут быть только истинными или ложными, то есть используется двоичная логика | Хорошо развита, есть множество приложений, программных библиотек для разных инструментальных средств и т. п. Но не всегда различные этические проблемы можно строго разделить на «белые» и «черные» |
| Кольцевая шкала Д. А. Поспелова | Двухосновные оценки объектов отражают динамику экспертных знаний, их зависимость от онтологических соображений | Преодоление однозначности булевой алгебры |
| Многозначная логика | Тип формальной логики, в которой допускается более двух истинностных значений для высказываний | Преодоление однозначности булевой алгебры. Значительная сложность реализации |
| Нечеткая логика | Обобщение многозначной логики | Преодоление однозначности булевой алгебры и сложностей многозначной логики. Неустойчивость относительно исходных данных (различные методы могут приводить к разным результатам) |
| Теории решеток, в частности этических решеток | В рамках теории решеток исследуются частично упорядоченные множества | Актуальный и перспективный подход |
| Методы вербального анализа решений (ВАР) | Группа методов ВАР опирается на достижения различных научных дисциплин: когнитивной психологии; прикладной математики; теории организаций и т.д. | Сочетание качественной и количественной информации, суждений экспертов, объективных и субъективных факторов и т.д. Объяснения принятых решений даются в терминах предметной области, то есть норм этики ИИ. В качестве недостатков методов ВАР отмечены большие трудозатраты эксперта или лица, принимающего решения, при работе в признаковом пространстве большой размерности |
Лефевр В. А. Алгебра совести. М.: Когито-Центр, 2003.
Поспелов Д. А. «Серые» и/или «черно-белые» // Прикладная эргономика. Спец. вып. «Рефлексивные процессы». 1994. № 1. С. 29–33.
Поспелов Д. А. «Серые» и/или «черно-белые» // Прикладная эргономика. Спец. вып. «Рефлексивные процессы». 1994. № 1. С. 29–33.
ZadehL. A. Fuzzysets // Information and Control. 1965. Vol. 8, no 3. P. 338–353;
Шрейдер Ю. А., Мусхелишвили Н. Л. Проблема неполного добра в модели ценностной рефлексии по В. А. Лефевру // Системные исследования. Методологические проблемы. Ежегодник / Под ред. Д. М. Гвишиани, В. Н. Садовского. № 25.М.: УРСС, 1997. С. 213–224.
Шрейдер Ю. А., Мусхелишвили Н. Л. Проблема неполного добра в модели ценностной рефлексии по В. А. Лефевру // Системные исследования. Методологические проблемы. Ежегодник / Под ред. Д. М. Гвишиани, В. Н. Садовского. № 25.М.: УРСС, 1997. С. 213–224.
Тарасов В. Б. От многоагентных систем к интеллектуальным организациям: философия, психология, информатика. М.: Эдиториал УРСС, 2002.
Биркгоф Г. Теория решеток. М.: Наука, 1984; Кузнецов С. О. Методы теории решеток и анализа формальных понятий в машинном обучении // Новости искусственного интеллекта.2004. № 3. С. 19–31.
Таран Т. А. Булевы модели рефлексивного управления в ситуации выбора // Автоматика и телемеханика. 2001. № 10. С. 103–117.
Ларичев О. И. Вербальный анализ решений. М.: Наука, 2006.
Ларичев О. И. Вербальный анализ решений. М.: Наука, 2006.
3.4.3 Какую этику заложить в машину?
Механизмы, позволяющие заложить этические нормы в ИС, — это необходимое, но недостаточное условие, те же нормы должны быть в распоряжении разработчиков этической компоненты. В этом случае важнейшими, но на данный момент не имеющими ответа вопросами оказываются следующие:
Как мы решим, что именно этично для искусственной системы в том или ином случае, а что — нет?
И по каким критериям мы будем выбирать этичные поступки для ИИ? Будет ли это мнение большинства людей, или мнение государства, например правящей партии, или мнение особых людей — моральных философов?
Проблема вагонетки (англ. Trolley problem) — мысленный эксперимент в этике, впервые сформулированный в 1967 году английским философом Филиппой Фут. Тяжелая неуправляемая вагонетка несется по рельсам. На пути ее следования находятся пять человек, привязанные к рельсам сумасшедшим философом. К счастью, вы можете переключить стрелку, и тогда вагонетка поедет по другому, запасному, пути. К несчастью, на запасном пути находится один человек, также привязанный к рельсам. Каковы ваши действия?
Сейчас философская проблема вагонетки становится иллюстрацией к реальным обстоятельствам работы беспилотного транспорта, перед разработчиками которого остро строит проблема, какие этические правила закладывать в программу. До сих пор продолжается известный эксперимент Массачусетского института «Моральная машина» (Moral Machine) с целью собрать ответы на вопрос: если есть риск аварии, кого машина должна будет задавить в конкретной ситуации? (рисунок 7). Система обучается на миллионах примеров (около 40 млн ответов) и выбирает правильное, нравственное действие по принципу «это решение большинства».
Сейчас философская проблема вагонетки становится иллюстрацией к реальным обстоятельствам работы беспилотного транспорта, перед разработчиками которого остро строит проблема, какие этические правила закладывать в программу. До сих пор продолжается известный эксперимент Массачусетского института «Моральная машина» (Moral Machine) с целью собрать ответы на вопрос: если есть риск аварии, кого машина должна будет задавить в конкретной ситуации? (рисунок 7). Система обучается на миллионах примеров (около 40 млн ответов) и выбирает правильное, нравственное действие по принципу «это решение большинства».
Рисунок 7
Проблема вагонетки в применении к беспилотному транспорту
Проблема вагонетки в применении к беспилотному транспорту
Foot P. The Problem of Abortion and the Doctrine of the Double Effect in Virtues and Vices. Oxford: Basil Blackwell, 1978.
The Moral Machine Experiment // Moral Machine.
Подробнее см. о «проблеме вагонетки», например: Эдмондс Д. Проблема вагонетки. М.: Изд-во Института Гайдара, 2016.
(Примечание философа А. В. Разина.) В этике существует два основных направления — утилитаризм и абсолютизм. «Так решило большинство, значит, так правильно», — пример утилитарного подхода, продиктованного соображениями материальной выгоды, практичности. Абсолютистский подход с идеей «жизнь человека священна» принципиально запрещает жертвовать жизнью одного во имя спасения даже нескольких людей.
Согласно моральной философии, решение или действие не может считаться этичным только на основании того, что так сочло большинство опрошенных, независимо от того, какого подхода они придерживаются. В современном мире технологии и ценности могут меняться довольно быстро, и в условиях неопределенности ценнее рефлексивное мышление, готовность к диалогу и учет интересов разных сторон, чем заранее вшитые на низком уровне принципы. Эта проблема очень широко обсуждается в научных кругах, содержит много глубоких философских проблем, например проблему морального аутсорсинга: не отдаем ли мы моральные решения на волю машины, помогает ли машина нам самим вести себя этически, и если да, то до какой степени это допустимо.
Кроме того, выбор подхода, который будет закладываться в конкретную систему ИИ, нелегок для разработчиков, он требует философского подхода специалиста по этике, который способен четко определить этические рамки и правила, которыми должна руководствоваться ИС, и общественного обсуждения.
Культурные особенности этических норм ИИ
Многие системы ИИ разрабатываются транснациональными компаниями, которые затем используют их сразу в нескольких странах. Выбор конкретных этических норм для ИС затрудняется с силу культурных различий, представлений о нравственном и безнравственном поведении. В вышеупомянутом эксперименте «Моральная машина» участвовали люди из 240 стран, большинство жертвовали животными в пользу людей, преступниками — в пользу законопослушных граждан, а также стремились спасти больше жизней. Как оказалось, индивидуальные различия по полу, уровню доходов, религиозности и политическим взглядам не влияют на выбор, тогда как культурные различия задачи оказались существенными для решения задач. Так, в странах с высоким уровнем коллективизма испытуемые менее склонны руководствоваться численностью спасенных жизней и предпочитают спасать пожилых людей ценой жизни молодых.
Там, где существует значительная разница в доходах между бедными и богатыми, испытуемые чаще предпочитали спасать высокостатусных людей ценой жизни низкостатусных. В странах Северной Америки и Европы чаще предпочитали не вмешиваться в действия машины и жертвовать пешеходами, в странах Юго-Восточной Азии и Ближнего Востока чаще решали спасать пешеходов и пожилых людей, а в странах Латинской Америки и Южной Африки чаще жертвовали пожилыми в пользу молодых, низкостатусными в пользу людей высокого социального статуса, а также мужчинами ради женщин.
Многие системы ИИ разрабатываются транснациональными компаниями, которые затем используют их сразу в нескольких странах. Выбор конкретных этических норм для ИС затрудняется с силу культурных различий, представлений о нравственном и безнравственном поведении. В вышеупомянутом эксперименте «Моральная машина» участвовали люди из 240 стран, большинство жертвовали животными в пользу людей, преступниками — в пользу законопослушных граждан, а также стремились спасти больше жизней. Как оказалось, индивидуальные различия по полу, уровню доходов, религиозности и политическим взглядам не влияют на выбор, тогда как культурные различия задачи оказались существенными для решения задач. Так, в странах с высоким уровнем коллективизма испытуемые менее склонны руководствоваться численностью спасенных жизней и предпочитают спасать пожилых людей ценой жизни молодых.
Там, где существует значительная разница в доходах между бедными и богатыми, испытуемые чаще предпочитали спасать высокостатусных людей ценой жизни низкостатусных. В странах Северной Америки и Европы чаще предпочитали не вмешиваться в действия машины и жертвовать пешеходами, в странах Юго-Восточной Азии и Ближнего Востока чаще решали спасать пешеходов и пожилых людей, а в странах Латинской Америки и Южной Африки чаще жертвовали пожилыми в пользу молодых, низкостатусными в пользу людей высокого социального статуса, а также мужчинами ради женщин.
Awad E., Dsouza S., Kim R. et al. The Moral Machine experiment // Nature. 2018. Vol. 563. P. 59–64. DOI:10.1038/s41586-018-0637-6.
В связи с культурными различиями возникает целый ряд вопросов:
Нормы какой культуры целесообразно закладывать в ИИ?
Нужно ли предусматривать работу ИИ в разных этических рамках в зависимости от региона применения (этическая локализация)?
Нужно ли сначала разным странам договориться о едином этическом кодексе (если вообще принципиально возможно договориться об этом)?
Пример «Моральная машина» показывает, что сегодня невозможно установить точные этические нормы даже в одной достаточно узкой сфере. При этом аналогичная ситуация возникает и в остальных сферах, которые, возможно, просто менее изучены.