Автор раздела

Ройзензон Г. В.

Формализация понятия этики в ИИ

Ройзенсон Г. В, канд. техн. наук, ст. науч. сотр. Института системного анализа Федерального исследовательского центра «Информатика и управление» РАН, член российской Рабочей группы по этике искусственного интеллекта, член научного совета Российской ассоциации искусственного интеллекта
К настоящему моменту разработан обширный математический инструментарий, который может быть использован для формализации понятия этики в ИИ. В частности, особый интерес представляют подходы, позволяющие оценивать на соответствие определенным требованиям (этическим нормам, критериям, стандартам и т. п.) те или иные технологии, использующие ИИ. Важно отметить, что проблема формализации этических норм тесно связана с более общей задачей, а именно: с формализацией гуманитарного знания.
Лефевр В. А. Алгебра совести. М.: «Когито-Центр», 2003. 426 с.

Поспелов Д. А., Кузнецов О. П. Знания и рассуждения в гуманитарных науках // Новости искусственного интеллекта. 1996. № 2. С. 93–98.

Фоминых И. Б. О формализации гуманитарного знания // Одиннадцатая национальная конференция по искусственному интеллекту с международным участием (КИИ-2008). Труды конференции. Т. 1. М.: Ленанд, 2008. С. 133–141.

Финн В. К. Интеллектуальные системы и общество: Сборник статей. М.: КомКнига, 2006. 352 с.

Таран Т. А. Булевы модели рефлексивного управления в ситуации выбора // Автоматика и телемеханика. — 2001. — № 10. — С. 103–117.
Проблема формализации этических норм включает в себя две основные задачи. Первая – это создание форм представлений норм (критерии, признаки и т.п.), вторая – выбор соответствующего математического аппарата для работы с этими формами: сопоставления, измерения, анализа и т. д. Нечеткая, многозначная или вероятностная логика – это достаточно глубоко проработанные области, доведенные, вообще говоря, до уровня практически применимых технологий. Здесь гораздо важнее определиться с качественным уровнем представления параметров систем ИИ и этических норм.
Кроме того, в рамках этики ИИ требуется разработка новых норм, таких, например, как гуманность (как машины влияют на наше поведение и взаимодействие), сингулярность (как мы сможем контролировать сложную «умную» систему), проблема эмпатии (например, как робот-няня сможет оценивать эмоциональное состояние ребенка и правильно реагировать), безопасность и т. п. Таким образом, не всегда соответствие тем или иным нормам можно свести к классическим «да» и «нет». Поэтому здесь актуально рассмотрение и использование различных неклассических логик (например, многозначных), механизма многокритериальной классификации, вероятностных подходов и т.п. Рассмотрим указанный математический аппарат подробнее.
Концепция формализации различных этических понятий активно развивается на протяжении последних десятилетий. В качестве пионерской работы по исследуемому вопросу важно упомянуть книгу В. А. Лефевра «Алгебра совести». В этой книге есть целая глава, которая посвящена вопросам этики и возможным аспектам, связанным с формализацией этого понятия. Для решения рассматриваемой задачи в основном используется математический аппарат булевой алгебры. В рамках булевой алгебры предполагается, что высказывания могут быть только истинными или ложными, то есть используется двоичная логика (бинарная). Использование булевой алгебры имеет как положительные, так и определенные отрицательные стороны. К положительным сторонам можно отнести то, что булева алгебра к настоящему моменту очень хорошо развита, есть множество приложений, программных библиотек для самых разных инструментальных средств и т. п. Достаточно сказать, что булева алгебра служит основой для работы вычислительной техники, использующей архитектуру фон Неймана (двоичная система счисления 0 и 1). К отрицательным сторонам можно отнести то, что не всегда различные этические проблемы (в том числе и относящиеся к ИИ) можно строго разделить на «белые» и «черные», а механизм булевой алгебры зачастую предполагает именно такой подход. В работе Д. А. Поспелова для преодоления данной проблемы вводится понятие «кольцевых» шкал (см. рисунок 1), что для решения задачи формализации этики ИИ является весьма оригинальным и перспективным подходом.
Лефевр В. А. Алгебра совести. М.: «Когито-Центр», 2003. 426 с.
Поспелов Д. А. «Серые» и/или «черно-белые» // Прикладная эргономика. Специальный выпуск «Рефлексивные процессы». 1994. № 1. С. 29–33.
Поспелов Д. А. «Серые» и/или «черно-белые» // Прикладная эргономика. Специальный выпуск «Рефлексивные процессы». 1994. № 1. С. 29–33.
Рисунок 1.
«Кольцевая» шкала
Соответственно для преодоления ограничений, связанных с применением булевой алгебры, для решения задачи формализации понятия этики в ИИ целесообразно применить многозначную логику, которая играет очень важную роль для развития различных неклассических парадигм в ИИ. Многозначная логика – это тип формальной логики, в которой допускается более двух истинностных значений для высказываний. Использование многозначных логик для формализации понятия этики ИИ также сопряжено с определенными сложностями. В частности, переход от трехзначной логики к четырехзначной может потребовать кардинальной «переделки» соответствующих математических конструкций, что фактически означает необходимость решения указанной задачи заново. Кроме того, важным препятствием использования многозначных логик, в ряде случаев, является проблема противоречивости.
Карпенко А. С. Развитие многозначной логики. 3-е изд. М.: Издательство ЛКИ, 2010. 448 с.

Финн В. К. Интеллектуальные системы и общество: Сборник статей. М.: КомКнига, 2006. 352 с.

Кузнецов О. П. Неклассические парадигмы в искусственном интеллекте // Известия РАН. Теория и системы управления. 1995. № 5. С. 3–23.

Тарасов В. Б. От многоагентных систем к интеллектуальным организациям: философия, психология, информатика. М.: Эдиториал УРСС, 2002. 352 с.

Достоверный и правдоподобный вывод в интеллектуальных системах / В. Н. Вагин, Е. Ю. Головина, А. А. Загорянская, М. В. Фомина; Под ред. В. Н. Вагина, Д. А. Поспелова. М.: Физматлит, 2008. 712 с.
В свою очередь, преодоление сложностей использования многозначной логики, для формализации понятий этики ИИ, является применение вероятностного аппарата и нечеткой логику. Нечеткую логику можно считать неким обобщением многозначной логики. К известным особенностям применения методов, основанных на использовании нечеткой логики, можно отнести их неустойчивость относительно исходных данных (различные методы могут приводить к разным результатам).
Zadeh L. A. Fuzzy sets // Information and Control. 1965. Vol. 8, no. 3. Pp. 338–353.

Шрейдер Ю. А., Мусхелишвили Н. Л. Проблема неполного добра в модели ценностной рефлексии по В. А. Лефевру // Системные исследования. Методологические проблемы. Ежегодник / Под ред. Д. М. Гвишиани, В. Н. Садовского. № 25. 1997. М.: УРСС, 1997. С. 213–224.
Тарасов В. Б. От многоагентных систем к интеллектуальным организациям: философия, психология, информатика. М.: Эдиториал УРСС, 2002. 352 с.
Еще одним математическим аппаратом, весьма перспективным для формализации понятия этики в ИИ, является применение теории решеток, и в частности – этических решеток (см. рисунок 2). В рамках теории решеток исследуются частично упорядоченные множества. Рассмотрим небольшой пример использования на практике этических решеток. Предположим, человек случайно находит на улице огнестрельное оружие (пистолет). Соответственно, используя этические решетки, появляется возможность проанализировать несколько сценариев поведения (см. рисунок 2). Первый сценарий предполагает возможность продажи пистолета каким-то злоумышленникам (преступникам), что означает получение какой-то выгоды (денег), но такой шаг сопряжен с нарушением закона. Второй сценарий связан с добровольной передачей пистолета правоохранительным органам (полиции). В этом случае для человека это будет невыгодно (т.к. денег он не получит), но законно. В рамках третьего сценария предполагается оставить пистолет у себя. При таком сценарии это будет и невыгодно и незаконно.
Биркгоф Г. Теория решеток. М.: Наука, 1984. 568 с.

Кузнецов С.О. Методы теории решеток и анализа формальных понятий в машинном обучении. // Новости искусственного интеллекта. 2004. № 3. С. 19-31.
Таран Т. А. Булевы модели рефлексивного управления в ситуации выбора // Автоматика и телемеханика. — 2001. № 10. С. 103–117.
Таран Т. А. Булевы модели рефлексивного управления в ситуации выбора // Автоматика и телемеханика. — 2001. № 10. С. 103–117.
Рисунок 2.
Пример этической решётки
Еще одним возможным подходом для формализации понятия этики ИИ является использование методов вербального анализа решений (ВАР). Группа методов ВАР опирается на использование достижений различных научных дисциплин: когнитивной психологии (измерения, операции получения информации при построении решающего правила, поэтапное построение решающего правила); прикладной математики (обоснование вида решающего правила, методов получения и проверки информации на непротиворечивость); теории организаций (получение объяснений); компьютерных наук (диалог человек-компьютер). Разработанные в рамках этого подхода методы принятия решений позволяют при анализе вариантов сложных решений органично сочетать качественную и количественную информацию об альтернативах, суждения экспертов и предпочтения лиц, принимающих решения, объективные и субъективные факторы, характерные для проблемной ситуации.
Ларичев О. И. Вербальный анализ решений. — М.: Наука, 2006. — 181 с.
Например, применительно к обозначенной проблеме формализации этики в ИИ, с использованием методов ВАР, возможна следующая постановка задачи. Если в рамках этики ИИ разработать некоторый перечень норм, то степень соответствия той или иной норме можно рассматривать как задачу многокритериальной порядковой классификации. Соответственно, на основе анализа таких норм этики ИИ, мы должны будем принять решение о том, что либо нормы полностью соблюдены, либо есть некоторое несущественное их нарушение, либо наблюдается какой-то заметный отход от принятых норм и т. п. То есть нам будет нужно отнести определенную совокупность оценок по каждой из норм к некоторому классу решений (категории).
Метод многокритериальной классификации ЦИКЛ и его применение для анализа кредитного риска / А. А. Асанов, О. И. Ларичев, Г. В. Ройзензон и др. // Экономика и математические методы. — 2001. — Т. 37, № 2. — С. 14–21.

Ларичев О. И. Вербальный анализ решений. — М.: Наука, 2006. — 181 с.
К положительным сторонам использования методов ВАР прежде всего можно отнести то, что к исходным данным не применяются никакие операции по их переводу в количественную форму. Известно, что перевод вербальных измерений в «цифру» зачастую весьма субъективен и не имеет строгого математического обоснования. Кроме того, методы ВАР позволяют получить объяснения принятых решений (интерпретация результата) в терминах предметной области, здесь – в терминах описания норм этики ИИ. Помимо этого, построенная классификация гарантированно является непротиворечивой. В качестве недостатков методов ВАР можно отметить большие трудозатраты эксперта или лица, принимающего решения, при работе в признаковом пространстве большой размерности. В этом случае необходимо применять различные методы снижения его размерности.
Ройзензон Г. В. Способы снижения размерности признакового пространства для описания сложных систем в задачах принятия решений // Новости искусственного интеллекта. — 2005. — № 1. — С. 18–28.
Таким образом, можно констатировать, что к настоящему моменту разработан широкий спектр инструментальных средств, опирающихся на самые различные математические конструкции, позволяющие успешно решить задачу формализации этических норм в ИИ.