3.6 Искусственный интеллект в государстве: этика и доверие

Автор раздела
Нестик Т. А.

Время чтения — 10 минут
Доверие к системам ИИ тесно связано с социальным доверием: быстрее всего ИИ внедряется в госуправлении стран с высоким доверием к социальным институтам. Госрегулирование использования систем ИИ не может полагаться исключительно на мнение большинства, но и не должно ориентироваться исключительно на этические теории, без учета мнения избирателей.
Государственное управление основано на сборе и анализе огромных объемов данных, и в этой области применение ИИ имеет огромный потенциал. Авторы отечественного аналитического обзора по ИИ отмечают: «Использование И И в госуправлении находится в стадии продвинутых экспериментов во многих странах. В первую очередь это происходит по двум основным направлениям: аналитическая работа с информацией и автоматизация рутинных интеллектуальных процессов, которая может привести к их существенной трансформации. Использование И И в сумме с другими линиями технологической трансформации аппарата управления может дать такие результаты, как гибкая адресная помощь со стороны социальных и коммунальных служб, предиктивное предоставление услуг в здравоохранении, реагирование в чрезвычайных ситуациях, высокотехнологичный риск-ориентированный надзор и тому подобное».
Вместе с тем сегодня мировые СМИ склонны обсуждать ИИ как сенсацию, подогревают ожидания радикальных изменений, страхи и необоснованные надежды. Большинство считают, что развитие технологий ИИ еще больше увеличит пропасть, разделяющую бедных и богатых, но при этом переоценивают возможности таких систем. Алгоритмы и большие данные «фетишизируются», их возможности в решении социальных проблем переоцениваются. Тем не менее готовность использовать системы ИИ определяется скорее не их понятностью для граждан, а степенью доверия к их разработчикам и другим пользователям.
Edelman AI Survey Report, 2019 // Edelman.
Smith G. J.. Data doxa: The affective consequences of data practices // Big Data & Society. 2018. Vol.5, no 1.

Levy K. E., Johns D. M. When open data is a Trojan Horse: The weaponization of transparency in science and governance // Big Data & Society.
Нестик Т. А. Перспективы психологических исследований внедрения технологий искусственного интеллекта // Цифровое общество в культурно-исторической парадигме / Под ред. Т. Д. Марцинковской, В. Р. Орестовой, О. В. Гавриченко. М.: МГППУ, 2019. С. 13–22.
Внедрение алгоритмов, принимающих решения и предсказывающих поведение граждан, со временем приведет к технократическому и бюрократическому управлению, когда снизится процент решений, принимаемых людьми. Многие исследователи предупреждают о том, что чрезмерная зависимость от ИИ устраняет обещанный нейтралитет и объективность правительственных функций, создавая ощущение отсутствия контроля у граждан и служащих госсектора.
Janssen M., Kuk G. The challenges and limits of big data algorithms in technocratic governance // Government Information Quarterly. 2016. Vol. 33, no 3. P. 371–377.
В октябре 2019 года Президент Р Ф утвердил Национальную стратегию развития искусственного интеллекта на период до 2030 года. В качестве показателя, характеризующего рост спроса на технологии ИИ, утверждено увеличение количества организаций, в том числе организаций социальной сферы, и государственных органов, использующих ИИ для повышения эффективности своей деятельности. Форсированное внедрение систем ИИ в работу государственных служб требует высокого доверия граждан к государству. Это хорошо видно по данным исследования «Сопоставительный анализ отдельных показателей электронного правительства» (Digital Government Benchmarking), проведенного компанией BCG: наиболее быстрыми темпами системы ИИ внедряются в государственном управлении в странах с высоким доверием к социальным институтам: в Индии, Китае, Индонезии и ОАЭ. Не случайно использование компьютерного зрения для распознавания лиц прохожих на улицах вызывает ожесточенные публичные дискуссии в европейских СМИ, тогда как в Китае внедряется обязательное распознавание лиц для всех пользователей мобильной связи.
Низкое институциональное доверие, характерное для большинства стран, усиливает техно-гуманитарный дисбаланс, когда внедрение новых технологий опережает способность общества договариваться о правилах их использования. Технологический оптимизм, в том числе среди российской молодежи и руководителей государственных учреждений, оказывается компенсацией социального пессимизма: алгоритмы и системы ИИ рассматриваются как лекарство от коррупции, воспринимаются в качестве «протезов» для плохо работающих судов, медицинских и образовательных учреждений.
Edelman AI Survey Report, 2019 // Edelman.
Журавлев А. Л., Нестик Т. А. Социально-психологические последствия внедрения новых технологий: перспективные направления исследований // Психологический журнал. 2019. Т. 40, № 5. С. 35–47.
Психологические исследования показывают, что доверие к киберфизическим системам отличается от доверия к людям и легко сменяется абсолютным недоверием. Обвал доверия к ИИ и основанным на нем робототехническим системам может повлечь за собой еще больший кризис доверия к социальным институтам ― государству, бизнесу и общественным организациям. Хрупкость доверия к ИАС ставит перед руководителями государственных служб задачу не только информировать граждан о том, какие программные решения используются в цифровых государственных услугах, но и о том, каковы этические принципы госслужащих, непосредственно управляющих конкретными ИАС.
Jian J.-Y., Bisantz A. M., Drury C. G. Foundations for an Empirically Determined Scale of Trust in Automated Systems // International Journal of Cognitive Ergonomics. 2000. Vol. 4, no 1. P. 53–71. DOI: 10.1207/S15327566IJCE0401_04.
Существует так называемый эффект ИИ: пользователи не знают о том, где используется ИИ, причем чем чаще применяется эта технология, тем менее она заметна для человека (рисунок 8). Так, большинство пользователей не отдают себе отчета в том, что технологии ИИ задействованы в поисковых запросах, формировании ленты новостей и рекомендациях в социальных сетях.
Рисунок 8
Последствия переоценки возможностей ИИ
Ограничения, навязываемые алгоритмами, чаще всего неизвестны пользователям, даже если они описаны в пользовательской документации. Лишь треть интернет-пользователей утверждают, что когда-либо читали соглашения о предоставлении услуг и использовании ПД. При этом анализ цифровых следов на серверах показывает, что на самом деле соглашения читают менее 1% пользователей. Более того, алгоритмы превращаются в «архитектуру выбора», подталкивающую пользователей к решениям, которые должны повысить качество их жизни.
Талер Р., Санстейн К. Nudge. Архитектура выбора. Как улучшить наши решения о здоровье, благосостоянии и счастье. М.: Манн, Иванов и Фербер, 2017.
Журавлев А. Л., Нестик Т. А. Социально-психологические последствия внедрения новых технологий: перспективные направления исследований // Психологический журнал. 2019. Т. 40, № 5. С. 35–47.
Даже если в основе такого цифрового патернализма будет защита прав человека, использование алгоритмов, корректирующих несовершенство человеческой природы ради благих целей, может способствовать снижению осознанности и рефлексивности общества. С этой точки зрения ключевые этические дилеммы, стоящие перед руководителями в условиях форсированной цифровой трансформации, сводятся к выбору между скоростью внедрения общественно полезных систем ИИ и их обсуждением с различными заинтересованными сторонами, а также между использованием систем ИИ как «замены» субъективности человека и их применением для развития критического мышления пользователей и повышения осознанности решений, принимаемых гражданами.
Внедрение И И в сферу государственных услуг может быть сопряжено с искушением не информировать граждан о том, что с ними взаимодействует именно робот
Современные технологии все чаще позволяют скрыть использование ботов во взаимодействии с пользователями. Известно, что доверие к роботам и программам выше в том случае, когда оказываемая ими услуга похожа на взаимодействие с человеком. Внедрение И И в сферу государственных услуг может быть сопряжено с искушением не информировать граждан о том, что с ними взаимодействует именно робот. Как показала серия экспериментов, люди более склонны к кооперации с ботами, выдающими себя за людей. При понимании, что партнер является ботом, доверие снижается. Более того, раскрывшие себя боты при взаимодействии с людьми обучаются не ждать от своих партнеров готовности к сотрудничеству. Эти психологические закономерности ставят госслужащих перед выбором между эффективностью услуги и ее прозрачностью для пользователей. Особенно сложным выбор становится в здравоохранении и при чрезвычайных ситуациях, когда рекомендации бота могут спасти жизнь.
Calhoun C. S., Bobko Ph., Gallimore J. J. et al. Linking precursors of interpersonal trust to human-automation trust: An expanded typology and exploratory experiment // Journal of Trust Research. 2019. Vol. 9, no 1. P. 28–46. DOI: 10.1080/21515581.2019.1579730.
Ishowo-Oloko F., Bonnefon J., Soroye Z.et al. Behavioural evidence for a transparency–efficiency tradeoff in human–machine cooperation // NatMachIntell. 2019. Vol.1. P. 517–521. DOI: 10.1038/s42256-019-0113-5.
Еще одной проблемой является выбор критериев этичности того или иного решения, как было рассмотрено выше (см. раздел 3.4.3). Очевидно, что государственное регулирование использования систем ИИ не может полагаться исключительно на мнение большинства. Истории известны многочисленные примеры того, как сильно общественное мнение зависит от психологических механизмов отчуждения моральной ответственности, коллективных страхов и конформности. Чтобы убедиться в этом, достаточно вспомнить историю холокоста, маккартизм, борьбу за избирательные права женщин и т. д. Тем не менее у регуляторов рынка ИИ нет возможности ориентироваться исключительно на этические теории, не учитывая мнения избирателей.
Возможным способом решения этой проблемы может быть создание этической инфраструктуры, обеспечивающей обсуждение этических проблем развития ИИ с опорой на делиберативные формы демократии, так называемые ассамблеи граждан, общественные группы и городские советы.
Руденко В. Н. Формы алеаторной демократии: генезис и развитие // Науч. ежегодник Института философии и права Уральского отделения РАН. 2018. Т. 18, вып. 4. С. 97–125.
NYC Automated Decision Systems Task Force Report. [S.l.,] 2017.

В 2018 году в Нью-Йорке был принят закон, направленный на предотвращение дискриминации посредством алгоритмов, используемых государственными службами, он стал основанием для создания общественной группы экспертов, проводящих анализ правовых и этических аспектов работы городских систем автоматизированного принятия решений. В ноябре 2019 года в Нью-Йорке появилась новая должность — сотрудник по вопросам алгоритмов (Algorithms Management and Policy Officer) в Управлении делами мэра. Его главными обязанностями являются борьба с предвзятостями в алгоритмах и повышение ответственности за принимаемые ими решения.
Рисунок 9
Этика и общество как основа для регулирования ИИ
Выработка норм в области развития ИИ может опираться на поиск соответствия между этическими теориями и мнением граждан (рисунок 9): например, согласно практически всем этическим концепциям и международным опросам, число спасенных жизней — важный критерий для решений, принимаемых самоуправляемыми автомобилями на дороге.

Безусловно, системы ИИ могут повысить внимание госслужащих к этическим аспектам решений, которые они принимают ежедневно. В повседневной жизни мы то и дело сталкиваемся со случаями нарушения социальных норм; если мы не видим возможности повлиять на ситуацию, то прибегаем к множеству стратегий отчуждения моральной ответственности:

  • ссылаемся на корпоративные правила или высокие нравственные цели;
  • используем эвфемизмы, описывая свое поведение («воздержался» вместо «промолчал»);
  • перекладываем ответственность на других людей («так решило руководство»);
  • обесчеловечиваем тех, кто пострадал от безответственного поведения («с такими людьми приходится работать») или делаем их виновниками случившегося («никто не пытался ввести его в заблуждение, это был его выбор»).
Savulescu J., Kahane G., Gyngell C. From public preferences to ethical policy // Nature Human Behaviour. 2019. Vol. 3. P. 1241–1243. DOI:10.1038/s41562-019-0711-6.
Bandura A. Selective Moral Disengagement in the Exercise of Moral Agency // Journal of Moral Education. 2002. Vol. 31, no 2. P. 101–119. DOI: 10.1080/0305724022014322.
В основе защитных механизмов лежит стремление сохранить положительную самооценку. Растущая цифровая прозрачность и «квантифицируемость» социальной жизни и поддержка принятия решений с помощью систем ИИ могут ослабить убедительность некоторых стратегий самооправдания, а также сделать их более осознаваемыми для нас самих.
В ближайшие годы можно ожидать появления программ, основанных на технологиях ИИ и выполняющих функции «когнитивных протезов», например, они помогают преодолеть откладывание на потом, компенсировать свойственную людям недооценку будущего, визуализировать сценарии развития событий. В частности, такие программы предлагается использовать, чтобы психологически «приблизить» катастрофические последствия изменения климата.
Lieder F., Chen O.X., Krueger P.M. et al. Cognitive prostheses for goal achievement // Nature Human Behaviour. 2019. Vol. 3. P. 1096–1106. DOI:10.1038/s41562-019-0672-9.
Rolnick D., Donti P.L., Kaack L.H. et al. Tackling Climate Change with Machine Learning // Cornell University. URL: arXiv:1906.05433v24; Schmidt V., Luccioni A., Mukkavilli S.K. et al. Visualizing the consequences of climate change using cycle-consistent adversarial networks// Cornell University. URL: arXiv:1905.03709.
В сообществах специалистов по анализу больших данных все большее признание получает перспективность создания таких систем ИИ, которые не заменяют человека, а дополняют его. Сегодня становится возможным искать и привлекать к разработке решений самых разных экспертов как внутри правительства, так и в гражданском обществе. Особенно важными в этой области становятся системы поддержки коллективного интеллекта: ИИ используется в краудсорсинговых сообществах и публичных дебатах.
Noveck B.S. Smart Citizens, Smarter State: The Technologies of Expertise and the Future of Governing. Cambridge, MA: Harvard University Press, 2015.

Платформа Assembl с помощью технологий ИИ поддерживает обмен мнениями в муниципальных сообществах метрополии Большого Парижа. С помощью технологий ИИ, предоставляемых компанией Insights. US, Госдепартамент США собирает и анализирует предложения по совершенствованию процедуры выдачи паспортов. Платформа POPVOX на основе ИИ позволяет повысить эффективность взаимодействия избирателей с конгрессменами в США при разработке новых законодательных инициатив. Такого рода инструменты могут быть использованы и для выработки правил внедрения систем ИИ в повседневную жизнь.
По-видимому, для преодоления социального пессимизма предстоит превратить ИИ из «протеза» для плохо работающих социальных институтов в посредника, позволяющего людям лучше понять друг друга, развить в себе сопереживание и способность к диалогу для выработки этически взвешенных решений.