5.3 Государственная слежка — «Большой брат»

Технология распознавания лиц существует уже несколько десятков лет как область
применения теории распознавания образов. В свою очередь, распознание образов изучается как один из неотъемлемых видов деятельности человеческого мозга (рисунок 16).

Видеонаблюдение с функцией распознавания лиц становится все более популярным средством обеспечения безопасности в местах скопления людей, на промышленных и коммерческих объектах, в финансовой и других сферах. Государству технология распознавания лиц интересна, в первую очередь, для обеспечения общественной и национальной безопасности и борьбы с преступностью, в том числе для противодействия терроризму. Сложность заключается в установлении справедливого баланса общественных и частных интересов, обеспечения безопасности и защиты прав гражданина (рисунок 17).

Китай — мировой лидер по количеству установленных камер (200 млн в 2018 году) с функцией системы распознавания лиц: по данным Comparitech, 8 из 10 самых контролируемых городов мира находятся в Китае. В 2019 году там стало проявляться общественное недовольство. Один из первых исков против неоправданного применения технологии распознавания лиц подал профессор права в университете после того, как ему пришлось проходить обязательную регистрацию по лицу для посещения сафари-парка, а после отказа ему не выплатили компенсацию за оплаченный билет.

Распознавание лиц активно используется в большинстве технологически развитых стран мира в качестве дополнительной возможности систем видеонаблюдения. Общепринятая точка зрения по поводу этичности применения системы распознавания лиц пока не сформировалась.

В России отношение к технологии распознавания лиц также неоднозначное, в том числе к отечественным разработкам. Департамент информационных технологий Москвы регулярно сообщает в СМИ детали разворачивания широкомасштабной системы слежения с распознаванием лиц на улицах столицы.

Сочетание нескольких технологий повышает точность идентификации людей на видеоизображениях. Помимо распознавания лиц разрабатываются системы распознавания эмоций, опознавания лиц с помощью татуировок, особенностей походки и контура фигуры и др.

Технология может быть использована не только для опознания уличных преступников, воров, грабителей и т. д., но и для контроля отдельных людей, особенно в случае злоупотребления доступом к системам видеонаблюдения. Для всех наблюдение ведется в добровольно-принудительном порядке и с недостаточным уровнем защиты данных. Например, в конце 2019 года можно купить выписку из системы распознавания лиц как на себя, так и на другого человека, на «черном рынке» в Москве.

Скоринг — это технология расчета оценки и присвоения рейтинга пользователя по определенным критериям для выявления его ценности в качестве клиента, например при выдаче банковского кредита, аренде квартиры, получении социальной помощи, госуслуг, а также для выявления потенциальных рисков, связанных с предоставлением услуги данному пользователю. Системы социального рейтинга, любые системы ранжирования или определения значимости клиента и гражданина — это скоринговые системы.

Несмотря на очевидную пользу, применение скоринговых систем создает целый ряд этических проблем (в первую очередь нарушение приватности и дискриминация граждан), и их предстоит решать уже в ближайшее время. Крупные компании и госорганы начинают использовать скоринг для ранжирования граждан для предоставления услуг и снижения рисков. Некоторые методы получения данных вызывают этические вопросы, но возможности применения скоринговых систем (в первую очередь банками и страховыми компаниями) настолько широки, что в ближайшее время не стоит ожидать серьезных самоограничений со стороны их владельцев.

Нарушение приватности, наверное, одна из самых частых этических проблем (см. раздел 5.1). Подбор показателей для скоринга во многом зависит от профессионализма разработчиков алгоритмов и доступа к различным данным, в первую очередь к ПД и данным из различных баз. Для скоринговых систем представляют ценность данные об уплаченных налогах, совершенных правонарушениях, состоянии здоровья, предыдущих местах работы и т. п. Также скоринговые системы могут без уведомления людей использовать пользовательские и персональные данные, которые люди оставляют вместе с общим согласием на обработку, когда обращаются к сервисам.

Дискриминация в скоринговых системах возникает из-за ошибок в работе алгоритмов и предубеждений (не всегда явных или заложенных нарочно) в данных, на которых обучался алгоритм. Крупные финансовые и страховые компании заинтересованы в скоринговых системах, чтобы с их помощью определять, с какими клиентами выгодно или нет иметь дело, в том числе путем целевой дискриминации отдельных социальных групп. Например, банк может отказать в ипотеке клиенту с инвалидностью, а страховая компания — предложить более дорогую страховку клиентам, у которых, по данным из системы здравоохранения, есть риск появления серьезного заболевания в ближайшие 5−10 лет.

Участие общественных организаций и диалог с гражданами с привлечением СМИ помогают госслужащим выявлять ошибки и недостатки скоринговых систем, предвзятости в алгоритмах. По данным Algorithm Watch, в нескольких странах проводили эксперименты по внедрению скоринга граждан, чаще всего для выявления случаев обмана служб соцобеспечения и потенциально общественного опасного поведения. Но ни одна страна Евросоюза не планирует и не вводит систему единого социального рейтинга для всего населения, и маловероятно, что это когда-либо произойдет. Усредненный рейтинг на основе множества разрозненных показателей, как это реализовано в китайских системах скоринга, не дает государству достоверной картины о гражданине и не применим ни в одной сфере, по крайней мере в рамках европейской модели защиты ПД и европейских ценностей.

Главная цель системы — повысить уровень удовлетворенности рынка и общества за счет культивирования искренности и доверительных отношений на всех уровнях. Дополнив западную систему кредитного рейтинга более широкими показателями, зачастую не имеющими прямого отношения к финансовому положению, Китай стремится создать систему регулирования поведения компаний и частных лиц с целью решить самые разные проблемы: от мошенничества на рынке до коррупции в правительстве. В системе предусмотрены более высокие требования к госслужащим, чем к остальным гражданам, и наказания, соответственно, серьезнее.

Коммунистическая партия Китая (КПК) создала «обширную и глобальную экосистему сбора данных», в которую входят государственные предприятия, китайские технологические компании и иностранные партнеры. В Китае находится самый мощный в мире инструмент для цензуры и наблюдения, известный как «Золотой щит», или «Великий китайский файрвол». Система включает в себя автоматизированные механизмы для блокировки онлайн-критики отдельных лиц, политики или событий, которые считаются неотъемлемой частью КПК и государства. По официальным данным, в 2015—2017 годах были заблокированы или закрыты более 13 000 сайтов. Новые требования и ограничения появляются регулярно. Например, в сентябре 2019 года Администрация киберпространства, главный регулятор Китая, обнародовала проект постановления об управлении киберпространственной системой, согласно которому китайские соцсети, сайты и приложения должны с помощью алгоритмов на основе ИИ рекомендовать пользователям материалы, которые придерживаются основных ценностей, включая партийную политику.

ССК в самой жесткой форме, наиболее близкой к образу «Большого брата», нашла применение в китайской провинции Синьцзян. Там с 2009 года правительство Китая активно внедряет технологические методы слежки в ответ на усиление сепаратистских движений уйгуров. Сегодня в провинции действует одна из самых крупных в мире по плотности систем видеонаблюдения. Вся собранная информация сопоставляется с биометрическими данными, перемещениями по городу и провинции, действиями в приложениях и т. д. Жители провинции оцениваются на основе их профиля, который учитывает семейные отношения, социальные связи, вероисповедание, национальность, контакты и поездки за границу. По результатам мониторинга гражданина включают в одну из трех категорий: безопасный, нейтральный и опасный. Граждан, которые расцениваются как «опасные», отправляют в политические лагеря для «перевоспитания». В так называемых лагерях политического образования содержится до миллиона человек.

Опасение вызывает стремительное развертывание китайских телекоммуникационных систем в мире. По мере того как Китай строит большую часть важнейшей телекоммуникационной инфраструктуры в мире, внедряя там свои технологии и компоненты, глобальные данные могут стать более доступными для китайских спецслужб и правительства как легальными, так и нелегальными способами. В 2019 году Китай стал поставщиком систем видеонаблюдения для 63 стран мира, в числе компаний-экспортеров — Huawei, ZTE, Dahua. В докладе ASPI отмечается, что отдельные проекты"умных" городов с китайскими технологиями видеонаблюдения запущены в некоторых странах Западной Европы, теоретически возможен сбор данных и их передача правительству Китая.

В декабре 2019 года стало известно, что Китай планирует всего за три года заменить все аппаратное и программное обеспечение для работы госорганов и организаций на аналоги, произведенные внутри страны. Независимо от места использования компьютеров и телекоммуникационных сетей и физического места хранения данных принципиально важно, кто является производителем оборудования. Все это призвано укрепить цифровой суверенитет страны, попутно развивая собственный рынок и стимулируя производителей.

В России система государственного скоринга пока не сформировалась, зато есть понятие «черные списки», они бывают временными (нельзя занимать некоторые должности, пока не погашена судимость) или постоянными (некоторые должности закрыты навсегда при наличии судимости). Вместе с тем, в отличие от многих стран мира, в России есть свои собственные социальные сети, почтовые онлайн-сервисы и крупные торговые онлайн-площадки, своя поисковая система — все это потенциально может быть использовано для создания национальной, достаточно автономной системы государственного рейтинга (или нескольких). Например, российская компания Mail.ru Group имеет доступ к уникальным данным соцсетей «Одноклассники» и «ВКонтакте», базе Mail.ru, переписке в электронной почте и др. Благодаря множеству сервисов компания Яндекс имеет еще больше информации о гражданах даже без социальных сетей. И та и другая компания может сложить воедино огромное количество данных по множеству критериев и разработать свою скоринговую систему.

По сравнению с бинарной моделью «черных списков» скоринговая модель государства более гибкая, но тоже имеет свои преимущества и недостатки:

В полной мере «Большого брата», как его описывал Оруэлл, нет еще ни в одной стране мира, однако его появление все ближе и ближе. За последние годы по всему миру распространилась практика массовой слежки через интернет и камеры видеонаблюдения, а с развитием технологий ИИ и обработки больших данных растут возможности применения скоринговых систем. Иван Ниненко, член экспертного совета Future Foundation, отмечает, что «система социального рейтинга неизбежно будет распространяться по миру. Вопрос в том, как она будет устроена, каким целям будет служить и как сильно будет направлять человека, какая останется степень свободы у человека и какой будет степень контроля со стороны государства и системы».

Существующие системы социального рейтинга в Китае частично воспроизводят функции «Большого брата». Стоит учитывать, что их внедрение происходило в условиях низкого уровня доверия граждан друг другу и в то же время высокого уровня доверия к государству. В западных странах обществом негативно воспринимается применение технологий без очевидной общественной пользы — с репрессивными целями, ограничением свободы человека и с массовыми нарушениями приватности. В России препятствиями для «Большого брата» станут, в частности, несогласованность интересов различных правоохранительных органов (от которых зависит реализация системы предиктивной полиции) и недостаточный уровень доверия граждан государству. По видимости, появление систем «государственной слежки» менее вероятно в тех странах, в которых уделяется много внимания приватности и защите прав человека, а при принятии решений изучается и учитывается их польза для жителей конкретной страны.