Искусственный интеллект и финансовые услуги

Выступление члена Совета Управляющих ФРС США Лаел Брейнард на научном симпозиуме по искусственному интеллекту в Совете Управляющих ФРС, Вашингтон

12 января 2021г.

Назад к Речам-2021

Сегодняшний симпозиум по использованию искусственного интеллекта (ИИ) в финансовых услугах (ФУ) является частью более широкой работы Федрезерва по выработке понимания, как ИИ может быть применен к ФУ, оценке методов управления рисками, вытекающими из ИИ, и определения, как банковские регуляторы могут поддержать ответственное использование ИИ и полезные результаты такого использования посредством совершенствования надзорных правил и стандартов.

Потенциальный масштаб приложений ИИ очень широк. Например, ученые обращаются к ИИ, чтобы анализировать изменение климата, одну из центральных проблем нашего времени. С его нелинейными закономерностями и точками невозврата изменение климата – очень сложный процесс, и количественный обсчет для оценки рисков требует анализа огромного массива данных, задачи, для которой сфера ИИ и машинного обучения особенно хорошо подходит. Журнал Nature недавно сообщил о разработке сети ИИ, которая сможет «в огромной степени ускорить работу по пониманию «строительных элементов» клетки и позволит более быструю и совершенную разработку лекарств», точно предсказывая форму белка в 3D по его аминокислотной последовательности.

Применение ИИ в ФУ

В ноябре 2018 я поделилась некоторыми соображениями по использованию ИИ в ФУ.

С тех пор технологии быстро развивались, и их потенциальные возможности стали более понятны. Финансовые фирмы используют или начинают использовать ИИ для операционного риск-менеджмента и для приложений работы с клиентами. Растет интерес к использованию ИИ для предотвращения мошенничества и увеличения безопасности. Каждый год потребители несут убытки от мошенничества. Только в 2019, согласно Федеральной комиссии по торговле, «население сообщило о потерях на сумму $1,9 млрд» от этого, что составляет лишь незначительную долю всей мошеннической деятельности, с которой приходится иметь дело банкам. Инструменты на базе ИИ могут играть важную роль в мониторинге, обнаружении и предотвращении такого мошенничества, особенно в связи с перемещением ФУ в онлайн-сферу.

Модели машинного обучения используются для анализа традиционных и альтернативных данных в сфере кредитования и анализа кредитных рисков, с тем, чтобы получить знания, которые нельзя получить традиционными методами оценки, и оценивать кредитоспособность потребителей, которые могут не иметь традиционной кредитной истории. Бюро финансовой защиты потребителей обнаружило, что около 26 млн американцев являются «невидимками» с точки зрения кредитования, то есть не имеют кредитной истории, и еще 19,4 млн имеют недостаточную историю для того, чтоб можно было генерировать какой-либо рейтинг. Чернокожие и латиносы традиционно с большей вероятностью «невидимы». Консультативный совет ФРС, в который входит широкий круг банковских организаций со всей страны, недавно заметил, что нетрадиционные данные и ИИ имеют потенциал «улучшить точность и справедливость кредитных решений, одновременно улучшив общую доступность кредита».

Однако надо также понимать, что неправильное использование ИИ может усилить неравенство. Например, если модель построена на исторических данных, в которых отражается расистский уклон, то такой уклон может быть встроен и в текущие решения, если не предпринять мер. По мере внедрения инноваций надо встраивать надлежащие защитные меры и делать так, чтобы ИИ обеспечивало равноправные результаты, увеличивало равенство возможностей, защищало людей, традиционно маргинализируемых в обществе, а не просто оптимизировало и повышало производительность процессов.

Проблемы черного ящика

Признав потенциал и слабые места ИИ, давайте обратимся к одному их главных вызовов использования ИИ в ФУ—отсутствию прозрачности моделей. Некоторые из самых сложных моделей машинного обучения (ММО), например, некоторые нейронные сети, оперируют на таком уровне сложности, что трудно или невозможно понять, как работает модель. Часто это называют «проблемой черного ящика», потому что мы можем наблюдать вводную информацию, а также изучать прогнозы или классификацию, которую производит модель, но процесс прохождения от исходных данных до результата закрыт и сложен для понимания.

В основном есть две причины того, что ММО часто непрозрачны. Одна – это то, что «строит» модель алгоритм, а не человек. Разработчики пишут начальный алгоритм и загружают в него релевантные данные, но не уточняют, как решить поставленную задачу. Этот алгоритм использует исходные данные для построения потенциально сложной спецификации модели, которая, в свою очередь, уже делает прогнозы или иной искомый результат. Как говорит Майкл Тика (из Google), «проблема в том, что знание грузится в сеть, а не в нас. Мы что-то поняли? На самом деле нет – сеть поняла». Это несколько иное, чем традиционная эконометрика и другие статистические модели, которые разрабатываются и чьи характеристики закладываются человеком.

Вторая причина – ММО, по крайней мере некоторые, способны принять во внимание больше нелинейных сложных взаимодействий, чем большинство традиционных моделей, и так, как человек не способен определить сам по себе. Способность выявлять тонкие и сложные закономерности – то, что делает машинное обучение таким мощным инструментом, но эта сложность делает также такие модели непрозрачными и интуитивно непонятными. Ход Липсон сравнивает это со «встречей с разумным существом, чьи глаза имеют такие рецепторы, которые различают не только первичные цвета красный, зеленый и синий, но и какой-то четвертый цвет. Для человека было бы очень трудно понять, как такое существо видит мир, а для существа – объяснить это нам».

Важность контекста

Хотя проблема черного ящика трудна, но во многих случаях разрешима. Специалисты по ИИ сделали заметные успехи в объяснении сложных ММО; некоторые из наших сегодняшних докладчиков внесли свой вклад. Один важный вывод этой работы состоит в том, что не обязательно должен быть один принцип или один подход ко всем моделям. Объяснение служит многим целям, и то, что делает объяснение «хорошим», зависит от контекста. В частности, чтобы объяснение решило проблему черного ящика, оно должно учитывать, кто задает вопрос и что модель прогнозирует.

Так что же банкам нужно от объяснений машинного обучения? Необходимый уровень и тип «объясняемости» будет зависеть отчасти от роли индивидуума, использующего модель. Банковские сотрудники, взаимодействующие с ММО, будут, естественно, иметь различные роли и разный уровень технической подготовки. Объяснение, которое требует научной степени в области математики или компьютерных наук, может быть подходящим для разработчиков, но мало пригодится юристу, ответственному за управление рисками по широкому кругу банковских операций.

Уровень и тип «объясняемости» будет также зависеть от использования модели. В контексте защиты потребителей, потребности потребителей и объективность могут определять параметры объяснения.

Важно, что законы о защите потребителей требуют от кредиторов, которые отказывают в потребительском кредите – или предлагают его на существенно худших условиях, нежели другим заемщикам – дать объяснение причин такого решения. Такое объяснение служит важной цели – не только помочь потребителю понять причину отказа, но и объяснить, какие он может предпринять шаги для улучшения своего кредитного профиля.

Кроме этого, для обеспечения соответствия модели с законодательством о справедливом кредитовании, которое запрещает дискриминацию, нечестные и вводящие в заблуждение практики, фирмы должны понять основание, по которому ММО определяет кредитоспособность. К сожалению, как мы видели, потенциально модели ИИ могут функционировать непредсказуемым образом и отражать и даже усиливать несправедливые тенденции в обществе. Были неоднократные сообщения о том, как ММО закрепляют существующие негативные тенденции в областях от кредитования и найма на работу до опознавания внешности и даже здравоохранения. Например, исследование 2019 года журнала Science определило, что модель ИИ по прогнозированию рисков, используемая в системе здравоохранения США, была с расистским уклоном. Эта модель, которая была призвана выявлять пациентов, которым с большой вероятностью потребуется серьезный медицинский уход в будущем, использовала историю медицинских расходов пациентов, чтобы определить будущий уровень медицинских потребностей. Однако история расходов не дает справедливой картины, так как на черных пациентов исторически тратится меньше денег, чем на белых с теми же показаниями, а алгоритм делает неправильный вывод о том, что черные пациенты более здоровые. Таким образом, важно быть бдительными и не пропускать расистский и другие уклоны, которые могут присутствовать в исходных данных.

Таким образом, важно понимать, как сложные взаимодействия данных могут исказить результаты алгоритмического анализа, снижая справедливость и прозрачность.

Макада Хенри-Ники (ведущий специалист Brookings Institution) замечала, что «…очень важно, чтобы политики, регуляторы, финансовые организации и технологи критически изучили выгоды, риски и ограничения ИИ, и разработали меры профилактики «алгоритмического вреда», соответствующие стандартам и ожиданиям общества и законодательству». Я рада, что настоящий симпозиум включает презентации ученых, которые изучают то, как мы можем конструировать модели ИИ, свободные от тенденциозности и продвигающие финансовую инклюзивность. Нет сомнений, что все здесь сегодня присутствующие, которые изучают ИИ, хотят продвигать финансовую инклюзивность, большее равноправие, гарантировать соответствие моделей законодательству о справедливом кредитовании и другим законам, защищающим потребителя.

В контексте безопасности и надежности, менеджмент банка должен иметь возможность полагаться на прогнозы модели для управления рисками. Он должен быть уверен, что модель, используемая для важных задач - таких, как прогнозирование потребностей в ликвидности или моментов выхода на рынок для торговли активами – надежна и не станет неожиданно выдавать неправильные результаты. Например, менеджмент должен быть уверен, что модель не сделает грубо неверных прогнозов при вводе реальных данных, которые либо отличаются в каком-то нюансе от тренировочных данных, или основаны на сложных взаимодействиях характеристик данных. Короче говоря, менеджмент должен быть уверен в надежности своих моделей. Объяснения могут быть важным инструментом в придании такой уверенности.

Не каждый контекст требует одинакового уровня понимания того, как работает ММО. Пользователи могут, например, гораздо терпимее относится к непрозрачности модели, которая используется как некий «оппонент» существующих моделей и просто подсказывает дополнительные вопросы, который сотрудник банка мог бы рассмотреть, чем к непрозрачности модели, которая автоматически принимает банковские решения. Например, при управлении рисками ликвидности или кредитными рисками, где ИИ можно использовать для тестирования результатов традиционных моделей, банки вполне оправданно могут использовать менее прозрачные ММО.

Формы объяснений

Ученые разработали различные подходы к объяснению ММО. Часто эти подходы отличаются по типу информации, которую они выдают о модели. При рассмотрении таких инструментов банкам следует обдумать, что именно они хотят понять о своей модели относительно контекста, чтобы определить, достаточна ли транспарентность модели в ее modus operandi, чтобы управлять соответствующим риском.

Не все ММО являются черными ящиками. Фактически, некоторые ММО полностью интерпретируемы, и поэтому годятся для более широкого применения. Под «интерпретируемостью» я имею в виду, что разработчики могут «заглянуть под капот» и посмотреть, как модель составляет свои прогнозы или классификации, подобно традиционным моделям. Они могут изучить, какие веса модель придает тем или иным данным, и как это сказывается на конечном результате. Интерпретируемые ММО изначально объясняемы.

В случаях ММО, которые не прозрачны и напрямую не интерпретируемы, ученые разработали методы изучения решений таких моделей на основании их поведения. Эти методы часто называют модельно-агностическими, потому что они применимы к любой модели независимо от уровня объясняемости. Модельно-агностические методы не оценивают внутренние механизмы работы модели ИИ. Они выводят свои объяснения post hoc, основываясь на поведении модели: по существу, они меняют вводные и анализируют, как эти изменения влияют на выдаваемый моделью результат. По сути, модельно-агностический метод использует такое тестирование в качестве данных для создания «модели модели» ИИ.

Тогда как объяснения post hoc, генерируемые модельно-агностическими методами, могут позволить делать выводы при определенных обстоятельствах, они не всегда могут быть верными или надежными, в отличие от внутренне присущей объяснимости интерпретируемых моделей. Объяснение на поведении модели, а не ее базисной логике, может вызвать вопросы относительно точности объяснения, по сравнению с объяснениями интерпретируемых моделей. Тем не менее такие объяснения в некоторых контекстах могут работать. Таким образом, одним их ключевых вопросов, который будет стоять перед банками – это когда объяснение post hoc модели «черного ящика» приемлемо, а когда необходима интерпретируемая модель.

Конечно, наличие точного объяснения того, как работает ММО, само по себе не гарантирует, что модель надежна или продвигает финансовую инклюзивность. Время и опыт – важные факторы в определении того, какие модели пригодны для использования. Цикл «рост-спад», который веками был характерен для финансовой сферы, должен заставить нас с осторожностью полагаться, тем более полностью полагаться, на какие-либо модели в принятии важных решений, которые не были проверены временем, которые работают на исходных данных за ограниченный период, даже если, в наше время «больших данных», эти наборы данных велики по объему.

Объяснения для банков

Признавая, что ИИ – это и многообещающие перспективы, и широкое поле для ошибок, Федрезерв, как банковский регулятор, привержен тому, чтобы поддерживать усилия банков по разработке и использованию ИИ в ответственном ключе, для создания и совершенствования безопасного, справедливого и прозрачного рынка ФУ. В качестве регуляторов мы также изучаем и совершенствуем понимание использования ИИ и машинного обучения для надзорных целей, то есть нам тоже надо понимать разные формы имеющихся инструментов объясняемости и их характеристики. Чтобы гарантировать, что общество выиграет от применения ИИ в ФУ, мы должны понять потенциальные выгоды и риски, а также четко сформулировать наши ожидания того, как риски могут эффективно управляться банками. Регуляторы должны представить надлежащие ожидания и корректировать эти ожидания по мере эволюции и развития использования ИИ в ФУ и нашего понимания потенциала и рисков ИИ.

Для этой цели мы изучаем, требуются ли дополнительные разъяснения надзорного органа для облегчения ответственного внедрения ИИ. Важно услышать мнение широкого круга заинтересованных лиц, включая фирмы ФУ, технологические компании, потребительские организации, группы по правам человека, бизнес и население. Федрезерв работает с другими банковскими ведомствами по возможному межведомственному запросу информации об управлении рисками приложений ИИ в сфере ФУ. Сегодняшний симпозиум служит сигналом начала периода по сбору исходных данных и обратной связи от широкого круга внешних заинтересованных лиц по этой теме. И логично начать с научного сообщества, которое сыграло главную роль в разработке и изучении технологий ИИ. Я с нетерпением жду выступлений наших докладчиков о том, как банки и регуляторы должны подходить к возможностям и вызовам, с которыми связан ИИ.

Наверх

Рейтинг@Mail.ru

Контакты:
E-mail:  info@fedspeak.ru
Телефон: +7(910)466-7797
Copyright © 2006-2020