Для BNPL-услуг процесс оценки кредитоспособности клиента (или кредитный скоринг) является основополагающим. От него зависят основные показатели количества и качества клиентов – сколько выдано рассрочек и какую долю рассрочек вернули без просрочек.
У заказчика был выстроен качественный процесс оценки кредитоспособности, благодаря чему дефолтность по клиентской базе была одна из самых низких на рынке. Однако основной недостаток процесса был в том, что он почти целиком реализовывался вручную.
Поскольку компания развивалась очень динамично, то именно этот ручной процесс и стал «узким горлышком», которое тормозило дальнейший рост. Для решения подобной ситуации стандартный подход – использование моделей машинного обучения для оценки кредитоспособности клиентов. Но разработка модели – только часть задачи, с которой справился заказчик.
Также необходимо было корректно и постепенно встроить ее в рабочий процесс, чтобы не ухудшить показатели дефолтности клиентов, но при этом сильно не затягивая – ведь каждая не выданная рассрочка, это упущенная выгода. Именно для этого заказчик обратился в ICL Services.
Задачи
- Анализ и улучшение модели скоринга
- Автоматизировать процесс скоринга – встраивание модели в рабочий процесс
- Дать рекомендации по внедрению дифференцированного подхода к выставлению лимитов
- Найти возможности по понижению стоимости рассмотрения кредитной заявки
Реализованное нами решение
Работы начались 1 ноября 2022 года и заняли ровно месяц. Фронт работ можно было разделить на два основных направления.
1. Улучшение точности модели скоринга.
У заказчика была разработана модель скоринга с достаточно неплохими показателями точности. Проанализировав доступные данные, а также совместно со специалистами заказчика проработав возможные варианты преобразования и альтернативного использования существующих данных, команде ICL Services удалось повысить точность модели.
2. Встраивание модели в процесс кредитного скоринга.
Процесс встраивания модели в рабочий процесс – это всегда совместная активность. Была сформирована совместная рабочая группа из представителей бизнеса, отвечающих за работу «ручного» скоринга клиентов, специалистов, разработавших модель машинного обучения и специалистов ICL Services.
В рамках этой группы прорабатывались варианты встраивания модели в процесс и постепенная передача оценки клиентов от людей к машине. И если со встраиванием модели в процесс обработки заявки все было достаточно понятно (у заказчика был грамотный отдел разработки, что позволяло быстро внедрять решения в практику), то процесс передачи шел итеративно – мы постоянно анализировали параллельную работу машины и человека в поисках расхождений.
Поначалу таких расхождений было достаточно много, но за счет оперативной доработки модели и выработки нескольких дополнительных бизнес-правил нам удалось достаточно быстро свести расхождения к минимуму.
Эти первые «быстрые» победы позволили оперативно снять некоторое количество заявок с людей и дать таким образом время на рассмотрение более сложных сценариев автоматизаций. Поскольку время проекта было очень сильно ограничено, то та методология совместной работы и анализа расхождений между моделью и человеком и легла в основу дальнейшей автоматизации процесса оценки клиентов, которую заказчик продолжает уже самостоятельно.
Помимо этого
Кроме основных направлений работы наша команда также:
— Помогла выработать методологию и правила оценки качества модели с точки зрения бизнес-метрик (оценка в выданных кредитах или дефолтности портфеля);
— Выдала рекомендации по повышению отказоустойчивости и надежности работы ML-моделей, а также контролю данных;
— Рассказала про возможные варианты внедрения дифференцированных процентных ставок и о подходах к определению кредитного лимита при оценке клиента.
Продукты и технологии
Машинное обучение
- EDA
- Catboost
Результаты
- Улучшили точность модели, что позволило заказчику более точно оценивать клиентов и увеличить выдачи кредитов.
- Запустили процесс совместной оценки расхождений между решениями модели и человека – в результате за несколько месяцев заказчик перевел на автоматическое решение 30% заявок с увеличением доли автоматических решений до 50% на горизонте 6 месяцев.