Сфер, в которых требуется принятие аргументированных бизнес-решений в реальном времени, много. Например, в маркетинге и анализе предпочтений потребителей, управлении персоналом, логистике, оценке рисков, финансах. Но большинство сценариев имеют особенности и специфические вводные, поэтому подходы к работе с данными и реализации систем для их анализа в реальном времени могут различаться.
Антифрод как пример важности принятия решений в реальном времени
Фрод — любые мошеннические операции, зачастую направленные на получение выгоды или причинение вреда потенциальной жертве. Соответственно, антифрод — это меры, нацеленные на предотвращение мошеннических операций до их одобрения или на минимизацию потенциального ущерба.
Например, в банковской сфере антифрод может быть сфокусирован на выявлении и блокировании:
- подозрительных транзакций;
- действий в приложениях и банкоматах, выходящих за рамки привычных паттернов;
- нетипичной активности.
То есть наличие антифрод-систем помогает банкам исключать доступ злоумышленников к деньгам клиентов, блокировать утечки данных, не допускать выдачу кредитов мошенникам.
При этом, чтобы эффективно справляться с имеющимися задачами, антифрод-системы должны уметь противостоять ряду вызовов. Таких несколько.
- Большой поток записей. Нередко антифрод-системы вынуждены обрабатывать тысячи записей в секунду, а на пиках — десятки тысяч записей.
- Необходимость апдейтов. Банковские операции могут изменяться по последствиям. Например, когда по одной и той же транзакции сначала списывается проверочная сумма, а только после — весь платеж. Соответственно, антифрод-система должна уметь отличать легитимные операции от мошенничества и иметь возможность изменять уже сохраненные данные.
- Высокие требования ко времени ответа. Для пользователей банковских продуктов важно, чтобы результат по операции был доступен в течение нескольких секунд — например, чтобы на кассе не пришлось долго задерживаться в ожидании подтверждения покупки. Но со стороны антифрод-системы это значит, что за эти несколько секунд надо успеть выполнить все проверки на наличие признаков фрода.
- Сложность и количество правил. За выделенное время система должна обработать множество правил разной сложности: оценить разные счетчики, сопоставить данные, сегментировать их по категориям и выполнить еще сотни (а иногда и больше) аналитических действий.
Кейс поиска решения для выстраивания антифрод-системы
Теперь о том, как мы командой Tarantool справлялись с этими вызовами при реализации антифрод-системы для одного из наших клиентов — крупного банка.
- Для обработки большого потока записей важно использовать преимущества транзакционных БД, а именно — запись в строчный буфер. То есть система должна быть адаптирована под запись. Вместе с тем запросы для обработки имеют аналитический характер, а для таких запросов колоночный формат хранения подходит лучше строчного. Итого: для хранения нужна транзакционная система, способная быстро совершать сложные запросы. То есть HTAP-система, способная выполнять гибридную транзакционно-аналитическую обработку данных.
- Есть необходимость совершать апдейты. Для этого нужен соответствующий движок. При этом классические решения под сложные аналитические запросы используют колоночные хранилища, которые плохо справляются с большим потоком записей и апдейты не поддерживают. В итоге для закрытия этой потребности мы написали собственный движок.
- Для обеспечения высоких скоростей ответа на запросы было однозначно решено хранить данные в памяти. То есть, требовалось именно in-memory хранилище.
- В ответ на сложность правил надо было также предусмотреть возможность быстрого получения данных и их оперативную обработку. Поэтому вычисление правил мы также решили перенести ближе к данным — в оперативную память (in-memory compute). Это позволяет быстро обсчитывать правила и считать состояние непосредственно рядом с данными, уменьшая влияние сети на время выполнения запросов.
- Чтобы эффективно работать с большим количеством правил, мы решили организовать колоночное хранение. Это важно, поскольку правила транзакций обычно достаточно широкие, но расчеты задействуют всего несколько отдельных колонок. Более того, это дает возможность работать с заготовленными выражениями (prepared statements), чтобы сокращать время на вычисления.
В итоге для реализации банковской антифрод-системы клиент выбрал нашу in-memory колоночную СУБД для транзакционно-аналитической обработки данных в реальном времени Tarantool Column Store, которая отвечает всем запросам. Вместе с этим, помимо ответа на исходные вызовы, клиент получил:
- усиление технологического суверенитета — вся бизнес-логика остается на стороне клиента;
- экономию мощностей и ресурсов команды — вместо большого стека используется всего одно гибридное решение, которое эффективно справляется с разными задачами;
- высокую надежность;
- возможность гибкого горизонтального масштабирования за счет шардирования.
Формирование рекомендательной системы в режиме реального времени
Один из ключевых драйверов развития бизнеса и продвижения его продуктов является маркетинг. Но классический маркетинг строится на формировании предложений на основе исторических данных и ранжировании клиентов по общим группам. Такой подход имеет право на жизнь, но сопряжен с рядом проблем:
- Скорость. Крайне важно не упустить момент влияния на действия клиента, чтобы работа была эффективной и точной. За счет быстрого расчета предложения и мгновенного отклика на действия пользователя можно увеличить вероятность конверсии. Например, в банке: если клиент купил что-то в торговом центре, банк сразу предлагает скидку в соседнем магазине. С классической аналитикой реализовать такое невозможно. В итоге несвоевременное маркетинговое действие напрямую влияет на конверсию.
- Персонализация. Классический подход работает с группами и не учитывает индивидуальные особенности клиентов. То есть, если покупатель относится к категории, условно, «Мужчины 40+» и неделю назад искал в интернет-магазине дрели, то и сейчас ему будут предложены дрели и сверла на выбор, несмотря на то что сегодня он целый день ищет стиральную машину. В итоге клиент не получает релевантного предложения и уходит, магазин недополучает прибыль.
- Отчетность. В маркетинге важно иметь возможность оценивать результаты запущенных кампаний или нововведений в продуктах. Но обычно для формирования отчетов нужно накопить данные, на что нужно время. Соответственно, выводы об эффективности запущенной кампании придется делать уже по итогу, когда она будет завершена и деньги на рекламу будут израсходованы, что не всегда рационально.
Альтернативой классическому маркетингу и решением присущих ему недостатков является real-time marketing (RTM), который предполагает формирование и доставку клиенту персональных предложений в момент события в его жизни (на основе актуальных, горячих данных о нем).
RTM применяется там, где клиент совершает покупки или пользуется услугами в режиме реального времени. Наиболее эффективен он в ритейле, но также применим в банковской сфере и телекоммуникациях, где есть необходимость быстро сформировать конкретное предложение и доставить его клиенту. Не меньший спрос на реал-тайм-маркетинг и в партнерских программах — например, когда человек снимает деньги в банкомате, ему можно на лету сообщить, что в соседнем магазине-партнере есть скидка на товар, которым клиент интересовался утром. Причем аналогичное предложение, присланное на почту завтра, уже будет совсем неактуально.
Поэтому real-time marketing, анализируя действия пользователя в конкретный момент времени и предлагая наиболее подходящее предложение, решает сразу несколько задач:
- Повышение конверсии. Легче анализировать успех предложений, так как они привязаны к конкретным действиям пользователя. Мгновенные предложения обеспечивают лучшую конверсию по сравнению с традиционными рассылками.
- Персонализация предложений. Персонализация и предиктивный анализ на основе предыдущих действий пользователя позволяет учитывать индивидуальные предпочтения клиентов, а не просто предлагать товары группам. Такой рекомендательный маркетинг становится более точным и эффективным, повышая удовлетворенность клиентов и конверсию.
- Омниканальные коммуникации. Централизованная система, отслеживающая, какие предложения были сделаны и через какие каналы они ушли, помогает понять эффективность маркетинговых кампаний и корректировать алгоритмы. Более того, оперативная аналитика ответных действий клиентов позволяет строить гипотезы и корректировать стратегии маркетинга.
- Повышение эффективности коммуникации. Эффективная коммуникация с клиентом должна происходить через один, наиболее подходящий канал, чтобы не перегружать его информацией. Это позволяет сделать взаимодействие с клиентом более релевантным и ненавязчивым.
Больше информации о real-time маркетинге — в статье нашего блога.
Кейс поиска решения для реализации маркетинга в реальном времени
В качестве примера необходимости реал-тайм-маркетинга и аспектов построения таких систем разберем кейс одного из клиентов Tarantool — телеком-компании. Сразу отметим, что система уже внедрена и успешно работает несколько лет. Началось всё с того, что у заказчика к тому моменту не было развитой системы real-time marketing — фактически данные загружались ночью, обрабатывались с помощью сложных процедур, а на следующий день рассылались предложения. То есть клиенты получали уже неактуальные предложения и не всегда удобным для них способом. Это влияло на конверсию и лояльность клиентов. Возник запрос на построение RTM-системы.
Классически система аналитики формируется из:
- каналов взаимодействия с клиентами;
- больших и медленных core-систем, в которых есть информация о клиенте, его действиях и предпочтениях, пути клиентского опыта и других признаках.
Для построения RTM-системы нужно между каналами и медленными core-системами внедрить быстрый промежуточный слой, в котором будут на лету выполняться все расчеты предложений.
Для реализации такого слоя вычислений требуется несколько компонентов:
- витрина профилей, на основе которой можно будет понимать, с каким именно клиентом происходит взаимодействие;
- витрина офферов (в идеале — предварительно рассчитанных наборов), из которых можно быстро выбрать релевантное предложение;
- витрина коммуникаций, в которой будет консолидирована информация о каналах коммуникации пользователя — например, чтобы не слать сообщения тем клиентам, которые этого категорически не хотят;
- верхнеуровневый движок, который будет реализовывать логику поверх витрин по генерации, выбору предложения, оценке эффективности кампании, выбору каналов взаимодействия и другим аспектам;
- верхний слой, который будет взаимодействовать с каналами пользователя.
Подобное расширение архитектуры системы аналитики при неправильной интеграции может быть сопряжено с некоторыми издержками — например, с необходимостью расширять инфраструктуру, вливать внушительные инвестиции, перестраивать бизнес-модели. Поэтому к выбору решения для реализации промежуточного слоя, переводящего систему аналитики и маркетинга в систему реального времени, важно подходить основательно. После анализа рынка и сравнения вариантов наш клиент остановился на Tarantool, который закрывает сразу несколько потребностей:
- реализует in-memory хранение, поэтому обеспечивает быстрый доступ к данным, а также дает возможность расчетов in-memory;
- снижает требования к инфраструктуре, ресурсам и экспертным знаниям за счет своей гибкости и возможности быстрого развертывания в продуктивной среде;
- может предложить более гибкое решение, которое будет проще адаптироваться к изменяющимся потребностям бизнеса;
- делает простым и прозрачным процесс изменения модели данных за счет своей гибкости и адаптивности;
- имеет высокую производительность на единичную вставку, а также способен выполнять расчеты агрегатов на лету.
В итоге RTM-система была реализована именно на базе Tarantool. Сейчас у нее под капотом 7 ТБайт данных в различных витринах, на которые суммарно приходится до 3 тысяч запросов в секунду. На предоставление автоматически рассчитанного оптимального предложения системе требуется всего 0,5 секунды.
Внедрение RTM-системы дало и профит на уровне бизнес-метрик. Так, продажи компании увеличились на 20%, количество кликов на предложения выросло на 7%, а стоимость клика снизилась на 27%.
Что в итоге
Скорость взаимодействия с клиентом и отработки его потенциальных запросов критически важна во всех сценариях, где контакт компании и человека занимает всего несколько минут.
Но чтобы принимаемые на лету решения и подготавливаемые предложения были достоверными, релевантными и аргументированными, компаниям нужны системы, заточенные под эту задачу, с соответствующими инструментами под капотом.
Опыт наших клиентов доказывает, что продукты экосистемы Tarantool отлично подходят для этой роли и позволяют принимать бизнес-решения в реальном времени даже в условиях, когда поток данных большой, а времени на его обработку — минимум.
Остались вопросы?
Расскажите о ваших задачах и узнайте больше
о реализации на платформе Tarantool