Мегафон: Как Tarantool ускоряет сервисы

Оператор связи уровня МегаФона работает с высокой нагрузкой в реальном времени как на уровне сети, так и на уровне ИТ сервисов. При этом неизменным приоритетом является отказоустойчивость критичных сервисов.

80 млн абонентов уже используют услуги МегаФон.
2 млрд транзакций пропускает через себя биллинг.
200 Тб данных меняются активно, чуть медленнее меняются 8Пб данных. Всё это не архив, а живые данные в едином биллинге.
5 тысяч серверов в 14 ЦОДах обеспечивают работу и оплату услуг.

Во время централизации и обновления архитектуры биллинговой системы, которая является ключевым ИТ-сервисом для телекома, в 2016 году были привлечены внешние аудиторы мирового уровня. Они предложили дополнительные меры по повышению доступности и отказоустойчивости с использованием in-memory баз данных и архитектуры глобальных кэшей.

После завершения трансформации и обновления архитектуры базовых систем, МегаФон начал развивать цифровую экосистему на базе микросервисной архитектуры и решил перестроить ИТ-ландшафт под трехскоростную модель ИТ с выделением среднего слоя, в котором сосредотачивается логика из различных каналов, обеспечивая максимальную скорость изменения канальных приложений и единый клиентский опыт во всех каналах. Подобный шаг позволял решить проблему нагрузки на базовые платформы, повысить доступность сервисов и ускорить вывод продуктов на рынок.

Концепция предполагает, что на нижнем слое располагаются базовые структуры, которые изменяются достаточно медленно. Сюда входит ядро биллинга, ERP, системы операционной поддержки сети оператора.
Средний слой — микросервисы, которые могут появляться за несколько недель и изменяться в течении дней. На этом уровне расположены технические ускорители вроде кэшей, витрин данных, системы управления открытым API и системы авторизации пользователей, а также бизнес ускорители вроде продуктового каталога и корзины покупок, системы маркетинга реального времени, сервисы интеграции с партнерами. данных, маркетинговые системы и т. д. Обновления здесь происходят каждые несколько недель.

Верхний слой — самый подвижный. Здесь представлены клиентские интерфейсы, поэтому от постановки бизнес-задачи до изменений для пользователей должно происходит не более несколько дней, лучше несколько изменений в день.

Перенести нагрузку с ядра на микросервисы среднего уровня решили через легковесное и надежное хранилище. МегаФон сформировал к нему следующие требования.

Класс решений in-memory
Миллисекунды на запись и чтение
Горизонтальное масштабирование
100 000 операций записи и чтения в секунду
TCO в рамках согласованного бюджета

Кроме того, от вендора требовалась готовность дорабатывать и адаптировать продукт под задачи оператора.

Современная архитектура МегаФона позволяет создавать микросервисы на основе кэшей, поднимая данные из разных доменов. Оператор хранит данные в биллинговой системе, в то время как витрины Tarantool помогают быстро с ними взаимодействовать. Всего за два года сотрудничества команды МегаФона и Tarantool сделали совместно больше 25 сервисов.

Одним из первых проектов стала продуктовая витрина абонента. Данные из витрины используются в личном и мобильном кабинете пользователя МегаФона. Сервис хранит информацию обо всех актуальных продуктах пользователя, на основе которых считаются расходы и делаются персонализированные коммерческие предложения. Продуктовая витрина использует данные с шести серверов в трех дата-центрах, обрабатывает 700 гигабайт в оперативной памяти и делает 3000 записей в секунду. При этом обновления из мастер-системы поступают в сервис всего с секундным отставанием.

В качестве высококопроизводительного решения Tarantool используется в проекте МегаФон real-time marketing (RTM). Проект предназначен для персонализации подхода к каждому клиенту и реакции на события в режиме реального времени. Так созданы несколько витрин Tarantool, которые решают задачу быстрого доступа к данным оператора. В совокупности витрины для RTM извлекают и обрабатывают около 1,5Тб данных.

Еще один популярный сервис — калькулятор тарифов. Сервис демонстрирует клиенту интерфейс, кэширует ценовые параметры из Oracle и рассчитывает предложение по бизнес-логике прямо внутри Tarantool. При этом калькулятор выдает нужную стоимость тарифов фактически без задержки, в реальном времени.

В планах есть использование Tarantool как самостоятельной СУБД, а так же в специфических кейсах поддержки распределенной event-driven CQRS-архитектуры.

Tarantool не заменяет Oracle, а дополняет его
80млн

Решения на Tarantool поддерживают сервисы для 80 000 000 абонентов в 10 часовых поясах
25+

Сервисов внутри МегаФон используют Tarantool с учетом георезервирования и обновляются без простоя
под ключ

Специалисты Tarantool оказывают услуги «под ключ» и помогают создать внутренний центр компетенций в МегаФон
80+

Разработчики МегаФон развивают решения на основе Tarantool самостоятельно: внутренняя команда разработки выросла с 4-х человек до 80+ за два года