Tarantool Column Store

Отечественная in-memory колоночная СУБД для транзакционно-аналитической обработки данных в реальном времени
column-store-hero.png

Что такое транзакционно-аналитическая обработка данных?

Традиционно транзакционные и аналитические системы отделены друг от друга. Как правило, транзакционная информация копируется в витрину или хранилище, и далее к ней выполняются аналитические запросы. Это нужно, чтобы аналитические запросы не замедляли операционные системы.

In-memory технологии позволяют осуществлять в real-time обработку транзакций (OLTP) и обработку аналитических запросов (OLAP) в одной системе. Данная обработка называется HTAP, гибридной. Колоночная СУБД Tarantool Column Store реализует HTAP-обработку. Это дает возможность выполнять аналитику мгновенно на самых новых данных, а также уменьшить затраты на перенос и копирование информации.

Какие задачи решает 
Tarantool Column Store?

Аналитика в реальном времени
Формирование отчетности в реальном времени
Ускорение аналитических запросов и расчетов
Консолидация аналитических данных
Хранение и управление данными и метаданными (Feature Store) для задач машинного обучения

Сценарии применения Tarantool Column Store Title

Ускорение и повышение точности антифрод-систем

Потребность: Финансовым организациям требуется иметь быстрый доступ к большому объему постоянно обновляющихся данных для мгновенного обнаружения подозрительных транзакций. Решение: Tarantool Column Store позволяет реализова практически с нулевой задержкой. Задачи: - Снижение операционных издержек и упрощение архитектуры за счет использование единой НТАР-базы. - Мгновенная блокировка мошеннических операций в реальном времени Результат: Tarantool Column Store встраивается в антифрод-систему в качестве скоростного аналитического хранилища. Появляется возможность проводить аналитические расчеты в real-time на исторических данных за период от нескольких часов до нескольких месяцев.
cdc-cards-img-2.png

Повышение производительности системы выдачи кредитов

Задачи: - Минимальная задержка между получением заявки и формированием предложения. - Обработка как статических, так и динамических признаков в режиме NRT Решение: Tarantool Column Store, в ответ на заявку, осуществляет в реальном времени аналитическую обработку матрицы, в которой содержится более 100 000 вариантов кредитных предложений и дополнительных услуг. Результат: Система выдачи кредитов мгновенно оценивает риск невозврата заемных средств по каждому кредитному предложению. Формируется набор наиболее подходящих и, при этом, низкорисковых вариантов.
column-store-img2.png

Быстрые витрины для аналитиков

Потребность: Крупному бизнесу необходимо оперативно принимать решения в финансово-хозяйственных вопросах. Для этого создаются формы строгой и нестрогой отчетности для менеджмента разного уровня. Задачи: - Быстрое время формирования. - Объём данных участвующих в запросах = 10 ТБ. - Актуальные и достоверные данные Решение: Tarantool Column Store консолидирует данные о финансово-хозяйственной деятельности в едином хранилище. Результат: Tarantool Column Store хранит данные в оперативной памяти и обеспечивает высокую скорость доступа к ним. Есть возможность запускать сложные аналитические запросы с join, group by, фильтрами и быстрый расчет агрегатов, что делает работу аналитика эффективной и быстрой.
column-store-img3.png

Преимущества Tarantool Column Store

Высокая производительность в HTAP-сценариях

Анализ данных в реальном времени с помощью in-memory технологий
Отсутствие временных и ресурсных затрат на перемещение данных из OLTP в OLAP
Горизонтальное масштабирование за счет шардирования
Разработка российского вендора: поддержка продукта
Tarantool Column Store включен в реестр российского ПО ([запись № 20683 от 25.12.2023](https://reestr.digital.gov.ru/reestr/2038800/?sphrase_id=3897527))

Возможности Tarantool Column Store

Операции с данными - Колоночное хранение данных 
в оперативной памяти - Гарантированная персистентность хранимых данных - Асинхронная репликация - Поддержка INSERT (единичная и пакетная вставки, insert into select) - Поддержка UPDATE - Поддержка SQL SELECT (агрегатные и оконные функции, join, Explain, Prepared statement) - Поддержка DELETE (единичных записей) - Первичный ключ - Вторичные составные индексы - Нематериализованные представления
Опции администрирования и безопасности - Поддержка ACID - Шифрование трафика
Эксплуатационные возможности - Работа на отечественных операционных системах: Astra Linux, РЕД ОС - Экспорт метрик мониторинга в Prometheus, Grafana - Автоматизация установки и запуска кластера (АТЕ) - CLI управление кластером - Поддержка механизма failover для

Архитектура Tarantool Column Store

Tarantool Column Store хранит и обрабатывает данные в виде колонок, интегрируясь c бизнес-приложениями по Arrow flight SQL (через AJBC/JDBC драйвера) HTTP API.
column-store_scheme.png

Остались вопросы?

Задайте свой вопрос или расскажите о нужном решении — мы ответим
fos-img.png