Отечественная in-memory колоночная СУБД для транзакционно-аналитической обработки данных в реальном времени
Scroll
Что такое транзакционно-аналитическая обработка данных?
Традиционно транзакционные и аналитические системы отделены друг от друга. Как правило, транзакционная информация копируется в витрину или хранилище, и далее к ней выполняются аналитические запросы. Это нужно, чтобы аналитические запросы не замедляли операционные системы.
In-memory технологии позволяют осуществлять в real-time обработку транзакций (OLTP) и обработку аналитических запросов (OLAP) в одной системе.
Данная обработка называется HTAP, гибридной.
Колоночная СУБД Tarantool Column Store реализует HTAP-обработку. Это дает возможность выполнять аналитику мгновенно на самых новых данных, а также уменьшить затраты на перенос и копирование информации.
Какие задачи решает Tarantool Column Store?
Аналитика в реальном времени
Формирование отчетности в реальном времени
Ускорение аналитических запросов и расчетов
Консолидация аналитических данных
Хранение и управление данными и метаданными (Feature Store) для задач машинного обучения
Сценарии применения Tarantool Column Store
Ускорение и повышение точности антифрод-систем
Потребность: Финансовым организациям требуется иметь быстрый доступ к большому объему постоянно обновляющихся данных для мгновенного обнаружения подозрительных транзакций.
Решение: Tarantool Column Store (TCS) позволяет реализовать обнаружение подозрительных транзакций практически с нулевой задержкой. TCS встраивается в антифрод‑систему в качестве скоростного аналитического хранилища, дает возможность хранить свыше 5 ТБ данных с 1000+ атрибутов (колонок) и проводить аналитические расчеты в real‑time.
Повышение производительности системы выдачи кредитов
Потребность: Банку требуется, в ответ на заявку, оперативно сформировать набор кредитных предложений, максимально привлекательных для потенциального заемщика и, при этом, низкорисковых для банка.
Решение: Tarantool Column Store, в ответ на заявку, осуществляет в реальном времени аналитическую обработку матрицы, в которой содержится более 100 000 вариантов кредитных предложений и дополнительных услуг. В итоге, система выдачи кредитов мгновенно оценивает риск невозврата заемных средств по каждому кредитному предложению и формирует набор наиболее подходящих и, при этом, низкорисковых вариантов.
Формирование финансовой отчетности в реальном времени
Потребность: крупному бизнесу необходимо оперативно принимать решения в финансово‑хозяйственных вопросах. Для этого создаются формы строгой и нестрогой отчетности для менеджмента разного уровня. Отчетность должна формироваться быстро и иметь актуальные и достоверные данные.
Решение: Tarantool Column Store консолидирует данные о финансово‑хозяйственной деятельности (данные об активах и пассивах, закупочной деятельности, сбыта продукции, движений денежных средств и т. д.) в едином хранилище и выполняет аналитические запросы в реальном времени для быстрого формирования отчетности. Данные хранятся в денормализованном виде в таблицах с 400+ колонками и объемом более 6 ТБ.
Scroll
Преимущества Tarantool Column Store
Высокая производительность благодаря многопоточности
Анализ данных в реальном времени с помощью in-memory технологий
Возможность массовой параллельной обработки больших объемов данных
Горизонтальное масштабирование за счет шардирования
Разработка российского вендора: поддержка и адаптация продукта под ваши запросы
Гибкая настройка схем данных (таблицы, колонки, индексы)
Вторичные индексы с настройкой глубины
CRUD-операции
Поддержка SQL, включая агрегатные, статистические функции
Единичная/массовая запись данных
Персистентность данных
Автовытеснение данных при заполнении RAM
Репликация данных
Шардирование
Многопоточное чтение
Сжатие данных
API чтения/записи данных из бизнес-приложений на Java, Python, Go (пока поддерживается HTTP API)
Опции администрирования и безопасности
Поддержка ACID
Ролевая модель (RBAC) назначения прав доступа к объектам
Журнал аудита безопасности
Эксплуатационные возможности
Работа на отечественных операционных системах: Astra Linux, РЕД ОС и Альт
Экспорт метрик мониторинга в Prometheus, Grafana
Автоматизация установки и запуска кластера
Управление кластерами
Возможность развертывания в среде Kubernetes
Архитектура Tarantool Column Store
Tarantool Column Store хранит и обрабатывает данные в виде колонок, интегрируясь с бизнес-приложениями по JDBC/ODBC, HTTP, SQL и Apache Arrow Flight. Доступны инструменты масштабирования: кластеризация, репликация и шардирование.
Остались вопросы?
Расскажите о ваших задачах, и мы соберем для вас решение на Tarantool