Знакомые инструменты — новые возможности: как развиваются продукты Tarantool

В последние несколько лет разработчики часто сталкиваются с новыми вызовами: взрывной рост объемов данных, ужесточение требований к отказоустойчивости, необходимость мгновенного масштабирования, важность бесшовного импортозамещения инструментов. В этих условиях стек, который используют компании, должен оперативно модернизироваться, чтобы удовлетворять запросам рынка.

Рассказываем, какие новые функции получают инструменты Tarantool, чтобы дать пользователям максимум возможностей для решения задач бизнеса.

Кратко о решениях Tarantool

Tarantool — это платформа для создания высоконагруженных СУБД, разработанная на основе собственной open-source технологии с более чем 15-летней историей. В линейку продуктов входят:

• Tarantool DB — транзакционная in-memory СУБД;
• Tarantool Column Store — колоночная in-memory СУБД для транзакционно-аналитической обработки данных в реальном времени;
• Tarantool CDC — инструмент для real-time репликации данных на основе потока событий БД-источника.

А также дополняющие модули:

• Tarantool Queue Enterprise — распределенная in‑memory-система очередей сообщений;
• Tarantool Database Redis — модуль для Tarantool DB;
• Tarantool Clusters Federation — модуль катастрофоустойчивости.

Теперь немного о новых функциях, которые в ближайшее время получат некоторые из инструментов.

Tarantool DB

Tarantool DB — транзакционная in-memory NoSQL СУБД. В инструменте реализована поддержка схем, гарантий ACID, репликации, шардирования.

К особенностям продукта относится наличие коннекторов для разработки хранилищ данных на языках бизнес-приложений.

Примечание: Tarantool DB входит в Реестр отечественного ПО. В начале 2025 года был обновлен сертификат на платформенный Tarantool с включением в него Tarantool Clusters Federation и Tarantool Database.

В рамках обновления Tarantool DB получит ряд новых возможностей.

Дисковое хранение. Мы планируем реализовать поддержку хранения данных на диске. Это позволит получить новые функции, среди которых: сброс данных по TTL, поддержка DDL на диске, CRUD-операции на диске.

Диапазонный шардинг. С ним можно будет задавать распределение данных по определенным сегментам. Это позволит быстро выполнять запросы с диапазонами значений. Новые шарды будут добавляться без перераспределения существующих, то есть исключается необходимость ребалансинга.

Отказоустойчивость геораспределенных кластеров. Сейчас Tarantool DB с помощью Tarantool Clusters Federation умеет синхронизировать кластеры, расположенные в двух независимых ЦОДах. В ближайших обновлениях мы планируем добавить возможность подключения третьего дата-центра для повышения отказоустойчивости и надежности, что может быть особенно важно для размещения критических информационных систем.

Tarantool Column Store

Tarantool Column Store — колоночная in-memory СУБД для транзакционно-аналитической обработки данных в реальном времени.

Главные предстоящие обновления:

• Повышение удобства разработки. Чтобы повысить мультизадачность инструмента и снизить порог входа для работы с ним, мы реализуем полную поддержку SQL DDL (CREATE, ALTER, DROP) и SQL DML (INSERT, UPDATE, DELETE), а также ADBC/JDBC.
• Масштабируемость и экономия ресурсов. Мы планируем перейти от текущей MVP-версии шардирования к полноценному механизму с ребалансингом, который позволит гибко масштабировать нагрузку и эффективно использовать ресурсы доступных серверов. Также мы работаем над внедрением возможности охлаждения данных и чтения с диска, отдельно занимаемся добавлением алгоритмов сжатия (чтобы эти функции были доступны «из коробки»).

Tarantool CDC

Tarantool CDC — решение для real-time репликации данных на основе потока событий БД-источника.

Инструмент позволяет:

• поддерживать актуальность и консистентность данных в ИТ-контуре компании;
• снижать нагрузки на оперативные базы данных;
• наполнять источники данных для подготовки on-line отчетности и аналитики;
• осуществлять разные сценарии переноса данных.

Tarantool CDC обеспечивает высокую производительность и перенос данных, обновляемых в реальном времени, минимизируя дополнительную нагрузку на БД-источник.

Задачи для Tarantool CDC:

• синхронизация данных из Tarantool в другие СУБД (есть коннекторы к ClickHouse и Elasticsearch);
• двусторонняя синхронизация Tarantool ↔ PostgreSQL; миграция данных из проприетарных СУБД;
• наполнение кэш-витрин в Tarantool из мастер-базы (в том числе Oracle без GoldenGate).

Преимущества Tarantool CDC:

• высокая производительность, отказоустойчивость и масштабируемость из коробки за счет очереди Tarantool Queue Enterprise;
• возможность использования части коннекторов из экосистемы Debezium и Kafka Connect;
• наличие собственных коннекторов.

Помимо уже доступного набора, возможности Tarantool CDC будут расширены за счет добавления новых коннекторов, благодаря чему инструмент сможет закрывать еще больше пользовательских сценариев.

Что еще полезного

Важно понимать, что группа продуктов Tarantool существует не «в вакууме». Tarantool относится к направлению Data Services от VK Cloud, в рамках которого развиваются и другие собственные решения:

• Object Storage;
• VK Data Platform.

Object Storage

Object Storage — S3-совместимое объектное хранилище. Это собственная разработка VK Tech без использования open-source компонентов. Решение гарантирует надежное масштабируемое хранение и стабильную скорость раздачи любых объектов независимо от числа одновременных обращений. Метаданные хранятся в in-memory платформе Tarantool.

Object Storage подходит для различных задач и сценариев:

• хранение логов транзакций;
• хранение электронных документов;
• хранение больших данных;
• хранение бэкапов и архивов;
• потоковая раздача мультимедиа;
• хостинг сайтов.

Ключевые достоинства решения:

• надежное хранение благодаря размещению в нескольких ЦОДах;
• неограниченное масштабирование;
• мягкую политику лицензирования без блокировки работы системы;
• поддержку любых серверов и платформ x86.

Object Storage доступен в виде сервиса на облачной платформе VK Cloud, программно-аппаратного комплекса (ПАК) или программного обеспечения для установки в инфраструктуре заказчика.

VK Data Platform // Lakehouse

VK Data Platform // Lakehouse — единая платформа для организации систем хранения и обработки больших данных, снижающая затраты на хранение и обработку за счет размещения данных в S3-совместимом объектном хранилище собственной разработки.

Решение можно применить для замены Hadoop, замены Greenplum, построения Data Office и не только. К основным сценариям применения VK Data Platform можно отнести:

• построение отчетности;
• ad-hoc аналитику;
• построение сложных ETL-процессов;
• построение MLOps конвейеров;
• построение Data Office с нуля.

К преимуществам нашего сервиса относятся:

• снижение ТСО на хранение за счет использования Object Storage (S3) вместо дисков;
• снижение ТСО на вычисления за счет возможности отдельно масштабировать ресурсы на хранение и вычисления;
• простота эксплуатации (используемые сервисы понятны дата-инженерам и не требуют высокой экспертизы);
• отказоустойчивость сервисов клиента за счет запуска компонентов платформы в Kubernetes;
• мягкая политика лицензирования без блокировки работы системы.

VK Data Lakehouse доступен в любом формате поставки: в облаке на платформе VK Cloud, в Private Cloud, On-Premise.

Заключение

Главными метриками в процессе разработки обновлений для команды Tarantool является не только производительность, надежность и удобство инструментов, но и их соответствие текущим потребностям пользователей. Поэтому мы непрерывно работаем над улучшением наших решений, а планируемые нововведения — лишь один из этапов в рамках большой стратегии развития и расширения экосистемы Tarantool.