Знакомые инструменты — новые возможности: как развиваются продукты Tarantool

В последние несколько лет разработчики часто сталкиваются с новыми вызовами: взрывной рост объемов данных, ужесточение требований к отказоустойчивости, необходимость мгновенного масштабирования, важность бесшовного импортозамещения инструментов. В этих условиях стек, который используют компании, должен оперативно модернизироваться, чтобы удовлетворять запросам рынка.

Рассказываем, какие новые функции получают инструменты Tarantool, чтобы дать пользователям максимум возможностей для решения задач бизнеса.

Кратко о решениях Tarantool

Tarantool — это платформа для создания высоконагруженных СУБД, разработанная на основе собственной open-source технологии с более чем 15-летней историей. В линейку продуктов входят:

• Tarantool DB — транзакционная in-memory СУБД;
• Tarantool Column Store — колоночная in-memory СУБД для транзакционно-аналитической обработки данных в реальном времени;
• Tarantool CDC — инструмент для real-time-репликации изменений из реляционных СУБД.

А также дополняющие модули:

• Tarantool Queue Enterprise — распределенная in‑memory-система очередей сообщений;
• Tarantool Database Redis — модуль для Tarantool DB;
• Tarantool Clusters Federation — модуль катастрофоустойчивости.

Теперь немного о новых функциях, которые в ближайшее время получат некоторые из инструментов.

Tarantool DB

Tarantool DB — транзакционная in-memory NoSQL СУБД. В инструменте реализована поддержка схем, гарантий ACID, репликации, шардирования.

К особенностям продукта относится наличие коннекторов для разработки хранилищ данных на языках бизнес-приложений.

Примечание: Tarantool DB входит в Реестр отечественного ПО. В начале 2025 года был обновлен сертификат на платформенный Tarantool с включением в него Tarantool Clusters Federation и Tarantool Database.

В рамках обновления Tarantool DB получит ряд новых возможностей.

Дисковое хранение. Мы планируем реализовать поддержку хранения данных на диске. Это позволит получить новые функции, среди которых: сброс данных по TTL, поддержка DDL на диске, CRUD-операции на диске.

Диапазонный шардинг. С ним можно будет задавать распределение данных по определенным сегментам. Это позволит быстро выполнять запросы с диапазонами значений. Новые шарды будут добавляться без перераспределения существующих, то есть исключается необходимость ребалансинга.

Отказоустойчивость геораспределенных кластеров. Сейчас Tarantool DB с помощью Tarantool Clusters Federation умеет синхронизировать кластеры, расположенные в двух независимых ЦОДах. В ближайших обновлениях мы планируем добавить возможность подключения третьего дата-центра для повышения отказоустойчивости и надежности, что может быть особенно важно для размещения критических информационных систем.

Tarantool Column Store

Tarantool Column Store — колоночная in-memory СУБД для транзакционно-аналитической обработки данных в реальном времени.

Главные предстоящие обновления:

• Повышение удобства разработки. Чтобы повысить мультизадачность инструмента и снизить порог входа для работы с ним, мы реализуем полную поддержку SQL DDL (CREATE, ALTER, DROP) и SQL DML (INSERT, UPDATE, DELETE), а также ADBC/JDBC.
• Масштабируемость и экономия ресурсов. Мы планируем перейти от текущей MVP-версии шардирования к полноценному механизму с ребалансингом, который позволит гибко масштабировать нагрузку и эффективно использовать ресурсы доступных серверов. Также мы работаем над внедрением возможности охлаждения данных и чтения с диска, отдельно занимаемся добавлением алгоритмов сжатия (чтобы эти функции были доступны «из коробки»).

Что еще полезного

Важно понимать, что группа продуктов Tarantool существует не «в вакууме». Tarantool относится к направлению Data Services от VK Cloud, в рамках которого развиваются и другие собственные решения:

• Object Storage;
• VK Data Platform.

Object Storage

Object Storage — S3-совместимое объектное хранилище. Это собственная разработка VK Tech без использования open-source компонентов. Решение гарантирует надежное масштабируемое хранение и стабильную скорость раздачи любых объектов независимо от числа одновременных обращений. Метаданные хранятся в in-memory платформе Tarantool.

Object Storage подходит для различных задач и сценариев:

• хранение логов транзакций;
• хранение электронных документов;
• хранение больших данных;
• хранение бэкапов и архивов;
• потоковая раздача мультимедиа;
• хостинг сайтов.

Ключевые достоинства решения:

• надежное хранение благодаря размещению в нескольких ЦОДах;
• неограниченное масштабирование;
• мягкую политику лицензирования без блокировки работы системы;
• поддержку любых серверов и платформ x86.

Object Storage доступен в виде сервиса на облачной платформе VK Cloud, программно-аппаратного комплекса (ПАК) или программного обеспечения для установки в инфраструктуре заказчика.

VK Data Platform // Lakehouse

VK Data Platform // Lakehouse — единая платформа для организации систем хранения и обработки больших данных, снижающая затраты на хранение и обработку за счет размещения данных в S3-совместимом объектном хранилище собственной разработки.

Решение можно применить для замены Hadoop, замены Greenplum, построения Data Office и не только. К основным сценариям применения VK Data Platform можно отнести:

• построение отчетности;
• ad-hoc аналитику;
• построение сложных ETL-процессов;
• построение MLOps конвейеров;
• построение Data Office с нуля.

К преимуществам нашего сервиса относятся:

• снижение ТСО на хранение за счет использования Object Storage (S3) вместо дисков;
• снижение ТСО на вычисления за счет возможности отдельно масштабировать ресурсы на хранение и вычисления;
• простота эксплуатации (используемые сервисы понятны дата-инженерам и не требуют высокой экспертизы);
• отказоустойчивость сервисов клиента за счет запуска компонентов платформы в Kubernetes;
• мягкая политика лицензирования без блокировки работы системы.

VK Data Lakehouse доступен в любом формате поставки: в облаке на платформе VK Cloud, в Private Cloud, On-Premise.

Заключение

Главными метриками в процессе разработки обновлений для команды Tarantool является не только производительность, надежность и удобство инструментов, но и их соответствие текущим потребностям пользователей. Поэтому мы непрерывно работаем над улучшением наших решений, а планируемые нововведения — лишь один из этапов в рамках большой стратегии развития и расширения экосистемы Tarantool.