Архитектура¶

Хранение данных: Tarantool¶

Для хранения данных в TDG используется распределённое хранилище Tarantool. Его функциональность включает:

• хранение данных в оперативной памяти;

• репликацию данных в рамках набора реплик (replicaset);

• шардирование данных (сегментирование, sharding) по разным экземплярам.

Таким образом, TDG обеспечивает «из коробки» распределённое, высокопроизводительное, отказоустойчивое и масштабируемое хранение данных.

Кроме того, в TDG доступны другие функции хранения данных, такие как:

• Описание модели данных в формате Apache Avro;

• Проверка данных на целостность и соответствие модели, а также ремонтная очередь для объектов, не прошедших проверку.

• Возможность хранения истории изменений (версионирование).

Доступ к данным: GraphQL и REST API¶

Для доступа к данным TDG используются два основных способа: GraphQL и REST API.

Оба способа поддерживают запросы с использованием индексов (первичных, вторичных и составных), операторы сравнения, множественные условия и другие возможности выборки данных.

Точки доступа создаются автоматически на основе модели данных и доступных сервисов. Эти сервисы также можно вызывать через GraphQL и REST API.

Исполнение бизнес-логики: Lua¶

TDG предоставляет возможность хранения и исполнения пользовательской бизнес-логики, например, валидации или преобразования данных.

Для добавления необходимой бизнес-логики нужно реализовать её в виде функций на языке Lua и загрузить их в TDG.

Загруженные функции можно использовать несколькими способами:

• Вызывать извне. Для этого нужно добавить их в конфигурацию доступных сервисов. Такие сервисы доступны для вызова через GraphQL, REST API или iproto (бинарный протокол Tarantool).

• Привязать к коннектору. В этом случае функции будут вызываться при каждом взаимодействии через этот коннектор, например, при поступлении нового объекта.

• Выполнять по расписанию. Для этого в TDG есть планировщик задач, который позволяет настроить автоматическое выполнение пользовательской бизнес-логики.

Взаимодействие с внешними системами¶

Для обмена данными с внешними системами в TDG используются коннекторы. Коннекторы бывают двух типов: входящие (input) для получения данных извне и исходящие (output) для отправки данных из TDG.

Коннекторы позволяют обмениваться данными с такими источниками как:

• Apache Kafka;

• Oracle Database и другие базы данных, поддерживающие ODBC;

• HTTP;

• Файлы;

• Бинарный протокол Tarantool (iproto).

Администрирование и безопасность¶

TDG предоставляет инструменты для управления различными техническими функциями, в том числе:

• топологией кластера;

• моделью данных;

• сервисами;

• коннекторами;

• настройками безопасности.

Для управления конфигурацией TDG доступны два способа:

• Веб-интерфейс (WebUI) позволяет управлять TDG в визуальном режиме в браузере;

• Конфигурационные файлы позволяют хранить и распространять конфигурации в виде готовых артефактов.

Для мониторинга и расследования инцидентов TDG предоставляет метрики кластера в формате Prometheus. Метрики доступны для получения через REST API и визуализации в Grafana.

Встроенные инструменты безопасности TDG позволяют настроить доступ к различным функциям для пользователей и внешних систем. Для этого используется ролевая модель доступа. Роли могут быть приписаны как к профилям (для настройки доступа пользователей), так и к токенам приложений – средству авторизации приложений для взаимодействия с TDG. Для расследования инцидентов безопасности доступен журнал аудита.

Кластерные роли¶

Экземпляры TDG в кластере выполняют те или иные функции в соответствии с назначенными им кластерными ролями. Каждый экземпляр может иметь одну или несколько ролей.

В TDG существует четыре основных кластерных роли:

• Core: настройка и администрирование.

• Storage: проверка и хранение данных.

• Runner: исполнение бизнес-логики с помощью кода на Lua.

• Connector: обмен данными с внешними системами.

Еще одна кластерная роль, failover-coordinator, позволяет включать режим восстановления после сбоев с сохранением состояния (stateful failover). Подробности можно найти в документации Tarantool Cartridge.

Кластерные роли назначаются наборам реплик (replica set). Каждый экземпляр получает роли того набора реплик, в который он входит. В каждом наборе реплик все экземпляры взаимозаменяемы: на них хранится одно и то же состояние. Таким образом обеспечивается резервирование и устойчивость к сбоям.