Новый большой релиз — встречайте Tarantool TCF 0.11

При подготовке нового релиза мы уделили внимание сразу нескольким важным компонентам. Мы улучшили надежность и удобство масштабирования реплик, упростили мониторинг и добавили поддержку отзывов токенов авторизации.

Ключевое обновление — внедрение батчинга, чтобы вы могли увеличить перформанс вашей системы. Впрочем, обо всем поподробнее расскажем ниже.

Что добавили для удобного горизонтального масштабирования

новое поле конфигурации destination.gateway_clusters
параметр destination.shards
параметр gateway.destination_connect_timeout

Почему это важно

оптимизирует распределение нагрузки по шард-группам
теперь можно назначать отдельные Gateway и Destination на подмножество шардов
поддерживает отказоустойчивость в группах Gateway/Destination

Возобновление холодной загрузки

Добавлен параметр gateway.read_snapshot_from_file. Теперь вы можете продолжать использовать холодную загрузку данных после сбоев.

Поведение при значениях true/false:

True — для холодной загрузки данных используется последний файл .snap. Это позволяет продолжать чтение снимков данных при неполадках без повторной инициализации, что экономит ваши ресурсы.
False — для холодной загрузки данных на стороне Tarantool создается виртуальное представление для чтения (read view). При возникновении неполадок требуется перезапустить процесс холодной загрузки с повторной инициализацией (rebootstrap).

Восстановление при несимметричном шардировании или простое

Добавлен параметр gateway.heartbeat_interval. Для чего используется:

предотвращение появления разрывов в журналах репликации (XlogGap)
обновление vclock даже при отсутствии пользовательских изменений
корректный выбор точки репликации после рестартов

Поддержка пакетной обработки у межкластерных репликаторов

Добавлены параметры:

gateway.batch_size
gateway.batch_timeout
destination.batch_size
destination.batch_size

Возможности пакетной обработки:

объединение сообщений в одну транзакцию при вставке на Tarantool
снижение накладных расходов и повышение производительности

Конфигурация пользовательских лейблов метрик Prometheus

Добавлена поддержка пользовательских лейблов для метрик Prometheus:

gateway.metrics_labels
destination.metrics_labels

Это позволяет расширять метрики под конкретные сценарии эксплуатации и визуализировать их на специализированных панелях мониторинга. Для получения значений метрик используйте адрес обработчика запроса /metrics.

Отзыв токена авторизации

Введена поддержка проверки отзывов токенов Keycloak. Теперь при наличии настроенного сервис-клиента выполняется онлайн-проверка токена с использованием пары client_id/client_secret.

Поведение:

если отозвать токен, запрос завершается ошибкой 401 Unauthorized
токены, формально валидные для TCF 0.9.0, но отозванные в Keycloak, больше не принимаются

Проверка отзыва работает только при наличии корректно настроенного клиента сервиса.

Односторонняя репликация для групп Gateway

Начиная с версии 0.11.0, направление репликации зависит от параметра gateway.one_way_replication_enabled. Если параметр задан, включается односторонняя репликация. При отсутствии параметра — репликация происходит в обе стороны. Включение односторонней репликации через задание адресов в конфигурации репликаторов считается устаревшим способом.

Секции storage и storage_params для Gateway

Добавлена поддержка конфигурации репликатора Gateway, необходимой для совместного использования: