Tarantool DB 3.0¶

Переход с 2.x на 3.0¶

Чтобы обновить Tarantool DB с версии 2.2.1 до версии 3.0, сначала выполните обновление продукта до версии 3.0, а после этого вызовите метод box.schema.upgrade() для обновления системных спейсов. Для понижения версии Tarantool DB с 3.0 до 2.2.1 сначала вызовите метод box.schema.downgrade(„3.3.2“), а затем выполните откат до версии 2.2.1.

Узнать больше: Обновление Tarantool DB с версий 2.x до 3.x.

Дисковый движок vinyl¶

Tarantool DB 3.0 поддерживает дисковый движок vinyl. Движок базы данных – это набор низкоуровневых процессов, которые фактически хранят и получают значения кортежей. Теперь в Tarantool DB, как и в Tarantool, доступны два движка на выбор:

• memtx – in-memory движок базы данных, который используется в Tarantool DB по умолчанию. Движок хранит данные в оперативной памяти.

• vinyl – дисковый движок базы данных. Движок vinyl предназначен для работы с большими объёмами данных, которые превышают доступный объём оперативной памяти. vinyl хранит данные на диске, используя LSM-деревья (Log-Structured Merge Tree).

Узнать больше: Работа с движками базы данных.

Задать тип движка можно при создании спейса, используя опцию engine:

box.schema.space.create('messages', { engine = 'vinyl', if_not_exists = true })

Задать специфические настройки спейса на vinyl можно двумя способами:

• в YAML-конфигурации кластера в секции vinyl, например:

  vinyl:
    bloom_fpr: 0.05
    page_size:  8192
    run_count_per_level: 2
    run_size_ratio: 3.5
  

  Подробную информацию о поддерживаемых опциях конфигурации для движка vinyl можно найти в документации Tarantool;

• в опции index_opts при создании индекса через space_object:create_index():

  box.space.messages:create_index('bucket_id', { parts = { 'bucket_id', 'id' }, if_not_exists = true, bloom_fpr = 0.05 })
  

Рекомендации по настройке параметров vinyl приведены в разделе Методика настройки движка vinyl в Tarantool DB.

Попробовать работу со спейсами на движке vinyl можно в новом запускаемом примере vinyl. В примере описаны создание спейса vinyl, его настройка, а также выполнение операций с этим спейсом (вставка, чтение, обновление и удаление) через модуль CRUD. Как и все готовые примеры в Tarantool DB, этот пример сделан на основе Docker Compose, что позволяет быстро запустить и попробовать ту или иную функциональность.

Архивация устаревших данных из оперативной памяти на диск¶

Начиная с версии Tarantool DB 3.0, поддерживается архивация, или охлаждение данных. Архивация данных – это автоматический перенос устаревших данных из спейсов на движке memtx в спейсы vinyl на основе времени жизни кортежей, например по времени их создания или обновления. Такая архивация данных позволяет:

• держать горячие данные в оперативной памяти (memtx) для высокой производительности;

• переносить холодные данные на диск (vinyl) для долгосрочного хранения.

Перенос данных на диск позволяет освободить оперативную память от значимых данных, которые уже не изменяются и запрашиваются редко – например, закрытых заявок, обработанных событий, завершённых сессий. Для переноса данных используется новый встроенный модуль cooler.

Модуль гарантирует следующее:

• Перенос кортежей из memtx в vinyl устойчив к сбоям. Сначала происходит вставка архивируемого кортежа в спейс vinyl. Соответствующий кортеж удаляется из memtx-спейса только при его успешном добавлении в спейс vinyl.

• Никогда не возникает состояния, при котором архивируемый кортеж отсутствует и в memtx, и в vinyl.

• Для спейса vinyl можно установить те же параметры доступа, что и для memtx.

• Включение и выключение транзакционного менеджера memtx MVCC не влияет на архивацию данных.

Узнать больше об архивации данных можно в разделе Архивация данных по их времени жизни. Подробный пример настройки и применения архивации данных приведен в новом запускаемом примере Пример архивации устаревших данных.

storages:
  #...
  roles:
    - roles.crud-storage
    - roles.cooler
  roles_cfg:
    roles.cooler:
      sessions:
        expirationd:
          primary_key:  # Явное указание сканирования по первичному ключу
            full_scan_time: 300
            tuples_per_iteration: 100

Мониторинг Tarantool DB¶

В Tarantool DB 3.0 представлены собственный дашбоорд Tarantool DB и метрики архивации данных, а также добавлена документация по мониторингу Tarantool DB.

Рекомендации по работе с неидемпотентными запросами¶

В Tarantool DB 3.0 в документацию добавлены рекомендации по дедупликации неидемпотентных запросов.

Идемпотентные запросы – это операции, повторный вызов которых дает тот же результат, что и при первом применении. Например, идемпотентными являются запрос на чтение данных или операция умножения на единицу. Соответственно, примером неидемпотентной операции можно назвать увеличение на единицу. При повторном применении такой операции значение для поля будет суммарно увеличено уже не на 1, а на 2. Это означает, что любые запросы на запись, которые планируется выполнять неоднократно (например, повторный вызов запроса после ошибки), должны быть идемпотентны. Идемпотентность таких операций гарантирует, что изменение из операции будет применено только один раз.

В этом разделе:

• описаны случаи, где требуется проверка на то, что запрос применяется впервые;

• приведены различные способы дедупликации запросов:

  • проверка по уникальному индексу;

  • создание пользовательского спейса дедупликации, который содержит список уникальных идентификаторов.

Узнать больше: Дедупликация неидемпотентных запросов.