Конфигурация шардированного кластера¶

Настройка модуля vshard¶

credentials:
  users:
    storage: 
      password: 'secret'
      roles: [sharding]

iproto:
  advertise:
    sharding:
      login: storage

sharding:
  bucket_count: 30000

groups:
  routers:
    sharding:
      roles: [router]
    replicasets:
      router-msk:
        instances:
          router-msk:
      router-spb:
        instances:
          router-spb:
  storages:
    sharding:
      roles: [storage]
    replicasets:
      storage-1:
        instances:
          storage-1-msk:
          storage-1-spb:
      storage-2:
        sharding:
          weight: 1
        instances:
          storage-2-msk:
          storage-2-spb:

  #...
  storages:
    replicasets:
      storage-2:
        sharding:
          weight: 1

credentials:
  users:
    storage: 
      password: 'secret'
      roles: [sharding]
iproto:
  advertise:
    sharding:
      login: storage
sharding:
  bucket_count: 30000
groups:
  routers:
    sharding:
      roles: [router]
    replicasets:
      router-msk:
        instances:
          router-msk:
      router-spb:
        instances:
          router-spb:
  storages:
    sharding:
      roles: [storage]
    replicasets:
      storage-1:
        instances:
          storage-1-msk:
          storage-1-spb:
      storage-2:
        sharding:
          weight: 1
        instances:
          storage-2-msk:
          storage-2-spb:
          #...

Настройка модуля CRUD¶

Модуль CRUD предназначен для выполнения простых операций над шардированными данными в кластере, таких как создание, чтение, обновление и удаление данных. Для работы модуля используются две технологические роли, которые можно присвоить узлу:

• roles.crud-router – предоставление IPROTO API CRUD-функций для клиентских запросов к данным. CRUD-функции можно вызвать через коннектор;

• roles.crud-storage – выполнение CRUD-операций на хранилище.

Примеры поддерживаемых методов CRUD:

• crud.select('bands') – вернуть содержимое спейса полностью;

• crud.select('bands', {{'>=', 'year', 1980}}, {first = 10}) – вернуть кортежи, соответствующие заданному условию. Узнать больше: Запрос на выборку по условию;

• crud.insert('bands', {id = 1, band_name = 'Roxette', year = 1986}) – вставить кортеж;

• crud.update('bands', 3, {{'+', 'year', 1}}) – обновить кортеж;

• crud.get('bands', 1) – получить один кортеж;

• crud.delete('bands', 4) – удалить кортеж;

• crud.truncate('bands') – очистить спейс полностью.

Подробные примеры использования методов CRUD можно посмотреть в разделе Запросы к данным c помощью модуля CRUD.

groups:
  routers:
    sharding:
      roles: [router]
    roles:
      - roles.crud-router

#...
roles_cfg:
  roles.crud-router:
    stats: true
    stats_driver: metrics
    stats_quantiles: true
    stats_quantile_tolerated_error: 0.001
    stats_quantile_age_buckets_count: 5
    stats_quantile_max_age_time: 180

groups:
  #...
  storages:
    sharding:
      roles: [storage]
    roles:
      - roles.crud-storage
    replicasets:
      storage-1:
        instances:
          storage-1-msk:
          storage-1-spb:
      storage-2:
        instances:
          storage-2-msk:
          storage-2-spb:
            #...

groups:
  routers:
    sharding:
      roles: [router]
    roles:
      - roles.crud-router
    roles_cfg:
      roles.crud-router:
        stats: true
        stats_driver: metrics
        stats_quantiles: true
        stats_quantile_tolerated_error: 0.001
        stats_quantile_age_buckets_count: 5
        stats_quantile_max_age_time: 180
    replicasets:
      router-msk:
        instances:
          router-msk:
      router-spb:
        instances:
          router-spb:
            #...
  storages:
    sharding:
      roles: [storage]
    roles:
      - roles.crud-storage
    replicasets:
      storage-1:
        instances:
          storage-1-msk:
          storage-1-spb:
      storage-2:
        instances:
          storage-2-msk:
          storage-2-spb:
            #...

Режим работы кластера при изменении конфигурации¶

После изменения конфигурации шардированного кластера, например, при добавлении нового набора реплик или изменении веса шардов, начинается балансировка сегментов. При балансировке выполняется миграция сегментов – перенос сегментов с более нагруженных шардов на менее нагруженные.

Начиная с версии Tarantool DataBase 3.1.0 при старте балансировки кластер автоматически включает безопасный режим, чтобы обеспечить согласованность и целостность данных. Производительность кластера в этом режиме снижается (примерно на 15% для операций REPLACE). Безопасный режим включается независимо на каждом хранилище, участвующем в балансировке сегментов. Запросы к спейсам на движке vinyl всегда выполняются в безопасном режиме независимо от текущего статуса безопасного режима.

Проверить, включен ли безопасный режим, можно двумя способами:

• вызвать метод crud.rebalance_safe_mode_status();

• проверить значение метрики tnt_crud_storage_safe_mode_enabled.

Чтобы вернуть кластер в нормальный режим работы после окончания процесса балансировки, выполните следующие шаги:

1. Дождитесь полного завершения миграции сегментов.

2. Очистите кэш карты маршрутов на каждом роутере:

   crud.rebalance.router_cache_clear()
   

   Проверить время последней очистки кэша можно с помощью метрики tnt_crud_router_cache_clear_ts.

3. Отключите безопасный режим вручную на каждом хранилище – как на мастер-узлах, так и на репликах:

   crud.rebalance_safe_mode_disable()
   

Кроме того, существуют следующие особенности, касающиеся балансировки сегментов:

• Поскольку во время миграции сегмента невозможно выполнять операции с кортежами в этом сегменте, CRUD-операции при балансировке могут завершаться с ошибками. Для исправления ошибок требуется повторно выполнить соответствующие запросы;

• Когда *_many-запрос выполняется над данными из нескольких шардов, на роутере эти данные автоматически разбиваются на пачки по шардам и параллельно отправляются на соответствующие узлы хранилища. Во время балансировки запрос может завершиться с ошибкой на некоторых хранилищах. В этом случае операция будет выполнена частично, а пользователю вернется ошибка с указанием хранилища, где не удалось выполнить запрос. Пользователю нужно быть готовым к тому, что операция может быть выполнена не полностью, и при необходимости повторить соответствующие запросы или выполнить другие необходимые действия;

• При выполнении операций SELECT во время балансировки часть записей в ответе может дублироваться или наоборот отсутствовать. Вероятность такого сценария увеличивается, если запросы на выборку выполняются по большому количеству шардов.