Установка TCF вручную поверх кластеров Tarantool DB¶

Создание приложения¶

Повторите следующие шаги:

1. Перейдите в директорию tarantooldb и выполните в ней команду tt init. Команда создаст окружение tt, в том числе файл конфигурации tt.yaml, который используется консольной утилитой tt CLI.

2. В директории instances.enabled созданного tt-окружения создайте директории кластеров и назовите их следующим образом:

• cluster_a;

• cluster_b.

3. В директории instances.enabled/cluster_a создайте файл config.yaml. Этот файл содержит конфигурацию кластера Tarantool Cluster 1. Экземпляры в этой конфигурации принимают входящие запросы на порты 3304–3307:

   replication:
     failover: manual
     bootstrap_strategy: config
   iproto:
     advertise:
       peer:
         login: replicator
       sharding:
         login: storage
   credentials:
     users:
       dbadmin:
         password: secret
         roles: [super]
       replicator:
         password: replicator_password
         roles: 
           - replication
           - dictionary_api_service
       tcm_tarantool:
         password: tcm_tarantool_password
         roles: [super]
       storage:
         password: storage_password
         roles: [sharding]
         privileges:
           - permissions: ['execute']
             functions: ['box.info']
       tcf_dml:
         password: secret
         roles: [super]
   roles_cfg:
     roles.tcf-coordinator:
       storage: config_storage
       storage_params:
         endpoints:
           - uri: 127.0.0.1:3301
             login: tarantool_config_storage
             password: tarantool_config_storage_password
           - uri: 127.0.0.1:3302
             login: tarantool_config_storage
             password: tarantool_config_storage_password
           - uri: 127.0.0.1:3303
             login: tarantool_config_storage
             password: tarantool_config_storage_password
     roles.tcf-worker:
       cluster_1: cluster_a
       cluster_2: cluster_b
       initial_status: active
       dml_users: [ tcf_dml ]
       replication_user: tcf_replicator
       replication_password: secret
       storage: config_storage
       storage_params:
         endpoints:
           - uri: 127.0.0.1:3301
             login: tarantool_config_storage
             password: tarantool_config_storage_password
           - uri: 127.0.0.1:3302
             login: tarantool_config_storage
             password: tarantool_config_storage_password
           - uri: 127.0.0.1:3303
             login: tarantool_config_storage
             password: tarantool_config_storage_password
   groups:
     routers:
       replicasets:
         rsrouter-a-001:
           leader: router-a-001
           bootstrap_leader: router-a-001
           instances:
             router-a-001:
               iproto:
                 listen:
                   - uri: 127.0.0.1:3307
                 advertise:
                   client: 127.0.0.1:3307
               roles_cfg:
                 roles.httpd:
                   default:
                       listen: localhost:10001
       sharding:
         roles: [router]
       roles:
         - roles.tcf-worker
         - roles.tcf-coordinator
         - roles.httpd
         - roles.crud-router
         - dictionary.roles.router
       roles_cfg:
         roles.crud-router:
           stats: true
           stats_driver: metrics
           stats_quantiles: true
           stats_quantile_tolerated_error: 0.001
           stats_quantile_age_buckets_count: 5
           stats_quantile_max_age_time: 180
     storages:
       memtx:
         memory: 536870912 #512MiB
       replicasets:
         replicaset001:
           leader: storage-a-001
           bootstrap_leader: storage-a-001
           instances:
             storage-a-001:
               roles_cfg:
                 roles.httpd:
                   default:
                     listen: localhost:10101
               iproto:
                 listen:
                   - uri: 127.0.0.1:3304
                 advertise:
                   client: 127.0.0.1:3304
             storage-a-002:
               roles_cfg:
                 roles.httpd:
                   default:
                     listen: localhost:10102
               iproto:
                 listen:
                   - uri: 127.0.0.1:3305
                 advertise:
                   client: 127.0.0.1:3305
             storage-a-003:
               roles_cfg:
                 roles.httpd:
                   default:
                     listen: localhost:10103
               iproto:
                 listen:
                   - uri: 127.0.0.1:3306
                 advertise:
                   client: 127.0.0.1:3306
       sharding:
         roles: [storage]
       roles:
         - roles.tcf-worker
         - roles.httpd
         - roles.crud-storage
         - roles.expirationd
         - dictionary.roles.storage
       roles_cfg:
         roles.expirationd: []
   

   В файле конфигурации в секции credentials.users заданы следующие пользователи:

   • dbadmin – администратор БД;

   • replicator – используется для соединения узлов кластера друг с другом;

   • tcm_tarantool – пользователь для подключения TCM к узлам кластера;

   • storage – пользователь используется при запросах роутера к экземплярам хранилища;

   • tcf_replicator – пользователь используется для репликации между кластерами;

   • tcf_dml – пользователь предназначен для выполнения DML-операций с данными от имени сервисных компонентов TCF.

     Note

     Начиная с TCF 0.5.0, рекомендуется явно указывать роль roles.httpd в конфигурации кластера. При этом адрес для HTTP-запросов для конкретного экземпляра задается в секции roles_cfg.roles.httpd.default.listen. В версиях до 0.5.0 такой адрес указывается в секции roles_cfg.roles.tcf-worker.http.listen.

4. В директории instances.enabled/cluster_a создайте файл instances.yaml – список экземпляров, которые будут запущены в текущем окружении:

   router-a-001:
   storage-a-001:
   storage-a-002:
   storage-a-003:
   

5. В директории instances.enabled/cluster_b создайте файл config.yaml с конфигурацией кластера Tarantool Cluster 2. Экземпляры в этой конфигурации принимают входящие запросы на порты 3324–3327:

   replication:
     failover: manual
     bootstrap_strategy: config
   iproto:
     advertise:
       peer:
         login: replicator
       sharding:
         login: storage
   credentials:
     users:
       dbadmin:
         password: secret
         roles: [super]
       replicator:
         password: replicator_password
         roles:
           - replication
           - dictionary_api_service
       tcm_tarantool:
         password: tcm_tarantool_password
         roles: [super]
       storage:
         password: storage_password
         roles: [sharding]
         privileges:
           - permissions: ['execute']
             functions: ['box.info']
       tcf_replicator:
         password: secret
         roles: [super]
       tcf_dml:
         password: secret
         roles: [super]
   roles_cfg:
     roles.tcf-coordinator:
       storage: config_storage
       storage_params:
         endpoints:
           - uri: 127.0.0.1:3301
             login: tarantool_config_storage
             password: tarantool_config_storage_password
           - uri: 127.0.0.1:3302
             login: tarantool_config_storage
             password: tarantool_config_storage_password
           - uri: 127.0.0.1:3303
             login: tarantool_config_storage
             password: tarantool_config_storage_password
     roles.tcf-worker:
       cluster_1: cluster_b
       cluster_2: cluster_a
       initial_status: passive
       dml_users: [ tcf_dml ]
       replication_user: tcf_replicator
       replication_password: secret
       storage: config_storage
       storage_params:
         endpoints:
           - uri: 127.0.0.1:3301
             login: tarantool_config_storage
             password: tarantool_config_storage_password
           - uri: 127.0.0.1:3302
             login: tarantool_config_storage
             password: tarantool_config_storage_password
           - uri: 127.0.0.1:3303
             login: tarantool_config_storage
             password: tarantool_config_storage_password
   groups:
     routers:
       replicasets:
         rsrouter-b-001:
           leader: router-b-001
           bootstrap_leader: router-b-001
           instances:
             router-b-001:
               roles_cfg:
                 roles.httpd:
                   default:
                     listen: localhost:20001
               iproto:
                 listen:
                   - uri: 127.0.0.1:3327
                 advertise:
                   client: 127.0.0.1:3327
       sharding:
         roles: [router]
       roles:
         - roles.tcf-worker
         - roles.tcf-coordinator
         - roles.httpd
         - roles.crud-router
         - dictionary.roles.router
       roles_cfg:
         roles.crud-router:
           stats: true
           stats_driver: metrics
           stats_quantiles: true
           stats_quantile_tolerated_error: 0.001
           stats_quantile_age_buckets_count: 5
           stats_quantile_max_age_time: 180
     storages:
       memtx:
         memory: 536870912 #512MiB
       replicasets:
         replicaset001:
           leader: storage-b-001
           bootstrap_leader: storage-b-001
           instances:
             storage-b-001:
               roles_cfg:
                 roles.httpd:
                   default:
                     listen: localhost:21101
               iproto:
                 listen:
                   - uri: 127.0.0.1:3324
                 advertise:
                   client: 127.0.0.1:3324
             storage-b-002:
               roles_cfg:
                 roles.httpd:
                   default:
                     listen: localhost:21102
               iproto:
                 listen:
                   - uri: 127.0.0.1:3325
                 advertise:
                   client: 127.0.0.1:3325
             storage-b-003:
               roles_cfg:
                 roles.httpd:
                   default:
                     listen: localhost:21103
               iproto:
                 listen:
                   - uri: 127.0.0.1:3326
                 advertise:
                   client: 127.0.0.1:3326
       sharding:
         roles: [storage]
       roles:
         - roles.tcf-worker
         - roles.httpd
         - roles.crud-storage
         - roles.expirationd
         - dictionary.roles.storage
       roles_cfg:
         roles.expirationd: []
   

6. В директории instances.enabled/cluster_b создайте файл instances.yaml:

   router-b-001:
   storage-b-001:
   storage-b-002:
   storage-b-003:
   

7. В каждой из директорий instances.enabled/cluster_a и instances.enabled/cluster_b соответственно создайте директорию migrations/scenario. В этой директории создайте файл миграции 001_migration.lua:

   local helpers = require('tt-migrations.helpers')
   local function apply_scenario()
       local space = box.schema.space.create('writers')
       space:format({
           {name = 'id', type = 'number'},
           {name = 'bucket_id', type = 'number'},
           {name = 'name', type = 'string'},
           {name = 'age', type = 'number'},
       })
       space:create_index('primary', {parts = {'id'}})
       space:create_index('bucket_id', {parts = {'bucket_id'}})
       helpers.register_sharding_key('writers', {'id'})
   end
   
   return {
       apply = {
           scenario = apply_scenario,
       },
   }
   

   В миграции создан шардированный спейс writers с ключом шардирования id и первичным индексом primary.

8. Перейдите в домашнюю директорию, где хранится директория tarantooldb. Скопируйте директорию с модулями .rocks в директории instances.enabled/cluster_a и instances.enabled/cluster_b:

   $ sudo cp -r tarantooldb/.rocks tarantooldb/instances.enabled/cluster_a
   $ sudo cp -r tarantooldb/.rocks tarantooldb/instances.enabled/cluster_b
   

Настройка и запуск Tarantool Cluster Manager¶

В качестве веб-интерфейса кластеров Tarantool DB используется Tarantool Cluster Manager, или TCM. Tarantool Cluster Manager – это инструмент для настройки и отслеживания кластеров Tarantool EE и управления ими. Подробная информация о TCM приведена в документации Tarantool.

Задать настройки для запуска TCM можно в файле конфигурации. Для этого создайте файл tcm.yaml в директории instances.enabled/cluster_a:

mode: production
cluster:
  connection-rate-limit: 512
  tarantool-timeout: 10s
  tarantool-ping-timeout: 5s
  tt-command: tt
  refresh-state-period: 5s
  refresh-state-timeout: 4s
  discovery-period: 4s
  sharding-index: bucket_id
  skew-time: 30s
security:
  bootstrap-password: secret
http:
  host: 127.0.0.1
  port: 8080
  show-stack-trace: False
  trace: False
  network: tcp
  tls:
    enabled: False
    cert-file:
    key-file:
    server-name:
    min-version: 0
    max-version: 0
    curve-preferences: []
    cipher-suites: []
log:
  default:
    show-stack-trace: False
    add-source: False
    level: INFO
    format: struct
    output: stdout
    file:
      name: /var/log/tarantool/cluster-manager/tcm.log
      maxsize: 1073741824
      maxage: 0
      maxbackups: 10
      compress: True
storage:
  provider: tarantool
  tarantool:
    username: tcm_config_storage
    password: tcm_config_storage_password
    addrs:
      - 127.0.0.1:3301
      - 127.0.0.1:3302
      - 127.0.0.1:3303
addon:
  enabled: False
  addons-dir:
  max-upload-size: 104857600
  dev-addons-dir: []
limits:
  users-count: 1000
  clusters-count: 10
  roles-count: 100
  webhooks-count: 200
  user-secrets-count: 10
  user-websessions-count: 10
  linked-cluster-users: 10
feature:
  ttgraph: False
  column-store: False
  tqe: False
  api-token: False
  tcf: True
initial-settings:
  clusters:
    - name: Tarantool Cluster 1
      id: 00000000-0000-0000-0000-000000000000
      storage-connection:
        provider: tarantool
        tarantool-connection:
          prefix: /default1
          username: tcm_config_storage
          password: tcm_config_storage_password
          endpoints:
            - 127.0.0.1:3301
            - 127.0.0.1:3302
            - 127.0.0.1:3303
      tarantool-connection:
        username: tcm_tarantool
        password: tcm_tarantool_password

Здесь:

• http – имя и порт хоста, на котором запущен TCM. По умолчанию, TCM запускается на порту 8080;

• storage – настройки хранилища конфигурации и его узлов, настроенных и запущенных ранее;

• security – настройки безопасности TCM;

• initial-settings – кластеры, которые создаются автоматически при первом запуске TCM. В конфигурации TCM автоматически создан кластер Tarantool Cluster 1. Второй кластер (Tarantool Cluster 2) будет создан позже вручную через веб-интерфейс TCM. Кластеры используют общее хранилище конфигурации, но имеют различные префиксы – /default1 и /default2.

Полная информация об опциях конфигурации TCM приведена в документации TCM.

Чтобы запустить TCM с конфигурацией из файла,

1. Откройте новую вкладку терминала.

2. Перейдите в директорию instances.enabled/cluster_a.

3. Выполните команду:

   $ tcm -c tcm.yaml
   

См. также Начало работы с TCM.

Запуск активного кластера¶

Запустите активный кластер (Tarantool Cluster 1). Для этого:

1. Перейдите в директорию tarantooldb:

   $ cd tarantooldb
   

2. Загрузите конфигурацию кластера в централизованное хранилище из YAML-файла, используя команду tt cluster publish:

   $ tt cluster publish http://dbadmin:secret@127.0.0.1:3301/default1 ./instances.enabled/cluster_a/config.yaml
   

   Здесь:

   • http://dbadmin:secret@127.0.0.1:3301/default1 – адрес master-узла хранилища конфигурации, переданный вместе с именем и паролем администратора БД. Определить master-узел можно с помощью команды tt status configstorage – в примере это узел instance001, имеющий адрес 127.0.0.1:3301;

   • ./instances.enabled/cluster_a/config.yaml – публикуемый файл конфигурации.

3. Запустите кластер:

   $ tt start cluster_a
   

4. Проверьте статус кластера:

   $ tt status cluster_a
   

5. Запустите модуль шардирования vshard:

   $ tt bootstrap vshard cluster_a
   

6. Загрузите миграции в кластер:

   $ tt migrations publish http://dbadmin:secret@127.0.0.1:3301/default1 ./instances.enabled/cluster_a/migrations
   

7. Примените загруженные миграции:

   $ tt migrations apply http://dbadmin:secret@127.0.0.1:3301/default1 --tarantool-username=admin --tarantool-password=secret
   

Запуск пассивного кластера¶

Запустите пассивный кластер (Tarantool Cluster 2). Для этого:

1. Перейдите в директорию tarantooldb:

   $ cd tarantooldb
   

2. Загрузите конфигурацию кластера в централизованное хранилище из YAML-файла, используя команду tt cluster publish:

   $ tt cluster publish http://dbadmin:secret@127.0.0.1:3301/default2 ./instances.enabled/cluster_b/config.yaml
   

   Здесь:

   • http://dbadmin:secret@http://127.0.0.1:3301/default2 – адрес master-узла хранилища конфигурации, переданный вместе с именем и паролем администратора БД. Определить master-узел можно с помощью команды tt status configstorage – в примере это узел instance001, имеющий адрес 127.0.0.1:3301;

   • ./instances.enabled/cluster_b/config.yaml – публикуемый файл конфигурации.

3. Запустите кластер:

   $ tt start cluster_b
   

4. Проверьте статус кластера:

   $ tt status cluster_b
   

5. Запустите модуль шардирования vshard:

   $ tt bootstrap vshard cluster_b
   

6. Загрузите миграции в кластер:

   $ tt migrations publish http://dbadmin:secret@127.0.0.1:3301/default2 ./instances.enabled/cluster_b/migrations
   

7. Примените загруженные миграции:

   $ tt migrations apply http://dbadmin:secret@127.0.0.1:3301/default2 --tarantool-username=admin --tarantool-password=secret
   

Создание пассивного кластера в TCM¶

Перед запуском пассивного кластера необходимо создать этот кластер в TCM и настроить его конфигурацию. Для этого:

1. Для входа в TCM откройте в браузере адрес http://localhost:8080. Логин и пароль для входа:

   • Username: admin;

   • Password: secret.

2. В TCM перейдите на вкладку Clusters и нажмите кнопку Add.

3. На первом экране настройки (General) введите имя нового кластера в поле Name. Имя кластера может быть любое, в примере используется имя Tarantool Cluster 2.

4. Перейдите во вкладку Config storage connection, нажав кнопку Next.

5. Во вкладке Config storage connection укажите следующие значения:

• в поле Provider – tarantool;

• в поле Prefix – /default2;

• в поле Endpoints укажите узлы хранилища конфигурации:

  127.0.0.1:3301
  127.0.0.1:3302
  127.0.0.1:3303
  

• в поле Username – tcm_config_storage;

• в поле Password – tcm_config_storage_password.

6. Переключитесь на третий экран настройки (Tarantool connection), нажав кнопку Next.

7. На третьем экране настройки (Tarantool connection) укажите следующие значения:

• в поле Username – tcm_tarantool;

• в поле Password – tcm_tarantool_password.

8. Нажмите кнопку Add, чтобы сохранить новые настройки кластера.

Проверка работы кластеров¶

Чтобы проверить состояние кластеров, выполните следующие шаги:

1. В TCM выберите нужный кластер (Tarantool Cluster 1 или Tarantool Cluster 2) над вкладкой Stateboard в выпадающем списке Clusters. Всё настроено правильно, если на вкладке Stateboard все узлы в кластере подсвечены зеленым цветом.

2. Чтобы проверить примененную миграцию, перейдите на вкладку Tuples. При успешной миграции в списке появится спейс writers.

3. Чтобы проверить текущее состояние кластеров, перейдите на вкладку TCF. Видно, что Tarantool Cluster 1 перешел в активное состояние, а Tarantool Cluster 2 – в пассивное.

   Note

   В Tarantool DB вкладка TCF в TCM поддерживается начиная с версии Tarantool DB 2.1.0. В более ранних версиях Tarantool DB 2.x используйте для проверки состояния кластеров соответствующий HTTP GET-запрос. Пример использования такого запроса приведен в соответствующем разделе Руководства для начинающих.

4. Также проверьте с помощью команды tt connect, что пассивный кластер заблокирован для пользователя tcf_dml:

   $ tt connect 127.0.0.1:3327 -u tcf_dml -p secret
   • Connecting to the instance...
   ⨯ failed to run interactive console: failed to create new console: failed to connect: failed to authenticate: DML is blocked, cluster is passive (ClientError, code 0x1ff)