Изменение схемы данных с помощью space:format()¶

Получение данных проекта¶

В TCM во вкладке Terminal вызовите функцию и оцените результат:

localhost:3301> box.schema.func.call('app.get_project_data', require('uuid').fromstr('aaaaaaaa-0000-0000-0000-000000000001'))
---
- res:
    tasks:
    - status: In Progress
      user:
        name: Jane Smith
        email: jane.smith@example.com
      name: Optimize Database
      description: Optimize the database to improve performance.
    - status: Not Started
      user:
        name: Michael Brown
        email: michael.brown@example.com
      name: Create New Logo
      description: Design a new logo for the website.
    name: Task Management
    description: Development of a task management system
  err: null

В выводе видны данные проекта Task Management и двух задач из этого проекта. Функция app.get_project_data(project_id) выполняет join из всех спейсов, используются crud.get, crud.pairs.

Замена пользователя¶

Предположим, что во всех задачах, связанных с некоторым пользователем, нужно присвоить полю assigned_user_id другого пользователя. Для этой цели на всех хранилищах объявлена функция tasks.replace_user. Функция задает новое значение в поле assigned_user_id для всех задач, у которых assigned_user_id == user_id, где user_id – аргумент функции.

Код функции:

function(current_user_id, new_user_id)
    local fiber = require('fiber')
    local every_100 = 0
    for _, t in box.space.tasks.index.assigned_user_id:pairs({current_user_id}, 'EQ') do
        box.space.tasks:update(t.task_id, {{'=', 'assigned_user_id', new_user_id}})
        
        every_100 = every_100 + 1
        if every_100 == 100 then
            every_100 = 0
            fiber.yield()
        end
    end
    return true
end

Особенность такой замены состоит в том, что спейсы tasks и users шардируются по разным ключам. В общем случае связанные задачи и пользователи будут находиться на разных наборах реплик. Это значит, что нет узла, на котором бы было известно, на каких наборах реплик будут задачи, связанные с удаляемым пользователем. Вызывать функцию tasks.replace_user нужно на каждом мастере набора реплик, потому что такие задачи будут на всех наборах реплик. Для вызова функции на всех наборах реплик используется модуль для горизонтального масштабирования vshard.

В примере ниже функция tasks.replace_user заменяет пользователя Jane Smith на Ava Martinez:

vshard.router.map_callrw('tasks.replace_user', {
    require('uuid').fromstr('cccccccc-0000-0000-0000-000000000002'),
    require('uuid').fromstr('cccccccc-0000-0000-0000-00000000000a')
})

В TCM во вкладке Terminal просмотрите ещё раз данные проекта Task Management :

localhost:3301> box.schema.func.call('app.get_project_data', require('uuid').fromstr('aaaaaaaa-0000-0000-0000-000000000001'))
---
- res:
    tasks:
    - status: In Progress
      user:
        name: Ava Martinez
        email: ava.martinez@example.com
      name: Optimize Database
      description: Optimize the database to improve performance.
    - status: Not Started
      user:
        name: Michael Brown
        email: michael.brown@example.com
      name: Create New Logo
      description: Design a new logo for the website.
    name: Task Management
    description: Development of a task management system
  err: null

Видно, что в проекте на задачах пользователь Jane Smith изменен на Ava Martinez.

Полный исходный код функции tasks.replace_user приведен в файле миграции ./cluster/migrations/scenario/001_test.lua примера migrations.

Удаление проекта¶

Удалите проект Task Management:

tarantool-router-msk:3301> box.schema.func.call('app.delete_project',
    require('uuid').fromstr('aaaaaaaa-0000-0000-0000-000000000001')
    )
---
- res: true
  err: null
...

Просмотрите содержимое спейса projects. Видно, что проект Task Management был удален вместе со всеми задачами:

tarantool-router-msk:3301> box.schema.func.call('app.get_project_data',
    require('uuid').fromstr('aaaaaaaa-0000-0000-0000-000000000001')
    )
---
- res: []
  err: null
...

Спейсы projects и tasks шардируются по одинаковым значениям. Это означает, что связанные между собой проект и задача находятся на одном экземпляре. Такой подход позволяет транзакционно удалить данные из projects и tasks. Для этого на хранилищах реализована API-функция projects.delete_project.

Код функции:

function(project_id)
    local proj = box.space.projects:get(project_id)
    if proj == nil then
        return false
    end

    box.atomic(function() -- атомарно удаляем и из projects и из tasks
        box.space.projects:delete(project_id)

        for _, t in box.space.tasks.index.project_id:pairs({project_id}, 'EQ') do
            box.space.tasks:delete(t.id)
        end
    end)
    return true
end

Для вызова функции на конкретном мастер-узле используется модуль vshard. Вызов функции projects.delete_project через модуль vshard в коде app.delete_project выглядит так:

local vshard_router = require('vshard.router')
local bucket_id = vshard_router.bucket_id_strcrc32(project_id)
local _, err = vshard_router.callrw(bucket_id, 'projects.delete_project', {project_id})

Полный исходный код функции projects.delete_project приведен в файле миграции ./cluster/migrations/scenario/001_test.lua примера migrations.

Выполнение миграции¶

Выполнить миграцию можно с помощью утилиты tt CLI. Для этого:

1. В терминале поместите файлы из папки migration_next с кодом миграций 002_test.lua и 002_test_upgrade.lua в папку ./cluster/migrations/scenario/:

   cd cluster
   cp -a migration_next/* migrations/scenario/ 
   

2. Загрузите миграции в централизованное хранилище:

   tt migrations publish http://admin:secret-cluster-cookie@localhost:2379/tdb/ migrations
   

   Узнать больше о командах tt migrations можно в документации Tarantool.

3. Примените миграции:

   docker compose exec tarantool-router-msk tt migrations apply http://etcd1:2379/tdb --tarantool-username=admin --tarantool-password=secret-cluster-cookie
   cd ..
   

   В случае успеха вывод будет выглядеть так:

   • router-msk:              
   •     001_test.lua: skipped, already applied
   •     002_test.lua: successfully applied
   •     002_test_upgrade.lua: successfully applied
   • router-spb:              
   •     001_test.lua: skipped, already applied
   •     002_test.lua: successfully applied
   •     002_test_upgrade.lua: successfully applied
   • storage-1:               
   •     001_test.lua: skipped, already applied
   •     002_test.lua: successfully applied
   •     002_test_upgrade.lua: successfully applied
   • storage-2:               
   •     001_test.lua: skipped, already applied
   •     002_test.lua: successfully applied
   •     002_test_upgrade.lua: successfully applied
   

4. Проверьте, что миграция прошла успешно. Для этого в TCM во вкладке Terminal выполните функцию app.get_project_data. В функции должны появиться новые поля в ответе:

   tarantool-router-msk:3301> box.schema.func.call('app.get_project_data', require('uuid').fromstr('aaaaaaaa-0000-0000-0000-000000000002'))
   ---
   - res:
       tasks:
       - due_date: 2999-12-31T00:00:00Z
         status: In Progress
         user:
           email: not set
           name: Emily Davis
           role: emily.davis@example.com
         name: Develop User Authentication
         description: Implement user authentication for the mobile app.
       - due_date: 2999-12-31T00:00:00Z
         status: Not Started
         user:
           email: not set
           name: David Wilson
           role: david.wilson@example.com
         name: Design Marketing Materials
         description: Create brochures and flyers for the campaign.
       deadline: 2999-12-31T00:00:00Z
       name: Website Update
       description: Making changes to the website design and functionality
     err: null
   ...
   

5. Обратите внимание, что в миграции происходит обновление функции app.get_project_data. Для этого транзакционно удаляется старая функция и добавляется новая. Такой подход гарантирует, что не произойдет ситуации, когда функции app.get_project_data не существует:

    box.atomic(function()
       box.schema.func.drop('app.get_project_data') -- удаляется старый вариант
       box.schema.func.create('app.get_project_data',  {
         language = 'LUA',
           if_not_exists = true,
           body = [[ ... ]]
       }) -- добавляется новый вариант
   end)
   

Узнать подробнее о том, как хранятся персистентные функции, можно в спейсе box.space._func.