Запускайте инференс ИИ в собственном аккаунте Gcore

Что даёт вам это подключение

Подключение Gcore Everywhere Inference переносит ваши развёртывания инференса (эндпоинты моделей, запущенные в вашей собственной учётной записи Gcore, и то, что каждый из них обслуживает) и доступные вам параметры GPU в вашу панель управления Zinn®.

Перед началом работы

Вам потребуется собственная учётная запись Gcore с включённой функцией Everywhere Inference. Мы работаем только по модели использования собственной инфраструктуры: мы не перепродаём Everywhere Inference, поэтому продукт, договор и счета оформляются между вами и Gcore, а всё, что вы там запускаете, списывается с вашей учётной записи Gcore, а не с вашего тарифного плана Zinn®.

1. Создайте ключ в Gcore

В клиентском портале Gcore нажмите на свой аватар в правом верхнем углу, затем выберите Profile → API tokens → Create token. Задайте ему имя, выберите Never expire или укажите дату окончания срока действия и назначьте роль для каждого необходимого продукта. Gcore показывает токен только один раз; скопируйте его сразу же.

Один и тот же токен подходит для любого подключаемого продукта Gcore, поэтому, если вы уже подключили один продукт Gcore, вы можете вставить этот же токен снова — при условии, что его роли охватывают и этот продукт. Токену нельзя назначить роль выше той, которой обладает ваша собственная учётная запись.

Назначьте токену роль для Cloud. Вам также потребуется числовой идентификатор (ID) проекта Gcore Cloud, в котором находятся ваши развёртывания: сервис инференса Gcore организован по проектам, поэтому один лишь токен не может отобразить их список. Он указан для проекта в разделе Gcore Cloud клиентского портала.

2. Подключите его здесь

Откройте раздел Интеграции в панели управления и выберите Подключить аккаунт. Выберите AI inference в качестве группы и Gcore Everywhere Inference в качестве аккаунта, заполните поля API token и Project ID и нажмите Подключить аккаунт.

Мы проверяем введённые вами данные до их сохранения. Неработающий ключ ни при каких обстоятельствах не сохраняется, а в ответе системы будет указано, что именно пошло не так. Работающий ключ хранится в зашифрованном виде в нашем хранилище секретов (и никогда — в базе данных) и больше никогда не отображается даже вам.

Что происходит дальше

• ваши развёртывания и параметры GPU, предлагаемые вашим проектом, будут перечислены в разделе ваши собственные сервисы, куда можно перейти с помощью кнопки Открыть ваши собственные сервисы для этого подключения на странице Интеграции.
• Развёртывания выполняются и оплачиваются в вашей учётной записи Gcore в рамках вашего договора с Gcore.

Если подключение не удаётся

Появляется сообщение о том, что продукт не активирован. Токен действителен, но функция Everywhere Inference не включена для этой учётной записи Gcore — в этом случае Gcore отклоняет любой запрос на чтение. Активируйте её в клиентском портале Gcore (или обратитесь с запросом в Gcore), затем повторите подключение. Токен, роль которого не включает Everywhere Inference, вызовет такой же отказ; создайте токен с нужной ролью.

Подключение прошло успешно, но список пуст. Значение Project ID указывает на проект без развёртываний или на проект, к которому у токена нет доступа. Убедитесь, что указан именно тот проект, в котором находятся ваши развёртывания.

Появляется сообщение о том, что ключ отклонён. Почти всегда причина кроется в одном из трёх факторов: вместе с ключом был скопирован пробел или перенос строки, срок действия ключа истёк, либо ключ был отозван или перевыпущен после того, как вы его скопировали. Создайте новый ключ и вставьте его снова.

Подключение проходит успешно, но позже возникает ошибка. Ключ проходит аутентификацию, но ему не хватает разрешения, необходимого для совершения действия. Создайте новый ключ с перечисленными выше разрешениями, затем отключите старое соединение и подключите новый ключ.

Отключение

Откройте раздел Интеграции, найдите нужный аккаунт и нажмите Отключить. Это действие немедленно удалит сохранённый ключ. Все процессы, которые его использовали, остановятся при следующем обращении к нему, а экраны, зависевшие от него, уведомят об этом вместо скрытого сбоя.

Отключение не отменяет того, что уже было выполнено: записи, развёртывания или настройки, которые мы изменили в вашей учётной записи, останутся без изменений. Если вы считаете, что сам ключ мог быть скомпрометирован, также отзовите его на стороне поставщика; отключение удаляет только нашу копию, но не их.