Запускайте инференс ИИ в своем аккаунте Gcore

Что дает вам подключение

Подключение Gcore Everywhere Inference добавляет ваши развертывания инференса (конечные точки моделей, которые вы запускаете в своей учетной записи Gcore, и обслуживаемые ими данные) и доступные вам опции GPU на вашу панель управления Zinn®.

Перед началом работы

Требуется собственная учетная запись Gcore с включенной функцией Everywhere Inference. Эта интеграция поддерживает только собственный аккаунт: мы не перепродаем Everywhere Inference, поэтому продукт, договор и счета оформляются между вами и Gcore, а запущенные там ресурсы оплачиваются через вашу учетную запись Gcore, а не ваш тарифный план Zinn®.

1. Создание ключа в Gcore

В Портале клиента Gcore нажмите на свой аватар в правом верхнем углу, затем выберите Профиль → API-токены → Создать токен. Задайте ему имя, выберите вариант Никогда не истекает или срок действия и назначьте роль для каждого необходимого продукта. Gcore показывает токен только один раз — скопируйте его сразу.

Один и тот же токен подходит для любого подключаемого продукта Gcore, поэтому если вы уже подключили один продукт Gcore, вы можете вставить тот же токен снова, при условии, что его роли охватывают и этот продукт. Токену нельзя назначить роль выше, чем у вашей собственной учетной записи.

Назначьте токену роль для Cloud. Вам также потребуется числовой идентификатор проекта Gcore Cloud, в котором находятся ваши развертывания. Служба инференса Gcore организована по проектам, поэтому один токен не может отобразить их список. Он указан для проекта в разделе Gcore Cloud Портала клиента.

2. Подключение здесь

Откройте раздел Интеграции на панели управления и выберите Подключить учетную запись. Выберите AI inference в качестве группы и Gcore Everywhere Inference в качестве учетной записи, заполните поля API-токен и Идентификатор проекта и нажмите Подключить учетную запись.

Мы проверяем введенные данные перед сохранением. Неработающий ключ никогда не сохраняется, а в ответе указывается причина ошибки. Работающий ключ хранится в зашифрованном виде в нашем хранилище секретов (но не в нашей базе данных) и больше никогда не отображается, даже вам.

Что происходит дальше

• Ваши развертывания и предлагаемые вашим проектом опции GPU отображаются в разделе Ваши собственные службы, доступ к которому осуществляется с помощью кнопки Открыть ваши собственные службы в разделе Интеграции.
• Развертывания выполняются и оплачиваются в вашей учетной записи Gcore в соответствии с вашим договором с Gcore.

Если подключение не удается

Сообщение о том, что продукт не включен. Токен действителен, но функция Everywhere Inference не активирована для данной учетной записи Gcore — в этом случае Gcore отклоняет любые запросы на чтение. Включите ее в Портале клиента Gcore (или обратитесь в поддержку Gcore), а затем повторите подключение. Токен, роль которого не включает Everywhere Inference, вызывает такой же отказ; создайте токен с соответствующими правами.

Подключение выполнено, но список пуст. Идентификатор проекта указывает на проект без развертываний или на проект, к которому у токена нет доступа. Убедитесь, что это именно тот проект, в котором находятся ваши развертывания.

Сообщение об отклонении ключа. Почти всегда это связано с одной из трех причин: вместе с ключом был скопирован пробел или символ перевода строки, срок действия ключа истек, либо ключ был отозван или пересоздан после копирования. Создайте новый ключ и вставьте его снова.

Подключение выполнено, но последующие действия завершаются ошибкой. Ключ проходит аутентификацию, но ему не хватает разрешений, необходимых для выполнения действия. Создайте новый ключ с правами, указанными выше, затем отключите старое подключение и подключите новый ключ.

Отключение

Откройте раздел Интеграции, найдите учетную запись и нажмите Отключить. Это немедленно удалит сохраненный ключ. Любые процессы, использующие его, остановятся при следующем обращении, а экраны, зависящие от него, сообщат об этом вместо того, чтобы завершаться с молчаливой ошибкой.

Отключение не отменяет уже выполненных действий: записи, развертывания или изменения настроек, внесенные нами в вашу учетную запись, остаются без изменений. Если вы подозреваете, что сам ключ мог бытькомпрометирован, также отозвите его у поставщика; отключение удаляет нашу копию, но не их.