Запускайте виведення ШІ у власному обліковому записі Gcore

Що дає вам підключення

Підключення Gcore Everywhere Inference переносить ваші розгортання інференсу — кінцеві точки моделей, які ви запускаєте у власному обліковому записі Gcore, і те, що кожна з них обслуговує — та доступні вам параметри GPU до вашої панелі керування Zinn®.

Перш ніж почати

Власний обліковий запис Gcore з увімкненою послугою Everywhere Inference. Діє лише модель «використовуйте власне»: ми не перепродуємо Everywhere Inference, тому продукт, договір і рахунки залишаються між вами та Gcore, а витрати на те, що ви там запускаєте, списуються з вашого облікового запису Gcore, а не з вашого плану Zinn®.

1. Створіть ключ у Gcore

На порталі клієнта Gcore відкрийте свій аватар у верхньому правому куті, потім виберіть Profile → API tokens → Create token. Назвіть його, оберіть Never expire або дату завершення терміну дії та надайте йому роль для кожного потрібного продукту. Gcore показує токен лише один раз; скопіюйте його відразу.

Один і той самий токен підходить для кожного продукту Gcore, який ви підключаєте, тому якщо ви вже підключили один продукт Gcore, ви можете вставити той самий токен знову — за умови, що його ролі охоплюють і цей продукт. Токену не можна надати вищу роль, ніж має ваш власний логін.

Надайте токену роль для Cloud. Вам також знадобиться числовий ідентифікатор (ID) проєкту Gcore Cloud, у якому розташовані ваші розгортання — сервіс інференсу Gcore організовано за проєктами, тому один лише токен не може сформувати їхній список. Його вказано для проєкту в розділі Gcore Cloud на порталі клієнта.

2. Підключіть його тут

Відкрийте Integrations на вашій панелі керування та виберіть Connect an account. Виберіть AI inference як групу та Gcore Everywhere Inference як обліковий запис, заповніть API token і Project ID, після чого натисніть Connect account.

Ми перевіряємо вставлені дані, перш ніж щось зберегти. Ключ, який не працює, ніколи не зберігається, а у відповіді повідомляється, що саме з ним було не так. Ключ, який працює, зберігається в зашифрованому вигляді в нашому сховищі секретів — ніколи в нашій базі даних — і більше ніколи не відображається, навіть вам.

Що відбувається далі

• Ваші розгортання та параметри GPU, які пропонує ваш проєкт, відображаються в розділі Your own services, куди можна перейти за допомогою кнопки підключення Open your own services на сторінці Integrations.
• Розгортання виконуються й оплачуються у вашому обліковому записі Gcore відповідно до вашого договору з Gcore.

Якщо підключення не вдається

Повідомляється, що продукт не ввімкнено. Токен дійсний, але Everywhere Inference не активовано для цього облікового запису Gcore — у такому разі Gcore відхиляє будь-яке зчитування. Увімкніть його на порталі клієнта Gcore (або зверніться до Gcore із цим запитом), потім підключіться знову. Токен, роль якого не включає Everywhere Inference, спричиняє таку саму відмову; створіть токен із потрібною роллю.

Підключення встановлено, але список порожній. Project ID вказує на проєкт без розгортань або на проєкт, до якого токен не має доступу. Переконайтеся, що це саме той проєкт, у якому знаходяться ваші розгортання.

Повідомляється, що ключ відхилено. Майже завжди причина в одному з трьох факторів: разом із ним скопійовано пробіл або розрив рядка, термін дії ключа закінчився або ключ було відкликано чи згенеровано заново після копіювання. Створіть новий ключ і вставте його знову.

Підключення встановлено, але згодом виникає збій. Ключ проходить автентифікацію, але не має дозволу, потрібного для відповідної дії. Створіть новий ключ із переліченими вище дозволами, після чого розірвіть старе підключення та підключіть новий ключ.

Відключення

Відкрийте Integrations, знайдіть обліковий запис і натисніть Disconnect. Це негайно видалить збережений ключ. Усе, що його використовувало, зупиниться під час наступної дії, а залежні екрани повідомлять про це, замість того щоб безслідно завершитися з помилкою.

Відключення не скасовує того, що вже було виконано, — записи, розгортання або налаштування, які ми змінили у вашому обліковому записі, залишаються без змін. Якщо ви вважаєте, що сам ключ міг бути скомпрометований, відкличте його також у постачальника послуги; відключення видаляє нашу копію, а не їхню.