Запускайте AI-інференс у власному обліковому записі Gcore

Що підключення дає вам

Підключення Gcore Everywhere Inference інтегрує ваші розгортання виведення — кінцеві точки моделей, які ви запускаєте у своєму обліковому записі Gcore, і те, що кожна з них обслуговує — та доступні вам варіанти GPU у вашу панель керування Zinn®.

Перед початком

Власний обліковий запис Gcore з активованою функцією Everywhere Inference. Це працює виключно за принципом «принесіть власний обліковий запис»: ми не перепродаємо Everywhere Inference, тому продукт, контракт і рахунок стосуються виключно вас і Gcore, а те, що ви там запускаєте, тарифікується у вашому обліковому записі Gcore, а не у вашому тарифі Zinn®.

1. Створіть ключ у Gcore

У Порталі клієнта Gcore відкрийте ваш аватаром у правому верхньому кутку, потім виберіть Профіль → API-токени → Створити токен. Назвіть його, виберіть Ніколи не закінчується або дату закінчення терміну дії та призначте йому роль для кожного продукту, який йому потрібен. Gcore показує токен лише один раз — скопіюйте його одразу.

Один і той самий токен працює для кожного підключеного продукту Gcore, тому якщо ви вже підключили один продукт Gcore, ви можете вставити той самий токен знову, за умови, що його ролі охоплюють і цей продукт. Токен не може мати вищу роль, ніж ваш власний обліковий запис.

Призначте токену роль для Cloud. Вам також знадобиться числовий ID проєкту Gcore Cloud, у якому розміщені ваші розгортання — служба виведення Gcore організована за проєктами, тому сам по собі токен не може їх перерахувати. Він відображається для проєкту в розділі Gcore Cloud Порталу клієнта.

2. Підключіть його тут

Відкрийте розділ Інтеграції у своїй панелі керування та виберіть Підключити обліковий запис. Виберіть AI inference як групу та Gcore Everywhere Inference як обліковий запис, заповніть поля API-токен та ID проєкту, а потім натисніть Підключити обліковий запис.

Ми тестуємо те, що ви вставляєте, перш ніж будь-що буде збережено. Ключ, який не працює, ніколи не зберігається, а відповідь показує, що саме було не так. Ключ, який працює, зберігається в зашифрованому вигляді у нашому сховищі секретів — ніколи в нашій базі даних — і більше ніколи не відображається, навіть вам.

Що відбувається далі

• Ваші розгортання та варіанти GPU, які пропонує ваш проєкт, перелічені в розділі **Ваші

власні служби, перейти до якого можна за допомогою кнопки Відкрити ваші власні служби в розділі Інтеграції**.

• Розгортання виконуються та тарифікуються у вашому обліковому записі Gcore згідно з вашим контрактом із Gcore.

Якщо підключення не вдається

Повідомлення про те, що продукт не активовано. Токен дійсний, але для цього облікового запису Gcore не ввімкнено функцію Everywhere Inference — у цьому разі Gcore відхиляє будь-які операції читання. Увімкніть її в Порталі клієнта Gcore (або зверніться до Gcore з таким проханням), а потім підключіться знову. Токен, чия роль не включає Everywhere Inference, викликає таку саму відмову; створіть такий, який її включає.

Підключення встановлено, але нічого не відображається. ID проєкту вказує на проєкт без розгортань або на проєкт, до якого токен не має доступу. Переконайтеся, що це саме той проєкт, у якому знаходяться ваші розгортання.

Повідомлення про відхилення ключа. Майже завжди це спричинено однією з трьох причин: пробіл або розрив рядка, скопійовані разом із ключем; ключ, термін дії якого закінчився; або ключ, який було відкликано чи згенеровано повторно після того, як ви його скопіювали. Створіть новий і вставте його знову.

Підключення встановлено, але пізніше щось іде не так. Ключ проходить автентифікацію, але йому бракує дозволу, необхідного для виконання дії. Створіть новий ключ із дозволами, переліченими вище, після чого відключіть старе підключення та підключіть новий ключ.

Відключення

Відкрийте розділ Інтеграції, знайдіть обліковий запис і натисніть Відключити. Це негайно видалить збережений ключ. Будь-який процес, який його використовував, зупиниться під час виконання наступної дії, і екрани, що залежать від нього, повідомлять про це, замість того щоб завершуватися мовчки.

Відключення не скасовує те, що вже було зроблено — записи, розгортання або налаштування, які ми змінили у вашому обліковому записі, залишаються такими, якими вони є. Якщо ви вважаєте, що сам ключ міг бути скомпрометований, також відкличте його у постачальника; відключення видаляє нашу копію, а не їхню.