Uruchamiaj wnioskowanie AI na własnym koncie Gcore

Co daje Ci połączenie

Połączenie Gcore Everywhere Inference przenosi twoje wdrożenia wnioskowania (inference deployments) — punkty końcowe modeli uruchomione na twoim własnym koncie Gcore oraz informacje o tym, co każdy z nich obsługuje — a także dostępne opcje GPU bezpośrednio do twojego panelu Zinn®.

Zanim zaczniesz

Własne konto Gcore z włączoną usługą Everywhere Inference. Obowiązuje wyłącznie model „przynieś własne konto” (bring-your-own): nie odsprzedajemy usługi Everywhere Inference, więc produkt, umowa i rachunki dotyczą wyłącznie ciebie oraz firmy Gcore, a koszty uruchamianych tam zasobów obciążają twoje konto Gcore, a nie twój plan Zinn®.

1. Utwórz klucz w Gcore

W portalu klienta Gcore kliknij swój awatar w prawym górnym rogu, a następnie przejdź do Profile → API tokens → Create token. Nadaj mu nazwę, wybierz Never expire lub datę wygaśnięcia i przypisz mu rolę dla każdego wymaganego produktu. Gcore wyświetla token tylko raz; skopiuj go wtedy.

Ten sam token działa dla każdego podłączanego produktu Gcore, więc jeśli masz już podłączony jeden produkt Gcore, możesz wkleić ten sam token ponownie — pod warunkiem, że jego role obejmują również ten produkt. Token nie może mieć przypisanej wyższej roli niż twoje własne konto logowania.

Przypisz tokenowi rolę dla Cloud. Potrzebny będzie również numeryczny identyfikator projektu Gcore Cloud, w którym znajdują się twoje wdrożenia — usługa wnioskowania Gcore jest zorganizowana według projektów, więc sam token nie wystarczy do ich wyświetlenia. Identyfikator ten jest widoczny przy danym projekcie w sekcji Gcore Cloud w portalu klienta.

2. Połącz tutaj

Otwórz zakładkę Integrations w panelu i wybierz Connect an account. Wybierz AI inference jako grupę oraz Gcore Everywhere Inference jako konto, wypełnij pola API token oraz Project ID, a następnie kliknij Connect account.

Testujemy wklejone dane, zanim cokolwiek zostanie zapisane. Klucz, który nie działa, nigdy nie jest zapisywany, a odpowiedź wyjaśnia, na czym polegał problem. Klucz, który działa, jest przechowywany w postaci zaszyfrowanej w naszym magazynie wpisów tajnych (secrets vault) — nigdy w naszej bazie danych — i nie zostanie już nigdy wyświetlony, nawet tobie.

Co dzieje się dalej

• twoje wdrożenia oraz opcje GPU oferowane przez twój projekt są wyświetlane w sekcji Your own services, dostępnej za pomocą przycisku Open your own services przy danym połączeniu w zakładce Integrations.
• Wdrożenia działają i są rozliczane na twoim koncie Gcore, w ramach twojej umowy z Gcore.

Jeśli połączenie się nie powiedzie

Komunikat informuje, że produkt nie jest włączony. Token jest prawidłowy, ale usługa Everywhere Inference nie została włączona na tym koncie Gcore — w takim wypadku Gcore odrzuca każdą próbę odczytu. Włącz ją w portalu klienta Gcore (lub poproś o to Gcore), a następnie spróbuj połączyć ponownie. Token, którego rola nie obejmuje Everywhere Inference, spowoduje taką samą odmowę; utwórz taki, który ją zawiera.

Połączenie powiodło się, ale nic się nie wyświetla. Pole Project ID wskazuje projekt bez wdrożeń lub projekt, do którego dany token nie ma dostępu. Upewnij się, że jest to projekt, w którym znajdują się twoje wdrożenia.

Komunikat informuje o odrzuceniu klucza. Prawie zawsze odpowiada za to jedna z trzech przyczyn: skopiowana spacja lub znak podziału wiersza, klucz, który wygasł, albo klucz, który został unieważniony bądź wygenerowany ponownie po jego skopiowaniu. Utwórz nowy klucz i wklej go ponownie.

Nawiązano połączenie, ale późniejsze działanie kończy się błędem. Uwierzytelnianie klucza powiodło się, lecz brakuje mu uprawnienia wymaganego do danego działania. Utwórz nowy klucz z uprawnieniami wymienionymi powyżej, a następnie rozłącz stare połączenie i podłącz nowy klucz.

Rozłączanie

Otwórz zakładkę Integrations, znajdź konto i kliknij Disconnect. Spowoduje to natychmiastowe usunięcie zapisanego klucza. Wszelkie procesy korzystające z niego zatrzymają się przy następnej akcji, a ekrany od niego zależne wyświetlą odpowiednią informację, zamiast po cichu zgłaszać błąd.

Rozłączenie nie cofa tego, co zostało już wykonane — wpisy, wdrożenia lub ustawienia zmienione przez nas na twoim koncie pozostają bez zmian. Jeśli podejrzewasz, że sam klucz mógł wyciec, unieważnij go również u dostawcy; rozłączenie usuwa naszą kopię, a nie ich.