Run AI inference on your own Gcore account

Co daje Państwu połączenie

Połączenie usługi Gcore Everywhere Inference przenosi Państwa wdrożenia wnioskowania (punkty końcowe modeli uruchamiane na własnym koncie Gcore oraz informacje o tym, co każde z nich obsługuje) oraz dostępne dla Państwa opcje kart GPU bezpośrednio do panelu Zinn®.

Przed rozpoczęciem

Własne konto Gcore z włączoną usługą Everywhere Inference. Jest to rozwiązanie typu „przynieś własne konto”: nie odsprzedajemy usługi Everywhere Inference, dlatego produkt, umowa i rachunek są zawierane bezpośrednio między Państwem a Gcore, a opłaty za uruchomione zasoby są naliczane na koncie Gcore, a nie w ramach planu Zinn®.

1. Utworzenie klucza w Gcore

W Portalu Klienta Gcore należy kliknąć swój awatar w prawym górnym rogu, a następnie wybrać kolejno: Profil → Tokeny API → Utwórz token. Należy nadać mu nazwę, wybrać opcję Nigdy nie wygasa lub określić datę ważności oraz przypisać rolę dla każdego wymaganego produktu. Gcore wyświetli token tylko raz — należy go wówczas skopiować.

Ten sam token działa dla każdego podłączonego produktu Gcore, więc jeśli jeden produkt Gcore został już podłączony, można wkleić ten sam token ponownie, pod warunkiem że jego role obejmują również ten produkt. Tokenowi nie można przypisać roli wyższej niż uprawnienia Państwa własnego logowania.

Należy przypisać tokenowi rolę dla Chmury (Cloud). Potrzebny będzie również numeryczny identyfikator projektu Gcore Cloud (Project ID), w którym znajdują się Państwa wdrożenia — usługa wnioskowania Gcore jest organiz samą usługą organizowana według projektów, dlatego sam token nie wystarcza do ich wyliczenia. Identyfikator ten jest widoczny dla projektu w sekcji Gcore Cloud w Portalu Klienta.

2. Połączenie tutaj

Należy otworzyć sekcję Integracje w panelu sterowania i wybrać opcję Połącz konto. Jako grupę należy wybrać AI inference, a jako konto Gcore Everywhere Inference, uzupełnić pola Token API i Identyfikator projektu, a następnie nacisnąć przycisk Połącz konto.

Przed zapisaniem jakichkolwiek danych przeprowadzamy weryfikację wprowadzonych informacji. Klucz, który nie działa, nigdy nie jest zapisywany, a komunikat zwraca informację o wystąpieniu błędu. Działający klucz jest przechowywany w postaci zaszyfrowanej w naszym skarbcu sekretów (nigdy w bazie danych) i nie jest już nigdy pokazywany, nawet Państwu.

Co dzieje się dalej

• Państwa wdrożenia oraz oferowane przez projekt opcje kart GPU są wyświetlane w sekcji Twoje własne usługi, do której można przejść za pomocą przycisku Otwórz własne usługi w sekcji Integracje.
• Wdrożenia są uruchamiane i rozliczane na koncie Gcore, zgodnie z umową zawartą z firmą Gcore.

W przypadku problemów z połączeniem

Komunikat informuje, że produkt nie jest włączony. Token jest prawidłowy, ale usługa Everywhere Inference nie została włączona dla danego konta Gcore — w takiej sytuacji Gcore odrzuca wszelkie żądania odczytu. Należy włączyć usługę w Portalu Klienta Gcore (lub poprosić o to Gcore), a następnie połączyć się ponownie. Token, którego rola nie uwzględnia usługi Everywhere Inference, wywołuje taką samą odmowę dostępu; należy utworzyć nowy token posiadający odpowiednie uprawnienia.

Połączenie zostaje nawiązane, ale lista jest pusta. Pole Identyfikator projektu wskazuje na projekt, który nie zawiera żadnych wdrożeń, lub do którego token nie ma dostępu. Należy sprawdzić, czy jest to właściwy projekt, w którym znajdują się Państwa wdrożenia.

Komunikat informuje o odrzuceniu klucza. Najczęściej wynika to z jednej z trzech przyczyn: wraz z kluczem skopiowano spację lub znak nowego wiersza, klucz wygasł albo został unieważniony lub wygenerowany ponownie po jego skopiowaniu. Należy utworzyć nowy klucz i wkleić go ponownie.

Połączenie zostaje nawiązane, ale późniejsze działanie kończy się niepowodzeniem. Klucz pomyślnie uwierzytelnia użytkownika, lecz nie posiada uprawnienia wymaganego do wykonania danej akcji. Należy utworzyć nowy klucz z uprawnieniami wymienionymi powyżej, rozłączyć stare połączenie i podłączyć nowy klucz.

Rozłączanie

Należy otworzyć sekcję Integracje, odnaleźć konto i nacisnąć Rozłącz. Spowoduje to natychmiastowe usunięcie zapisanego klucza. Wszystkie elementy, które go używały, zatrzymają się przy następnej próbie wykonania akcji, a ekrany zależne od tego klucza wyświetlą odpowiedni komunikat zamiast cichego niepowodzenia.

Rozłączenie nie cofa wcześniej wykonanych czynności — rekordy, wdrożenia lub ustawienia zmienione przez nas na Państwa koncie pozostają bez zmian. Jeśli podejrzewają Państwo, że sam klucz mógł zostać ujawniony, należy go również unieważnić u dostawcy; rozłączenie usuwa naszą kopię, a nie kopię dostawcy.