Pokrenite AI inferenciju na vlastitom Gcore računu

Što vam povezivanje omogućuje

Povezivanje usluge Gcore Everywhere Inference donosi vaše implementacije inferencije — krajnje točke modela koje pokrećete na vlastitom Gcore računu i ono što svaka od njih poslužuje — te GPU opcije koje su vam dostupne izravno na vašu Zinn® upravljačku ploču.

Prije nego što započnete

Vlastiti Gcore račun s omogućenom uslugom Everywhere Inference. Ovo funkcionira isključivo po modelu vlastitog računa: mi ne preprodajemo Everywhere Inference, stoga su proizvod, ugovor i račun isključivo između vas i tvrtke Gcore, a sve što tamo pokrećete naplaćuje se na vaš Gcore račun, a ne na vaš Zinn® plan.

1. Izradite ključ na servisu Gcore

U Gcore korisničkom portalu otvorite svoj avatar u gornjem desnom kutu, a zatim Profile → API tokens → Create token. Dodijelite mu naziv, odaberite Never expire ili datum isteka te mu dodijelite ulogu za svaki proizvod koji mu je potreban. Gcore prikazuje token samo jednom; kopirajte ga tada.

Isti token funkcionira za svaki Gcore proizvod koji povežete, pa ako ste već povezali jedan Gcore proizvod, možete ponovno zalijepiti isti token — pod uvjetom da njegove uloge pokrivaju i ovaj proizvod. Tokenu se ne može dodijeliti viša uloga od one koju ima vaša vlastita prijava.

Dodijelite tokenu ulogu za Cloud. Također vam je potreban numerički ID projekta Gcore Cloud u kojem se nalaze vaše implementacije — usluga inferencije servisa Gcore organizirana je po projektima, pa ih sam token ne može izlistati. Prikazan je za projekt u odjeljku Gcore Cloud korisničkog portala.

2. Povežite ga ovdje

Otvorite Integrations na svojoj upravljačkoj ploči i odaberite Connect an account. Odaberite AI inference kao grupu i Gcore Everywhere Inference kao račun, unesite API token i Project ID te pritisnite Connect account.

Testiramo ono što zalijepite prije nego što se bilo što spremi. Ključ koji ne radi nikada se ne pohranjuje, a odgovor navodi u čemu je bio problem. Ključ koji radi čuva se šifriran u našem trezoru tajni — nikada u našoj bazi podataka — i nikada se više ne prikazuje, čak ni vama.

Što slijedi

• Vaše implementacije i GPU opcije koje vaš projekt nudi navedeni su pod Your own services, kojima se pristupa putem gumba Open your own services za tu vezu na stranici Integrations.
• Implementacije se pokreću i naplaćuju na vašem Gcore računu, prema vašem ugovoru s tvrtkom Gcore.

Ako se ne povezuje

Prikazuje se poruka da proizvod nije omogućen. Token je valjan, ali Everywhere Inference nije uključen za taj Gcore račun — Gcore tada odbija svako čitanje. Omogućite ga na Gcore korisničkom portalu (ili zatražite od tvrtke Gcore da to učini), a zatim se ponovno povežite. Token čija uloga ne uključuje Everywhere Inference dovodi do istog odbijanja; izradite onaj koji je uključuje.

Povezuje se, ali ništa ne prikazuje. Project ID upućuje na projekt bez implementacija ili na projekt kojem token ne može pristupiti. Provjerite je li to projekt u kojem se nalaze vaše implementacije.

Prikazuje se poruka da je ključ odbijen. Gotovo uvijek jedna od tri stvari: razmak ili prijelom retka kopiran s njim, ključ koji je istekao ili ključ koji je opozvan ili ponovno generiran nakon što ste ga kopirali. Izradite novi ključ i ponovno ga zalijepite.

Povezuje se, ali kasnije nešto ne uspijeva. Ključ se autentificira, ali mu nedostaje dopuštenje koje je radnji potrebno. Izradite novi ključ s gore navedenim dopuštenjima, zatim prekinite staru vezu i povežite novi ključ.

Prekidanje veze

Otvorite Integrations, pronađite račun i pritisnite Disconnect. To odmah briše pohranjeni ključ. Sve što ga je koristilo zaustavlja se pri svojoj sljedećoj radnji, a zasloni koji su ovisili o njemu to jasno navode umjesto neprimjetnog otkazivanja.

Prekidanje veze ne poništava ono što je već učinjeno — zapisi, implementacije ili postavke koje smo promijenili na vašem računu ostaju kakvi jesu. Ako smatrate da je sam ključ možda procurio, opozovite ga i kod pružatelja usluge; prekidanjem veze uklanja se naša kopija, a ne njihova.