Chạy suy luận AI trên tài khoản Gcore của riêng bạn

Lợi ích khi quý khách kết nối dịch vụ này

Việc kết nối Gcore Everywhere Inference sẽ đưa các bản triển khai suy luận của quý khách — các điểm cuối mô hình mà quý khách chạy trên tài khoản Gcore của riêng mình và nội dung mỗi điểm cuối đang phân phát — cùng các tùy chọn GPU khả dụng về bảng điều khiển Zinn® của quý khách.

Trước khi quý khách bắt đầu

Quý khách cần có một tài khoản Gcore của riêng mình và đã bật Everywhere Inference. Đây là hình thức tự trang bị hoàn toàn: chúng tôi không bán lại Everywhere Inference, do đó sản phẩm, hợp đồng và hóa đơn là giữa quý khách và Gcore, đồng thời những gì quý khách chạy tại đó sẽ được tính phí vào tài khoản Gcore của quý khách chứ không tính vào gói dịch vụ Zinn® của quý khách.

1. Tạo khóa tại Gcore

Trong Cổng thông tin khách hàng Gcore, hãy mở ảnh đại diện của quý khách ở góc trên bên phải, sau đó chọn Profile → API tokens → Create token. Hãy đặt tên cho khóa, chọn Never expire hoặc ngày hết hạn, rồi cấp cho khóa một vai trò cho từng sản phẩm cần thiết. Gcore chỉ hiển thị mã token một lần; hãy sao chép mã ngay lúc đó.

Cùng một mã token có thể hoạt động cho mọi sản phẩm Gcore mà quý khách kết nối, vì vậy nếu quý khách đã kết nối một sản phẩm Gcore, quý khách có thể dán lại chính mã token đó — miễn là các vai trò của mã cũng bao gồm sản phẩm này. Một mã token không thể được cấp vai trò cao hơn vai trò của tài khoản đăng nhập của quý khách.

Hãy cấp cho mã token một vai trò cho Cloud. Quý khách cũng cần có ID dạng số của dự án Gcore Cloud nơi chứa các bản triển khai của quý khách — dịch vụ suy luận của Gcore được tổ chức theo dự án, vì vậy chỉ riêng mã token thì không thể liệt kê được các bản triển khai. ID này được hiển thị cho dự án trong phần Gcore Cloud của Cổng thông tin khách hàng.

2. Kết nối tại đây

Mở mục Integrations trong bảng điều khiển của quý khách và chọn Connect an account. Chọn AI inference làm nhóm và Gcore Everywhere Inference làm tài khoản, điền API token cùng Project ID, sau đó nhấn Connect account.

Chúng tôi sẽ kiểm tra thông tin quý khách dán trước khi lưu bất kỳ dữ liệu nào. Khóa không hoạt động sẽ không bao giờ được lưu trữ và phản hồi sẽ cho biết khóa gặp sự cố gì. Khóa hoạt động được sẽ được lưu trữ mã hóa trong kho bảo mật của chúng tôi — không bao giờ lưu trong cơ sở dữ liệu của chúng tôi — và sẽ không bao giờ hiển thị lại, kể cả với quý khách.

Điều gì sẽ diễn ra tiếp theo

• Các bản triển khai của quý khách và các tùy chọn GPU mà dự án của quý khách cung cấp sẽ được liệt kê dưới mục Your own services, có thể truy cập từ nút Open your own services của kết nối trên trang Integrations.
• Các bản triển khai sẽ chạy và được tính phí trên tài khoản Gcore của quý khách, theo hợp đồng của quý khách với Gcore.

Nếu không kết nối được

Hệ thống thông báo sản phẩm chưa được bật. Mã token hợp lệ, nhưng Everywhere Inference chưa được bật cho tài khoản Gcore đó — khi đó Gcore sẽ từ chối mọi yêu cầu đọc dữ liệu. Hãy bật tính năng này trong Cổng thông tin khách hàng Gcore (hoặc yêu cầu Gcore hỗ trợ), sau đó kết nối lại. Một mã token có vai trò không bao gồm Everywhere Inference cũng sẽ gây ra sự từ chối tương tự; hãy tạo một mã token có vai trò này.

Hệ thống kết nối được nhưng không liệt kê mục nào. Project ID trỏ đến một dự án không có bản triển khai nào, hoặc đến một dự án mà mã token không thể truy cập. Hãy kiểm tra xem đó có đúng là dự án chứa các bản triển khai của quý khách hay không.

Hệ thống thông báo khóa bị từ chối. Hầu như luôn là một trong ba nguyên nhân: có khoảng trắng hoặc ký tự xuống dòng được sao chép cùng khóa, khóa đã hết hạn, hoặc khóa đã bị thu hồi hay tạo lại sau khi quý khách sao chép. Hãy tạo một khóa mới và dán lại.

Hệ thống kết nối được, nhưng sau đó gặp lỗi. Khóa xác thực thành công nhưng thiếu quyền hạn mà hành động đó yêu cầu. Hãy tạo một khóa mới với các quyền hạn được liệt kê ở trên, sau đó ngắt kết nối cũ và kết nối khóa mới.

Ngắt kết nối

Mở mục Integrations, tìm tài khoản và nhấn Disconnect. Thao tác này sẽ xóa khóa đã lưu trữ ngay lập tức. Bất kỳ tác vụ nào đang sử dụng khóa sẽ dừng lại ở hành động tiếp theo, và các màn hình phụ thuộc vào khóa sẽ thông báo điều đó thay vì gặp lỗi trong im lặng.

Việc ngắt kết nối không hoàn tác những gì đã được thực hiện — các bản ghi, bản triển khai hoặc cài đặt mà chúng tôi đã thay đổi trên tài khoản của quý khách vẫn sẽ giữ nguyên như hiện tại. Nếu quý khách cho rằng chính khóa đó có thể đã bị rò rỉ, hãy thu hồi khóa tại nhà cung cấp; việc ngắt kết nối chỉ xóa bản sao của chúng tôi chứ không xóa bản sao của họ.