Ревизија компатибилности локалног хардвера и модела

Укратко

Цена

25,99 US$

Испорука

Испоручено за 2 дана

Продавац

Zinn Digital

Продато

0

О овом уносу

Локално покретање великих језичких модела и процеса проширених претрагом захтева прецизно усклађивање између одабраног модела и хардвера који имате на располагању. Када број параметара премаши капацитет ваше графичке меморије или системског RAM-а, пропусна моћ може готово потпуно пасти јер оперативни систем почиње да користи swap простор на диску.

Ова услуга вам пружа комплетну проверу хардверске компатибилности пре него што се обавежете на било какво преузимање или инсталацију. Ми анализирамо вашу конкретну машину — Apple Silicon, радну станицу са NVIDIA CUDA опремом, или стандардни Windows или Linux сервер — и дефинишемо како да из ње извучете максимум на локалу.

Шта проверавамо

• Ограничења графичке меморије: мапирамо вашу наменску VRAM меморију како бисмо одредили највећи модел који можете да покренете, било да је то верзија од 7B, 13B или 34B параметара.
• Расподелу системске меморије: одређујемо прагове за закључивање преко CPU-а и лимите за растерећење за машине без наменског графичког процесора, или где је меморија дељена.
• Смернице за квантизацију: предлажемо одговарајућу поставку квантизације — типично Q4_K_M, Q5_K_M или Q8_0 — како бисмо ускладили брзину обраде са квалитетом модела за вашу конфигурацију.
• Горњу границу контекстног прозора: рачунамо безбедан максимални број токена како захтевно добављање докумената не би довело систем до пада због недостатка меморије.

Уместо да нагађате које ће се тежине отвореног кода покренути или да се питате зашто је ваша локална поставка спора, добијате план специфичан за ваш хардвер, који су израдили људи који директно раде са овом опремом. Да бисте започели, пошаљите нам домен на који се поруџбина односи и кратак опис ваше конфигурације и циљева.