ביקורת תאימות חומרה ומודלים מקומיים

במבט מהיר

מחיר

⁦‏25.99 ‏$⁩

מסירה

מוּשָׂ / 2 ימים

מוכר

Zinn Digital

נמכר

0

על אודות רישום זה

הפעלת מודלי שפה גדולים וצינורות עיבוד מבוססי אחזור (retrieval-augmented) באופן מקומי דורשת התאמה הדוקה בין המודל שבחרתם לבין החומרה שברשותכם. כאשר מספר הפרמטרים עולה על זיכרון הגרפיקה או על זיכרון ה-RAM של המערכת, תפוקת העיבוד עלולה לצנוח כמעט לחלוטין כאשר מערכת ההפעלה שלכם מתחילה לבצע החלפת זיכרון (swapping) לדיסק.

שירות זה מעניק לכם בדיקת תאימות חומרה מלאה לפני שאתם מתחייבים להורדה או להתקנה כלשהי. אנו בוחנים את המחשב הממשי שלכם - Apple Silicon, תחנת עבודה המצוידת ב-NVIDIA CUDA, או שרת Windows או Linux סטנדרטי - ומגדירים כיצד להפיק ממנו את המרב באופן מקומי.

מה אנו בודקים

• מגבלות זיכרון גרפי: אנו ממפים את ה-VRAM הייעודי שלכם כדי לקבוע מהו המודל הגדול ביותר שתוכלו להריץ, בין אם מדובר בגרסה של 7B, 13B או 34B פרמטרים.
• הקצאת זיכרון מערכת: אנו מחשבים את ספי ה-CPU-inference ומגבלות ה-offloading שלכם עבור מחשבים ללא GPU ייעודי, או כאשר הזיכרון משותף.
• הנחיות קוונטיזציה (Quantisation): אנו מציעים הגדרת קוונטיזציה מתאימה - בדרך כלל Q4_K_M, Q5_K_M או Q8_0 - כדי לאזן בין מהירות העיבוד לאיכות המודל עבור התצורה שלכם.
• תקרת חלון ההקשר (Context window): אנו מחשבים את כמות הטוקנים המרבית הבטוחה כדי שאחזור מסמכים כבד לא יוביל את המערכת שלכם לכשל של חוסר בזיכרון.

במקום לנחש אילו משקולות קוד פתוח יפעלו, או לתהות מדוע ההתקנה המקומית שלכם איטית, אתם מקבלים תוכנית מותאמת אישית לחומרה שנבנתה על ידי אנשים שעובדים ישירות עם ציוד זה. כדי להתחיל, שלחו לנו את הדומיין שאליו ההזמנה מתייחסת ותיאור קצר של התצורה והיעדים שלכם.