การตรวจสอบความเข้ากันได้ของฮาร์ดแวร์และโมเดลในเครื่อง

ภาพรวม

ราคา

US$25.99

การส่งมอบ

ส่งมอบใน 2 วัน

ผู้ขาย

Zinn Digital

ขายแล้ว

0

เกี่ยวกับรายการนี้

การรันโมเดลภาษาขนาดใหญ่และไปป์ไลน์แบบเสริมการค้นคืนข้อมูลในเครื่องของคุณ จำเป็นต้องมีความสอดคล้องอย่างใกล้ชิดระหว่างโมเดลที่คุณเลือกและฮาร์ดแวร์ที่คุณมีอยู่ เมื่อจำนวนพารามิเตอร์เกินขีดจำกัดของหน่วยความจำกราฟิกหรือ RAM ของระบบ ประสิทธิภาพในการประมวลผลอาจลดลงเกือบทั้งหมดเนื่องจากระบบปฏิบัติการของคุณเริ่มสลับข้อมูลไปไว้ในดิสก์

บริการนี้ช่วยให้คุณตรวจสอบความเข้ากันได้ของฮาร์ดแวร์อย่างละเอียด ก่อนที่คุณจะตัดสินใจดาวน์โหลดหรือติดตั้งใดๆ เราจะตรวจสอบเครื่องจริงของคุณ ไม่ว่าจะเป็น Apple Silicon, เวิร์กสเตชันที่ติดตั้ง NVIDIA CUDA หรือเซิร์ฟเวอร์ Windows หรือ Linux มาตรฐาน และกำหนดแนวทางเพื่อให้คุณใช้งานเครื่องดังกล่าวได้อย่างเต็มประสิทธิภาพที่สุดในระดับท้องถิ่น

สิ่งที่เราตรวจสอบ

• ขีดจำกัดของหน่วยความจำกราฟิก: เราจะจับคู่ VRAM โดยเฉพาะของคุณเพื่อระบุโมเดลขนาดใหญ่ที่สุดที่คุณสามารถรันได้ ไม่ว่าจะเป็นรุ่นที่มีขนาด 7B, 13B หรือ 34B พารามิเตอร์
• การจัดสรรหน่วยความจำระบบ: เราจะคำนวณเกณฑ์การประมวลผลผลลัพธ์ของ CPU และขีดจำกัดการถ่ายโอนงานสำหรับเครื่องที่ไม่มี GPU แยก หรือเครื่องที่ใช้หน่วยความจำร่วมกัน
• คำแนะนำด้านการทำควอนไทเซชัน: เราจะแนะนำการตั้งค่าควอนไทเซชันที่เหมาะสม ซึ่งโดยทั่วไปคือ Q4_K_M, Q5_K_M หรือ Q8_0 เพื่อให้ความเร็วในการประมวลผลสอดคล้องกับคุณภาพของโมเดลสำหรับการตั้งค่าของคุณ
• ขีดจำกัดสูงสุดของหน้าต่างบริบท: เราจะคำนวณจำนวนโทเค็นสูงสุดที่ปลอดภัย เพื่อไม่ให้การค้นคืนเอกสารจำนวนมากทำให้ระบบของคุณเกิดข้อผิดพลาดจากหน่วยความจำไม่เพียงพอ

แทนที่จะต้องคาดเดาว่าค่าน้ำหนักแบบโอเพนซอร์สชุดใดจะสามารถรันได้ หรือสงสัยว่าเหตุใดระบบในเครื่องของคุณจึงทำงานช้า คุณจะได้รับแผนงานเฉพาะสำหรับฮาร์ดแวร์ของคุณซึ่งสร้างขึ้นโดยทีมงานที่ทำงานกับอุปกรณ์เหล่านี้โดยตรง หากต้องการเริ่มต้น โปรดส่งโดเมนที่เกี่ยวข้องกับคำสั่งซื้อพร้อมทั้งสรุปรายละเอียดการตั้งค่าและเป้าหมายของคุณมาให้เรา