স্থানীয় হার্ডওয়্যার এবং মডেল সামঞ্জস্যতা নিরীক্ষা

এক নজরে

মূল্য

২৫.৯৯ US$

বিতরণ

2 দিনে ডেলিভারি

বিক্রেতা

Zinn Digital

বিক্রিত

0

এই তালিকা সম্পর্কে

স্থানীয়ভাবে বড় ল্যাঙ্গুয়েজ মডেল এবং রিট্রিভাল-অগমেন্টেড পাইপলাইন চালানো আপনার নির্বাচিত মডেল এবং আপনার হাতে থাকা হার্ডওয়্যারের মধ্যে নিবিড় সামঞ্জস্য দাবি করে। প্যারামিটারের সংখ্যা যখন আপনার গ্রাফিক্স মেমরি বা সিস্টেম RAM-কে ছাড়িয়ে যায়, তখন অপারেটিং সিস্টেম ডিস্কে সোয়াপিং শুরু করার ফলে থ্রুপুট প্রায় সম্পূর্ণ হ্রাস পেতে পারে।

যেকোনো ডাউনলোড বা ইনস্টল করার সিদ্ধান্ত নেওয়ার আগে এই পরিষেবাটি আপনাকে একটি সম্পূর্ণ হার্ডওয়্যার সামঞ্জস্যতা পরীক্ষা প্রদান করে। আমরা আপনার আসল মেশিনটি যাচাই করি - Apple Silicon, একটি NVIDIA CUDA-সজ্জিত ওয়ার্কস্টেশন, অথবা একটি সাধারণ Windows বা Linux সার্ভার - এবং স্থানীয়ভাবে এটি থেকে কীভাবে সেরা ফলাফল পাওয়া যায় তা নির্ধারণ করি।

আমরা যা পরীক্ষা করি

• গ্রাফিক্স মেমরি সীমা: আপনি সর্বোচ্চ কত বড় মডেল চালাতে পারবেন তা নির্ধারণ করতে আমরা আপনার ডেডিকেটেড VRAM ম্যাপ করি, তা 7B, 13B, কিংবা 34B প্যারামিটার বিল্ড যাই হোক না কেন।
• সিস্টেম মেমরি বরাদ্দ: ডেডিকেটেড GPU বিহীন মেশিন বা যেখানে মেমরি শেয়ার করা হয়, সেগুলির জন্য আমরা আপনার CPU-ইনফারেন্স থ্রেশহোল্ড এবং অফলোডিং সীমা নির্ধারণ করি।
• কোয়ান্টাইজেশন নির্দেশনা: আপনার সেটআপের জন্য প্রসেসিং গতির সাথে মডেলের গুণমানের ভারসাম্য বজায় রাখতে আমরা একটি উপযুক্ত কোয়ান্টাইজেশন সেটিং সুপারিশ করি - সাধারণত Q4_K_M, Q5_K_M, বা Q8_0।
• কনটেক্সট উইন্ডো সর্বোচ্চ সীমা: আমরা নিরাপদ সর্বোচ্চ টোকেন সংখ্যা গণনা করি যাতে ভারী ডকুমেন্ট রিট্রিভাল আপনার সিস্টেমকে মেমরির ঘাটতিজনিত ব্যর্থতায় ঠেলে না দেয়।

কোন ওপেন-সোর্স ওজনগুলি চলবে তা অনুমান করার বা আপনার স্থানীয় সেটআপ কেন ধীরগতির তা নিয়ে ভাবার চেয়ে, আপনি সরাসরি এই সরঞ্জামগুলির সাথে কাজ করা ব্যক্তিদের তৈরি একটি হার্ডওয়্যার-নির্দিষ্ট পরিকল্পনা পান। শুরু করতে, অর্ডারটির সাথে সম্পর্কিত ডোমেন এবং আপনার সেটআপ ও লক্ষ্য বর্ণনা করে একটি সংক্ষিপ্ত বিবরণ আমাদের পাঠান।