Deepseek-R1 با Nvidia nim زندگی می کند

Deepsek-R1 یک الگوی باز است که دارای قابلیت های تفکر مدرن است. به جای ارائه پاسخ مستقیم ، مدل های تفکر مانند DeepSeek-R1 چندین سؤال را از طریق سوالات انجام می دهند و یک سری ایده ها ، اجماع و روش های تحقیق را برای ایجاد بهترین پاسخ ایجاد می کنند.

این سکانس از گذرگاه های استنباط شناخته شده است-با استفاده از دلیل رسیدن به بهترین پاسخ در نام زمان آزمون. Deepsek-R1 نمونه ای ایده آل از این قانون محدودیت است ، که نشان می دهد دلیل محاسبات شتاب برای الزامات استنباط AI از عامل بسیار مهم است.

از آنجا که مدل ها مجاز به "فکر کردن" به طور مکرر از طریق مشکل هستند ، آنها نمادهای متمایز تری از بازده و دوره های تولید طولانی تر ایجاد می کنند ، بنابراین کیفیت مدل همچنان گسترش می یابد. محاسبه زمان مهم آزمون برای فعال کردن زمان واقعی و استدلال با کیفیت بالا از مدل های تفکر مانند DeepSeek-R1 ضروری است ، که نیاز به پس از مداخله دارد.

R1 دقت پیشگامانه ای از وظایف را ارائه می دهد که به استدلال منطقی ، منطق ، ریاضیات ، برنامه نویسی و درک زبان در حالی که بهره وری بسیار پایین تر را ارائه می دهد ، ارائه می دهد.

برای اطمینان از توسعه دهندگان این قابلیت ها و ساختن عوامل تخصصی خود ، مدل باپتیست Deepseek-R1 اکنون 671 میلیارد میلیارد MicroService در Build.nvidia.com در دسترس است. میکروسرویس Deepseek-R1 NIM می تواند تا 3،872 نماد در ثانیه در سیستم NVIDIA HGX H200 ارائه دهد.

توسعه دهندگان می توانند با رابط برنامه نویسی API آزمایش و آزمایش کنند ، که انتظار می رود به زودی مانند NIM MicroService ، که بخشی از پلت فرم برنامه شرکت NVIDIA AI است ، در دسترس باشد.

Deepseek-R1 NIM MicroService فرآیندهای انتشار را با پشتیبانی از نمای برنامه نویسی استاندارد ساده می کند. موسسات می توانند با بهره برداری از میکروسرویس NIM در زیرساخت های محاسبات شتاب دهنده ترجیحی ، ایمنی و حریم خصوصی داده ها را به حداکثر برسانند. با استفاده از ریخته گری NVIDIA AI با NVIDIA NEMO ، شرکت ها همچنین قادر خواهند بود Deepsek-R1 NIM را به نمایندگان اطلاعاتی تخصصی اختصاص دهند.

DeepSek-R1- نمونه ای ایده آل از مقیاس زمان تست

Deepsek-R1 یک مدل بزرگ از متخصصان (MEE) است. این شامل 671 میلیارد معلم چشمگیر 10 x نسبت به بسیاری از منابع معروف LLMS منبع باز معروف طول زمینه ورود بزرگ 128،000 آیکون است. این مدل همچنین از تعداد زیادی از متخصصان برای هر لایه استفاده می کند. هر لایه R1 دارای 256 متخصص است که هر نماد به هشت متخصص جداگانه به طور موازی برای ارزیابی هدایت می شود.

ارائه پاسخ در زمان واقعی R1 به بسیاری از واحدهای پردازش گرافیکی با عملکرد بالا ، مرتبط با ارتباطات در مقیاس بالا و ارتباط کم برای دسترسی به نمادهای هیجان انگیز به همه متخصصان برای استنباط نیاز دارد. در رابطه با پیشرفت های برنامه موجود در MicroService NVIDIA NIM ، یک سرور با هشت واحد پردازش گرافیکی H200 را می توان با استفاده از کلید کامل NVLONK و NVLONK به طور کامل Deepseek-R1 ، 671 میلیارد ، تا 3،872 نماد در ثانیه متصل کرد. این بهره وری با استفاده از موتور FP8 معماری NVIDIA در هر لایه - و 900 گیگابایت در ثانیه از NVLink برای MEE Expert Communications امکان پذیر شده است.

دریافت هر فرآیند شناور در هر ثانیه (دست و پنجه نرم) عملکرد GPU برای استنباط در زمان واقعی بسیار مهم است. معماری از نسل بعدی Nvidia Blackwell برای آزمایش مدلهای تفکر مانند Deepsek-R1 Giant Boost با هسته جهش های نسل پنجم ، زمان خواهد داشت ، که می تواند تا 20 PeaFlops را از Peak FP4 Compute Performan برای نتیجه گیری فراهم کند.

اکنون با MicroService Deepseek-R1 NIM شروع کنید

توسعه دهندگان می توانند DeepSeek-R1 NIM MicroService را که اکنون در Build.nvidia.com موجود است ، تجربه کنند. نحوه عملکرد آن را تماشا کنید:

[embed]https://www.youtube.com/watch؟[/embed]

با NVIDIA NIM ، موسسات به راحتی می توانند DeepSeek-R1 را منتشر کرده و اطمینان حاصل کنند که آنها راندمان بالایی را برای سیستم های اطلاعاتی مصنوعی دریافت می کنند.

می بیند اخطار با توجه به اطلاعات محصول نرم افزاری.