در کنفرانس آموزش رباتیک (CoRL) در مونیخ آلمان، Hugging Face و NVIDIA اعلام کردند که با گرد هم آوردن جوامع رباتیک منبع باز خود، همکاری خود را برای تسریع تحقیق و توسعه روباتیک اعلام کردند.

پلتفرم هوش مصنوعی باز LeRobot Hugging Face به همراه فناوری رباتیک NVIDIA AI، Omniverse و Isaac به محققان و توسعه دهندگان این امکان را می دهد تا در طیف گسترده ای از صنایع از جمله تولید، مراقبت های بهداشتی و تدارکات پیشرفت کنند.

روباتیک منبع باز برای عصر هوش مصنوعی فیزیکی

عصر هوش مصنوعی فیزیکی – روبات هایی که ویژگی های فیزیکی محیط ها را درک می کنند – فرا رسیده است و به سرعت در حال تغییر صنایع جهانی است.

برای هدایت و حفظ این نوآوری سریع، محققان و توسعه دهندگان رباتیک نیاز به دسترسی به چارچوب های متن باز و قابل توسعه دارند که توسعه آموزش، شبیه سازی و استدلال ربات را در بر می گیرد. با مدل‌ها، مجموعه داده‌ها و گردش‌های کاری که تحت چارچوب‌های رایج منتشر شده‌اند، آخرین پیشرفت‌ها به آسانی برای استفاده بدون نیاز به ایجاد مجدد کد در دسترس هستند.

پلتفرم پیشرو هوش مصنوعی باز Hugging Face به بیش از 5 میلیون محقق و توسعه‌دهنده یادگیری ماشین خدمات می‌دهد و ابزارها و منابعی را برای ساده‌سازی توسعه هوش مصنوعی ارائه می‌دهد. کاربران Hugging Face می‌توانند به مدل‌های از قبل آموزش‌دیده‌شده دسترسی داشته باشند و آن‌ها را دقیق تنظیم کنند و خطوط لوله هوش مصنوعی را بر روی APIهای محبوب با بیش از 1.5 میلیون مدل، مجموعه داده‌ها و برنامه‌های کاربردی ایجاد کنند که به صورت رایگان در Hugging Face Hub در دسترس هستند.

LeRobot که توسط Hugging Face توسعه یافته است، مدل‌های موفقی را از کتابخانه‌های Transformers و Diffusers به ​​حوزه رباتیک گسترش می‌دهد. LeRobot مجموعه ای جامع از ابزارها را برای جمع آوری داده های مشترک، آموزش مدل، و محیط های شبیه سازی و همچنین طراحی برای کیت های پردازش کم هزینه ارائه می دهد.

فناوری هوش مصنوعی، شبیه‌سازی و چارچوب استاندارد یادگیری ربات منبع باز مانند NVIDIA Isaac Lab می‌تواند سرعت جمع‌آوری، آموزش و اعتبارسنجی داده‌های LeRobot را افزایش دهد. محققان و توسعه‌دهندگان می‌توانند مدل‌ها و مجموعه داده‌های خود را که با LeRobot و Isaac Lab ایجاد شده‌اند، به اشتراک بگذارند و یک چرخ چرخ داده برای جامعه روباتیک ایجاد کنند.

گسترش توسعه ربات از طریق شبیه سازی

توسعه هوش مصنوعی فیزیکی دشوار است. برخلاف مدل‌های زبانی که از داده‌های متنی آنلاین در مقیاس بزرگ استفاده می‌کنند، روبات‌های مبتنی بر فیزیک به داده‌های تعامل فیزیکی همراه با حسگرهای بینایی تکیه می‌کنند که جمع‌آوری آن‌ها در مقیاس بزرگ دشوار است. جمع‌آوری داده‌های ربات دنیای واقعی برای پردازش ماهرانه در تعداد زیادی از وظایف و محیط‌ها زمان‌بر و کار فشرده است.

برای آسان‌تر کردن کار، آزمایشگاه Isaac که بر روی NVIDIA Isaac Sim ساخته شده است، به ربات‌ها اجازه می‌دهد تا از طریق شبیه‌سازی نمایشی یا آزمون و خطا با استفاده از رندرینگ با وضوح بالا و شبیه‌سازی فیزیکی برای ایجاد محیط‌ها و داده‌های مصنوعی واقعی آموزش ببینند. با ترکیب شبیه‌سازی‌های فیزیکی با شتاب GPU و اجرای محیط موازی، Isaac Lab توانایی تولید مقادیر عظیمی از داده‌های آموزشی – معادل هزاران آزمایش در دنیای واقعی – را از یک نسخه نمایشی فراهم می‌کند.

سپس داده های حرکت تولید شده برای آموزش خط مشی از طریق یادگیری تقلیدی استفاده می شود. پس از آموزش موفقیت‌آمیز و اعتبارسنجی در شبیه‌سازی، سیاست‌ها بر روی یک ربات واقعی پیاده‌سازی می‌شوند، جایی که برای عملکرد بهینه بیشتر مورد آزمایش و تنظیم قرار می‌گیرند.

این فرآیند تکراری دقت داده‌های دنیای واقعی و مقیاس‌پذیری داده‌های مصنوعی شبیه‌سازی شده را افزایش می‌دهد و سیستم‌های روباتیک قوی و قابل اعتماد را تضمین می‌کند.

با به اشتراک گذاشتن این مجموعه داده‌ها، خط‌مشی‌ها و مدل‌ها در Hugging Face، یک چرخ لنگر داده خودکار ایجاد می‌شود که توسعه‌دهندگان و محققان را قادر می‌سازد تا بر روی کار یکدیگر بنا کنند و پیشرفت در این زمینه را تسریع کنند.

Animesh Garg، استادیار در Georgia Tech می گوید: «جامعه روباتیک وقتی با هم بسازیم رشد می کند. ما با پذیرش چارچوب‌های منبع باز مانند LeRobot Hugging Face و NVIDIA Isaac Lab، سرعت تحقیق و نوآوری در رباتیک مبتنی بر هوش مصنوعی را افزایش می‌دهیم.»

ترویج همکاری و مشارکت جامعه

گردش کار مشترک برنامه ریزی شده شامل جمع آوری داده ها از طریق عملیات از راه دور و شبیه سازی در آزمایشگاه Isaac و ذخیره آن در قالب استاندارد LeRobotDataset است. سپس داده های تولید شده با GR00T-Mimic برای آموزش خط مشی ربات از طریق یادگیری تقلیدی مورد استفاده قرار می گیرد که بعداً در شبیه سازی ارزیابی می شود. در نهایت، خط مشی تایید شده برای استنتاج بلادرنگ در ربات های دنیای واقعی با استفاده از NVIDIA Jetson به کار گرفته می شود.

گام‌های اولیه قبلاً در این همکاری برداشته شده است، با نشان دادن تنظیمات فیزیکی انتخاب با استفاده از نرم‌افزار LeRobot که بر روی یک NVIDIA Jetson Orin Nano اجرا می‌شود و یک پلت فرم محاسباتی قدرتمند و فشرده برای استقرار ارائه می‌دهد.

رمی کادن، محقق اصلی LeRobot می‌گوید: «ترکیب جامعه متن‌باز Hugging Face، سخت‌افزار NVIDIA و شبیه‌سازی Isaac Lab می‌تواند به نوآوری در هوش مصنوعی برای روباتیک سرعت بخشد.

این کار بر پایه مشارکت‌های جامعه NVIDIA در هوش مصنوعی مولد در لبه استوار است، از مدل‌ها و کتابخانه‌های باز پیشرفته، مانند Hugging Face Transformers، و بهبود استنتاج برای مدل‌های زبان بزرگ (LLM)، مدل‌های زبان کوچک ( SLM ها) و مدل های زبان بینایی چندوجهی. (VLM)، همراه با انواع VLM مبتنی بر عمل مدل‌های عمل زبان بینایی (VLA)، خط‌مشی‌های انتشار و مدل‌های گفتاری – همه با پشتیبانی قوی جامعه محور.

هدف Hugging Face و NVIDIA با هم تسریع اکوسیستم جهانی محققان و توسعه دهندگان رباتیک برای تغییر صنایع مختلف از حمل و نقل گرفته تا تولید و تدارکات است.

NVIDIA را بشناسید مقالات تحقیقاتی در مورد رباتیک در CoRLاز جمله ادغام VLM برای بهبود درک محیطی، ناوبری زمانی و برنامه ریزی افق بلند. پرداخت کارگاه های آموزشی در Corl با محققان NVIDIA.