توسعه دهندگان رباتیک می توانند با استفاده از هوش مصنوعی جدید، شبیه سازی و ابزارهای گردش کار که NVIDIA این هفته در کنفرانس Robot Learning (CoRL) در مونیخ آلمان از آن رونمایی کرد، کار خود را بر روی ربات های مجهز به هوش مصنوعی، از جمله ربات های انسان نما، به طرز چشمگیری سرعت بخشند.

این کیت شامل در دسترس بودن کلی چارچوب یادگیری ربات NVIDIA Isaac Lab است. شش جریان کار جدید یادگیری رباتیک انسان نما برای پروژه GR00T، ابتکاری برای تسریع توسعه رباتیک انسان نما. و ابزارهای توسعه جهانی جدید برای سازماندهی و پردازش داده های ویدیویی، از جمله NVIDIA Cosmos Tokenizer و NVIDIA NeMo Curator برای پردازش ویدیو.

نرم افزار منبع باز Cosmos Tokenizer با تقسیم کردن تصاویر و ویدیوها به توکن سازهای با کیفیت بالا با نرخ فشرده سازی فوق العاده بالا، توکن سازی بصری برتر را به توسعه دهندگان روباتیک ارائه می دهد. تا 12 برابر سریع‌تر از ابزارهای توکن‌سازی موجود اجرا می‌شود، در حالی که NeMo Curator تا 7 برابر سریع‌تر پردازش ویدیو را نسبت به خطوط لوله غیربهینه‌سازی شده ارائه می‌کند.

همچنین در ارتباط با CoRL، NVIDIA 23 مقاله و 9 کارگاه آموزشی مرتبط با یادگیری رباتیک ارائه کرد و آموزش و راهنمای گردش کار را برای توسعه دهندگان منتشر کرد. علاوه بر این، Hugging Face و NVIDIA اعلام کردند که برای سرعت بخشیدن به تحقیقات روباتیک منبع باز با LeRobot، NVIDIA Isaac Lab و NVIDIA Jetson برای جامعه توسعه دهندگان همکاری می کنند.

توسعه ربات را با آزمایشگاه آیزاک تسریع کنید

NVIDIA Isaac Lab یک چارچوب یادگیری رباتیک منبع باز است که بر روی NVIDIA Omniverse، یک پلت فرم توسعه برنامه OpenUSD برای دیجیتالی سازی صنعتی و شبیه سازی هوش مصنوعی فیزیکی ساخته شده است.

توسعه دهندگان می توانند از Isaac Lab برای آموزش سیاست های ربات در مقیاس استفاده کنند. این چارچوب یادگیری یکپارچه و منبع باز ربات برای هر نوع تجسم – از انسان نما گرفته تا چهارپا تا روبات های مشارکتی – برای مدیریت حرکات و تعاملات پیچیده به طور فزاینده ای کاربرد دارد.

تولید کنندگان پیشرو ربات های تجاری، توسعه دهندگان برنامه های کاربردی رباتیک و نهادهای تحقیقاتی رباتیک در سراسر جهان از آزمایشگاه های Isaac، از جمله 1X، Agility Robotics، The AI ​​Institute، Berkeley Humanoid، Boston Dynamics، Field AI، Fourier، Galbot، Mentee Robotics، Skild AI استفاده می کنند. ، و سوئیس. -Mile، Unitree Robotics و XPENG Robotics.

پروژه GR00T: پایه های ربات های انسان نما همه منظوره

ساخت انسان نماهای پیشرفته بسیار چالش برانگیز است و نیازمند رویکردهای فناورانه چند لایه و چند رشته ای است تا ربات ها به طور موثر مهارت های تعامل انسان-ربات و ربات-محیط را درک کنند، حرکت کنند و یاد بگیرند.

پروژه GR00T ابتکاری برای توسعه کتابخانه های سریع، مدل های پایه و خطوط لوله داده برای تسریع اکوسیستم جهانی توسعه دهندگان ربات انسان نما است.

شش گردش کار جدید برای پروژه GR00T به توسعه دهندگان رباتیک نقشه هایی برای تحقق چالش برانگیزترین قابلیت های ربات انسان نما ارائه می دهد. آنها عبارتند از:

• GR00T-Gen برای ساخت محیط های سه بعدی مبتنی بر هوش مصنوعی بر اساس OpenUSD
• GR00T-تقلید برای حرکت ربات و تولید مسیر
• GR00T – نبوغ برای دستکاری ماهرانه ربات
• GR00T-کنترل برای کنترل کامل بدن
• GR00T-Navigation برای ناوبری رباتیک
• GR00T-Perception برای سنجش چندوجهی

جیم فان، مدیر ارشد تحقیقات هوش مصنوعی در NVIDIA می گوید: «روبات های انسان نما موج بعدی هوش مصنوعی تجسم یافته هستند. تیم‌های مهندسی و تحقیقاتی NVIDIA در سراسر شرکت و اکوسیستم توسعه‌دهنده ما برای ساخت پروژه GR00T همکاری می‌کنند تا به پیشرفت و توسعه توسعه‌دهندگان رباتیک انسان‌نمای جهانی کمک کنند.»

ابزارهای توسعه جدید برای سازندگان مدل جهانی

امروزه، توسعه‌دهندگان رباتیک در حال ساخت مدل‌های جهانی هستند – نمایش‌هایی از هوش مصنوعی از جهان که می‌توانند پیش‌بینی کنند که چگونه اشیا و محیط‌ها به اعمال یک ربات پاسخ می‌دهند. ساخت این مدل‌های جهانی به‌طور باورنکردنی محاسباتی و داده فشرده است، مدل‌هایی که به هزاران ساعت داده‌های تصویری یا ویدیویی در دنیای واقعی نیاز دارند.

کدهای NVIDIA Cosmos کدگذاری و رمزگشایی کارآمد و باکیفیت را برای ساده‌سازی فرآیند توسعه این مدل‌های جهانی ارائه می‌کنند. آنها استاندارد جدیدی را برای حداقل اعوجاج و لرزش زمانی تعیین کردند که امکان بازسازی تصویر و ویدئو با کیفیت بالا را فراهم کرد.

توکن Cosmos با ارائه فشرده‌سازی با کیفیت بالا و بازسازی بصری تا ۱۲ برابر سریع‌تر، راه را برای توسعه مقیاس‌پذیر، قوی و کارآمد برنامه‌های کاربردی در طیف گسترده‌ای از حوزه‌های بصری هموار می‌کند.

1X، یک شرکت رباتیک انسان نما، مجموعه داده چالش مدل جهانی 1X خود را برای استفاده از توکن Cosmos به روز کرده است.

اریک جونگ، معاون هوش مصنوعی در 1X Technologies گفت: “توکنایزر NVIDIA Cosmos فشرده سازی زمانی و مکانی بالایی از داده های ما را در حالی که وفاداری نوری را حفظ می کند، به دست می آورد.” این به ما امکان می‌دهد مدل‌های جهانی را برای تولید ویدیوهای بلندمدت به روش محاسباتی کارآمدتر آموزش دهیم.»

توسعه دهندگان دیگر ربات های انسان نما و همه منظوره، از جمله XPENG Robotics و Hillbot، در حال توسعه با استفاده از کد NVIDIA Cosmos برای مدیریت تصاویر و ویدیوهای با وضوح بالا هستند.

NeMo Curator اکنون شامل یک خط لوله پردازش ویدیو است. این به توسعه دهندگان روباتیک اجازه می دهد تا دقت مدل های جهانی خود را با پردازش داده های متن، تصویر و ویدئو در مقیاس بزرگ بهبود بخشند.

سازماندهی داده‌های ویدیویی به دلیل اندازه عظیم آن چالش‌هایی را ایجاد می‌کند که به خطوط لوله مقیاس‌پذیر و هماهنگی کارآمد تعادل بار در بین GPUها نیاز دارد. علاوه بر این، فیلتر کردن، حاشیه نویسی، و مدل های جاسازی باید برای به حداکثر رساندن توان بهبود یابد.

NeMo Curator با ساده‌سازی سازماندهی داده‌ها از طریق قالب‌بندی خودکار خط لوله و کاهش چشمگیر زمان پردازش، بر این چالش‌ها غلبه می‌کند. از مقیاس‌بندی خطی در سیستم‌های چند گره و چند GPU پشتیبانی می‌کند و به طور موثر بیش از 100 پتابایت داده را مدیریت می‌کند. این فرآیند توسعه هوش مصنوعی را ساده می کند، هزینه ها را کاهش می دهد و زمان ورود به بازار را تسریع می کند.

توسعه یک جامعه یادگیری رباتیک در CoRL

نزدیک به دوجین مقاله منتشر شده توسط تیم روباتیک NVIDIA با استفاده از CoRL، پیشرفت‌هایی را در ادغام مدل‌های زبان بینایی برای بهبود درک محیطی و اجرای وظایف، ناوبری رباتیک زمانی، توسعه استراتژی‌های برنامه‌ریزی دوربرد برای کارهای پیچیده چند مرحله‌ای و استفاده از نمایشگرهای انسانی برای کسب مهارت پوشش می‌دهد. .

تحقیقات پیشرو در مورد کنترل ربات انسان‌نما و تولید داده‌های مصنوعی شامل SkillGen، سیستمی مبتنی بر تولید داده‌های مصنوعی برای آموزش روبات‌ها با حداقل نمایش انسانی، و HOVER، یک مدل ربات اولیه برای کنترل و دستکاری حرکت ربات انسان‌نما است.

محققان NVIDIA همچنین در 9 کارگاه آموزشی در این کنفرانس شرکت خواهند کرد. درباره برنامه کامل رویدادها بیشتر بدانید.

در دسترس بودن

NVIDIA Isaac Lab 1.2 اکنون در دسترس است و منبع باز در GitHub است. توکن NVIDIA Cosmos اکنون در GitHub و Hugging Face در دسترس است. NeMo Curator برای پردازش ویدیو در پایان ماه در دسترس خواهد بود.

گردش‌های کاری جدید پروژه NVIDIA GR00T به زودی منتشر خواهد شد تا به شرکت‌های روباتیک کمک کند تا قابلیت‌های ربات انسان‌نما را آسان‌تر بسازند. درباره گردش کار در وبلاگ فناوری NVIDIA بیشتر بخوانید.

محققان و توسعه دهندگانی که استفاده از آزمایشگاه Isaac را یاد می گیرند، اکنون می توانند به راهنماها و آموزش های توسعه دهندگان، از جمله راهنمای حرکت از Isaac Gym به Isaac Lab دسترسی داشته باشند.

جدیدترین‌های یادگیری و شبیه‌سازی رباتیک را در پخش زنده آتی OpenUSD در مورد شبیه‌سازی و یادگیری رباتیک در 13 نوامبر بیابید و برای پشتیبانی عملی و بینش در ساعات اداری آزمایشگاه NVIDIA Isaac Lab شرکت کنید.

توسعه‌دهندگان می‌توانند برای پیوستن به برنامه توسعه‌دهنده ربات انسان‌نمای NVIDIA درخواست دهند.