پخش و اشتراک‌گذاری محتوا با QUEEN، یک مدل هوش مصنوعی از تحقیقات انویدیا و دانشگاه مریلند، وارد بُعد جدیدی می‌شود که امکان پخش ویدیو با دید آزاد را فراهم می‌کند و به بینندگان اجازه می‌دهد صحنه‌های سه بعدی را از هر زاویه‌ای تجربه کنند.

از QUEEN می‌توان برای ایجاد برنامه‌های پخش جریانی همهجانبه استفاده کرد که مهارت‌هایی مانند آشپزی را آموزش می‌دهند، طرفداران ورزش را در زمین بازی قرار می‌دهند تا بازی تیم‌های مورد علاقه‌شان را از هر زاویه‌ای تماشا کنند، یا سطح بیشتری از عمق را به کنفرانس ویدیویی در محل کار اضافه می‌کنند. همچنین می‌توان از آن در محیط‌های صنعتی برای کمک به کارکرد ربات‌ها از راه دور در انبار یا کارخانه استفاده کرد.

این مدل در NeurIPS، کنفرانس سالانه تحقیقاتی هوش مصنوعی که از سه‌شنبه، 10 دسامبر، در ونکوور آغاز می‌شود، ارائه خواهد شد.

Shalini de Mello، مدیر تحقیقات و دانشمند تحقیقاتی برجسته در NVIDIA، گفت: «برای پخش ویدیوهای رایگان در زمان واقعی، باید صحنه سه بعدی را همزمان بازسازی و فشرده کنیم. QUEEN عواملی از جمله نرخ فشرده‌سازی، کیفیت بصری، زمان رمزگذاری و زمان رندر را متعادل می‌کند تا یک مسیر بهینه ایجاد کند که استاندارد جدیدی را برای کیفیت بصری و قابلیت استریم ایجاد کند.

کاهش، استفاده مجدد و بازیافت برای پخش کارآمد

ویدئوهای نقطه دید آزاد معمولاً با استفاده از فیلم‌برداری گرفته شده از زوایای مختلف دوربین، مانند راه‌اندازی استودیو فیلم‌برداری چند دوربینی، مجموعه‌ای از دوربین‌های امنیتی در انبار یا سیستم دوربین کنفرانس ویدئویی در یک دفتر ایجاد می‌شوند.

روش‌های هوش مصنوعی قبلی برای ایجاد ویدیوهای با دید آزاد، مقدار قابل‌توجهی از حافظه را برای پخش زنده مصرف می‌کرد یا کیفیت بصری را قربانی اندازه‌های فایل کوچک‌تر می‌کرد. QUEEN این دو را متعادل می‌کند تا تصاویری با کیفیت بالا ارائه دهد – حتی در صحنه‌های پویا که شامل جرقه‌ها، شعله‌ها یا حیوانات پشمالو است – که می‌توانند به راحتی از یک سرور میزبان به یک دستگاه مشتری منتقل شوند. همچنین تصاویر را سریعتر از روش های قبلی ارائه می دهد و از موارد استفاده از جریان پشتیبانی می کند.

در بیشتر محیط های دنیای واقعی، بسیاری از عناصر صحنه ثابت می مانند. در یک ویدیو، این بدان معنی است که درصد زیادی از پیکسل ها از فریم به فریم تغییر نمی کنند. برای صرفه جویی در زمان محاسبات، QUEEN نماهای این مناطق ثابت را ردیابی و مجدداً استفاده می کند – در عوض بر بازسازی محتوایی که در طول زمان تغییر می کند تمرکز می کند.

محققان با استفاده از یک پردازنده گرافیکی NVIDIA Tensor Core، عملکرد QUEEN را بر روی چندین معیار ارزیابی کردند و دریافتند که این مدل از روش‌های پیشرفته‌تر برای ویدیوهای مشاهده رایگان آنلاین در طیف وسیعی از معیارها بهتر عمل می‌کند. با توجه به فیلم‌های دوبعدی از یک صحنه که از زوایای مختلف گرفته شده‌اند، معمولاً کمتر از پنج ثانیه زمان لازم برای ارائه ویدیوهای نقطه‌ی دید آزاد با سرعت تقریباً 350 فریم در ثانیه طول می‌کشد.

این ترکیب سرعت و کیفیت بصری می‌تواند از پخش رسانه‌ای کنسرت‌ها و بازی‌های ورزشی با ارائه تجربیات واقعیت مجازی فراگیر یا پخش فوری لحظات کلیدی رقابت پشتیبانی کند.

در تنظیمات انبار، اپراتورهای روباتیک می توانند از QUEEN برای اندازه گیری بهتر عمق هنگام مانور دادن به اشیاء فیزیکی استفاده کنند. و در یک برنامه کنفرانس ویدیویی – مانند نسخه نمایشی کنفرانس ویدئویی سه بعدی که در SIGGRAPH و NVIDIA GTC نشان داده شده است – می تواند به ارائه دهندگان کمک کند کارهایی مانند آشپزی یا اوریگامی را نشان دهند و در عین حال به بینندگان اجازه می دهد زاویه بصری را انتخاب کنند که به بهترین وجه از یادگیری آنها پشتیبانی می کند.

کد QUEEN به زودی به صورت متن باز منتشر می شود و در صفحه پروژه به اشتراک گذاشته می شود.

QUEEN یکی از بیش از 50 پوستر و مقاله است که توسط NVIDIA NeurIPS نوشته شده است که دارای تحقیقات پیشگامانه هوش مصنوعی با کاربردهای بالقوه در زمینه هایی از جمله شبیه سازی، رباتیک و مراقبت های بهداشتی است.

شبکه های متخاصم ژنتیک، مقاله ای که برای اولین بار مدل های GAN را ارائه کرد، برنده جایزه تست زمان NeurIPS 2024 شد. بیش از 85000 بار مورد استناد قرار گرفته است و توسط بینگ زو، مهندس برجسته انویدیا، تالیف شده است. از نویسنده اصلی، ایان گودفلو، دانشمند پژوهشی در DeepMind، در پادکست هوش مصنوعی بیشتر بشنوید:

درباره تحقیقات NVIDIA در NeurIPS بیشتر بیاموزید.

ببینید آخرین کار از تحقیقات انویدیا، هر این شرکت شامل صدها دانشمند و مهندس در سرتاسر جهان است و تیم‌هایی با تمرکز بر موضوعاتی از جمله هوش مصنوعی، گرافیک کامپیوتری، بینایی کامپیوتر، ماشین‌های خودران و روباتیک.

محققان دانشگاهی که بر روی مدل‌های زبان بزرگ، شبیه‌سازی و مدل‌سازی، هوش مصنوعی لبه و غیره کار می‌کنند، می‌توانند برای برنامه بورسیه تحصیلی NVIDIA.

ببینید متوجه می شود در مورد اطلاعات محصولات نرم افزاری.