تشخیص ملودی از حرکات بدن موزیسین‌ها توسط هوش مصنوعی

یک سیستم هوش مصنوعی جدید قادر است ملودی موسیقی را از روی حرکات بدن نوازندگان تشخیص دهد.

به گزارش آردی نیوز و به نقل از آی‌ای، چیزی که به وضوح در دنیای امروز مشخص است، پیشرفت هوش مصنوعی و نفوذ آن در انواع و اقسام برنامه‌ها و زمینه‌ها است و شبکه‌های عصبی یادگیری عمیق؛ این هوش مصنوعی‌های کوچک، تنها با مقدار کمی از اطلاعات قادر به خلق شگفتی هستند.

موسیقی هم یک تجربه شنیداری و هم تجسمی است و هنگام تماشای یک گروه از نوازندگان، علائم بصری به ما در تشخیص اینکه چه کسی در حال نواختن چه ساز و آهنگی است، کمک می‌کند.

اکنون محققان آزمایشگاه هوش مصنوعی “MIT-IBM Watson” یک ابزار جدید هوش مصنوعی توسعه داده‌اند که همین روند را طی می‌کند. این ابزار با نگاه به حرکات دست و بدن نوازندگان که در یک فیلم ضبط شده است، ملودی را تشخیص می‌دهد.

یک شبکه تجزیه و تحلیل ویدئویی، داده‌های مربوط به حرکات نوازندگان را گردآوری می‌کند، در حالی که یک شبکه جداسازی صوت از تصویر، هر منبع صوتی را جدا می‌کند و به توانایی این سیستم در تشخیص ملودی منجر می‌شود.

این فناوری به طور بالقوه هنگام مخلوط شدن صدای نوازندگان در یک کنسرت قابل استفاده است و صدابرداران با استفاده از آن می‌توانند صدای یک ساز را از بقیه صداها جدا کرده و حجم آن را تغییر دهند.

اگر به خوبی به این فناوری نگاه کنیم می‌بینیم که می‌تواند به طور چشمگیری باعث بهبود کیفیت صدای فیلم‌های کنسرت‌های قدیمی شود.

این فناوری همچنین می‌تواند برای حل مشکل گفتگوی همزمان چند نفر در کنفرانس‌های ویدیویی مفید باشد. ضمن اینکه یکی دیگر از کاربردهای بالقوه آن می‌تواند در ربات‌ها باشد تا آنها با استفاده از این فناوری بتوانند صداهای محیطی اطراف خود مانند صدای حیوانات، صدای وسایل نقلیه یا صدای افراد را با کیفیت بهتر بشنوند.

اساس تجزیه و تحلیل بصری این پروژه که به اصطلاح “آنالیز کلید واژه” نامیده می‌شود، کاربردهایی در زمینه ورزش نیز دارد و راه‌حل‌های ردیابی عملکردی ارائه می‌دهد که به ورودی کمتری نیاز دارد.

تحقیقات قبلی نشان داده است که سیستم‌های بینایی-صوتی را می‌توان آموزش داد تا طیف گسترده‌ای از منابع صوتی را از امواج گرفته تا صدای پرندگان تشخیص دهند و متمایز کنند.

بسیاری از کاربردهای بالقوه دیگر هم وجود دارد که این فناوری می‌تواند در آنها مورد استفاده تجاری قرار بگیرد. مثلا می‌توان یک سیستم امنیتی را برای واکنش به صدای شکستن شیشه پنجره آموزش داد یا می‌توان هوش مصنوعی یک خودروی خودران را آموزش داد تا مسیر یک آمبولانس در حال نزدیک شدن را تشخیص داده و از سر راه آن کنار برود. /ایسنا