پیش به سوی بازسازی گفتار قابل فهم با استفاده از سیگنال های شنوایی مغز انسان (بازسازی ساختمان) - درگ فایل

جهت دریافت خدمات بازسازی ساختمان با گروه ساختمانی آبان در ارتباط باشید. از طراحی پلن بازسازی تا اجرای جز به جز بازسازی منزل، ویلا و ساختمان اداری تخصص ماست.

به گزارش سرویس آی تی و فناوری انتخاب، این پژوهش با همکاری نیما مسگرانی، حسن اکبری، بهار خلیقی نژاد، ال هررو و آشش دی مهتا صورت گرفته است. در بخش چکیده این پژوهش که در قالب یک مقاله علمی منتشر شده است، می خوانیم؛ بازسازی محرکهای شنوایی یک روش تازه است که برترین تقریب محرک های صوتی را از جمعیت فعالیت های عصبی ایجاد شده در قشر مغز انسان پیدا می نماید. بازسازی سخنرانی از قشر شنوایی شنوایی باعث ایجاد یک پروتئین برای ایجاد ارتباط مستقیم با مغز می گردد و در هر دو حالت آشکار و پنهان امکان پذیر است.

با این حال، کیفیت پایین سخنرانی های بازسازی شده استفاده از این روش را برای برنامه های رابط مغز و کامپیوتر بسیار محدود نموده است. پیشرفت های اخیر در یادگیری عمیق با آخرین نوآوری ها در فناوری های سنتز گفتاری، فضا را برای بازسازی گفتار قابل فهم از قشر شنوایی انسان فراهم ساخته است . ما با دقت اقدام به بازسازی در روشهای رگرسیون خطی و غیر خطی (شبکه عصبی عمیق) و نمایش آکوستیک نموده ایم که به عنوان هدف بازسازی از جمله طیف سنج شنوایی و پارامترهای سنتز گفتار مورد استفاده نهاده شده است.

علاوه بر این، ما دقت بازسازی را از محدوده فرکانس عصبی کم و زیاد مقایسه کردیم. نتایج ما نشان می دهد که یک مدل شبکه عصبی عمیق که مستقیما براورد پارامترهای گفتار را از همه فرکانس های عصبی به دست می آورد، بالاترین امتیاز های ذهنی و هدف را به دست می آورد. این نتایج، اثربخشی الگوریتم های یادگیری عمیق و سنتز سخنرانی را برای طراحی نسل بعدی سیستم های BCI گفتار نشان می دهد که نه تنها می توانند ارتباطات گفتاری را برای بیماران فلج شده بازگردانند، بلکه توانایی تغییر تکنولوژی های ارتباطی انسان و کامپیوتر را نیز دارند.

در بخشی دیگر از این مقاله و در بخش توضیحات می خوانیم: بازسازی محرک شنوایی یک روش نقشه برداری معکوس است که برترین محدوده محرک آکوستیک را از جمعیت فعالیت های عصبی ایجاد شده در مغز انسان پیدا می نماید. بازسازی تحریک نماینده قشر شنوایی در ابتدا به عنوان یک روش برای مطالعه خواص نمایشی جمعیت عصبی پیشنهاد شد، به این علت که این روش تفسیر بصری پاسخ های عصبی در حوزه محرک را امکان پذیر می سازد. با این حال، بازسازی سخنرانی از پاسخ های عصبی ضبط شده از قشر شنوایی انسان امکان استفاده از این تکنیک را به عنوان یک رابط بین کامپیوتر مغز و کامپیوتر (BCI) برای بازگرداندن گفتار در بیماران شدیدا فلج شده را امکان پذیر می نماید.

فایده این فرایند چیست؟

هدف نهایی این پروژه این است که یک مسیر ارتباط مستقیم به مغز ایجاد کند تا بتواند به نفع بیماران که توانایی صحبت کردن را از دست داده اند، عمل کند. این موضوع می تواند از انواع اختلالات بالینی که منجر به شرایطی نظیر سندرم قفل شدگی(مانند مسئله ای که استیون هاوکینگ داشت)پیشگیری کند و این شرایط را با شرایطی که بیمار به راحتی با محیط پیرامون خود ارتباط برقرار می نماید عوض کند.

در حالی که مطالعات قبلی امکان استخراج صدا از داده های عصبی را ممکن نموده است، کیفیت صدای بازسازی شده تا کنون برای ارزیابی ذهنی بسیار پایین بوده است. به همین علت، صداهای بازسازی شده در مطالعات قبلی تنها با استفاده از معیارهای عینی مانند همبستگی یا دقت تشخیص ارزیابی شده است . کیفیت پایین صدا بازسازی شده در حال حاضر یکی از محدود نماینده های عمده در سیستم های رسمی BCI است

نگاهی به روش اجرای این پژوهش

آنالیز تأثیر سه عامل بر دقت بازسازی با یاری 3 روش اجرایی شده است:

-روش رگرسیون (رگرسیون خطی در مقابل شبکه عصبی عمیق غیر خطی)

-نمایندگی از گفتار در نظر گرفته شده برای بازسازی (طیف سنجی شنوایی در مقابل پارامترهای واکنش گفتار)

- محدوده فرکانس عصبی مورد استفاده برای رگرسیون (فرکانس پایین نسبت به پوشش گامای بالا)

پژوهشگران با استفاده از الکتروکورتیکوگرافی مهاجم (ECoG) برای مقدار گیری فعالیت عصبی از پنج بیمار که جراحی مغز شده بودند یا تحت درمان صرع بودند اقداماتی پژوهشی را انجام دادند. در جریان این آزمون دو زن به مدت 30 دقیقه از روی یک متن برای آن ها خواندند و سپس مدل های شنوایی آن ها بر اساس داده های عددی آنالیز شد.

داده های آزمایشی شامل جملات سخنرانی مداوم و صداهای مبتنی بر عدد به شکل جداگانه بود. در مجموع از هشت جمله (مجموع 40 ثانیه) برای ارزیابی کیفیت هدف مدل های بازسازی استفاده شد. این صداهای تصادفی شش بار تکرار شد و برای ارزیابی ذهنی و ارزیابی کیفی مورد استفاده نهاده شد.حتی به عنوان داده متغیر و مزاحم از صداهای به عنوان نویز برای پرت کردن حواس آزمودنی ها استفاده شد تا رمزگشایی در طول آزمون ها بر اساس ویژگی هایی دقیق تر انجام گیرد.

در بخشی دیگر از این آزمون با استفاده از آزمونهای ذهنی و عینی، قابلیت تشخیص گفتار بازسازی را مورد آنالیز نهاده شد. برای ارزیابی ذهنی، 11 شرکت نماینده با شنیدن صدای خود واکنش نشان دادند و در بخشی دیگر نیز با استفاده از هدفون در محیط آرام نهاده شدند. هر شرکت نماینده به 160 نشانه شامل 10 رقم، چهار بلندگوی ویژه و چهار مدل صدا گوش داده است. از شرکت نمایندگان خواسته شد که صداها را گزارش نمایند . در نهایت این نتایج می تواند برای آنالیز تکمیلی پروژه هایی استفاده گردد که در تلاشند با ترکیب تکنولوژی اسکن مغز، هوش مصنوعی و برنامه های تبدیل متن به گفتار روش تازهی برای تبدیل امواج مغزی به گفتار قابل فهم پیدا نمایند.