مقاله الگوریتم یادگیری پس انتشار خطا BP (بهبود سرعت عملکرد شبکه عصبی)

بخشهایی از متن:

مقدمه

شبکه های عصبی چند لایه پیش خور¹ به طور وسیعی د ر زمینه های متنوعی از قبیل طبقه بندی الگوها، پردازش تصاویر، تقریب توابع و ... مورد استفاده قرار گرفته است.

الگوریتم یادگیری پس انتشار خطا²، یکی از رایج ترین الگوریتم ها جهت آموزش شبکه های عصبی چند لایه پیش خور می باشد. این الگوریتم، تقریبی از الگوریتم بیشترین تنزل³ می باشد و در چارچوب یادگیری عملکردی ⁴ قرار می گیرد.

عمومیت یافتن الگوریتمBP ، بخاطر سادگی و کاربردهای موفقیت آمیزش در حل مسائل فنی- مهندسی می باشد.

علیرغم، موفقیت های کلی الگوریتم BP در یادگیری شبکه های عصبی چند لایه پیش خور هنوز، چندین مشکل اصلی وجود دارد:

- الگوریتم پس انتشار خطا، ممکن است به نقاط مینیمم محلی در فضای پارامتر، همگرا شود. بنابراین زمانی که الگوریتم BP همگرا  می شود، نمی توان مطمئن شد که به یک جواب بهینه رسیده باشیم.

- سرعت همگرایی الگوریتم BP، خیلی آهسته است.

از این گذشته، همگرایی الگوریتم BP، به انتخاب مقادیر اولیه وزنهای شبکه، بردارهای بایاس و پارامترها موجود در الگوریتم، مانند نرخ یادگیری، وابسته است.

در این گزارش، با هدف بهبود الگوریتم BP، تکنیک های مختلفی ارائه شده است. نتایج شبیه سازیهای انجام شده نیز نشان می دهد، الگوریتم های پیشنهادی نسبت به الگوریتم استاندارد BP، از سرعت همگرایی بالاتری برخوردار هستند.

خلاصه ای از الگوریتم BP

از قانون یادگیری پس انتشار خطا (BP)، برای آموزش شبکه های عصبی چند لایه پیش خور که عموماً شبکه های چند لایه پرسپترون ⁵ (MLP) هم نامیده می شود، استفاده می شود، استفاده می کنند. به عبارتی توپولوژی شبکه های MLP، با قانون یادگیری پس انتشار خطا تکمیل می شود. این قانون تقریبی از الگوریتم بیشترین نزول (S.D) است و در چارچوب یادگیری عملکردی قرار می گیرد. ...

...

- الگوریتم پس انتشار خطای بهبود پذیر¹ (Rprop)

این الگوریتم، جهت اصلاح مشکل فوق ارائه شده است.

بر اساس این الگوریتم، تنها از علامت مشتق تابع تحریک، جهت اصلاح پارامترهای شبکه استفاده می شود. اندازه مشتق تابع تحریک، هیچ اثری بر تنظیم پارامترهای شبکه ندارد [6], [5].

میزان تغییرات در پارامترهای شبکه، توسط فاکتور delt-inc، افزوده می شود، زمانی که علامت مشتق شاخص اجرایی، نسبت به پارامترهای شبکه دردوتکرار متوالی، تغییر نکند. و زمانی که مشتق خاص اجرایی دردوتکرار متوالی هم علامت نباشند، تغییرات در پارامترهای شبکه توسط فاکتور delt-dec، کاهش می یابد.

الگوریتم Rprop، در زیر خلاصه می گردد.

...

نتیجه گیری

از قانون یادگیری پس انتشار خطا (BP) برای آموزش شبکه ها عصبی چند لایه پیش خور استفاده می شود. با وجود کاربردهای فراوان این الگوریتم یادگیری، هنوز مشکلاتی نیز وجود دارد:

سرعت همگرایی الگوریتم BP، پائین است و ممکن است شبکه به آسانی به نقاط مینیمم محلی همگرا شود. از طرفی، انتخاب نرخ یادگیری، تأثر بسزایی در سرعت همگرایی آموزش شبکه عصبی دارند.

در این گزارش، الگوریتم های جدیدی، جهت بهبود الگوریتم BP، ارائه شده است.

برخی از این روش ها بر مبنای نرخ یادگیری تطبیقی می باشند. بدین صورت که نرخ یادگیری به هنگام پروسه آموزش  تغییر می کند تا عملکرد در الگوریتم BP استاندارد بهبود بخشیده شود، نرخ یادگیری تطبیقی سعی می کند که نرخ یادگیری را تا آنجایی که ممکن است و سیستم ناپایدار نشده است، افزایش دهد.

الگوریتم دیگری که جهت بهبود سرعت همگرایی الگوریتم BP، ارائه شده است، الگوریتم BP با سه ترم است. در این الگوریتم، ترم جدیدی به نام ضریب تناسبی (PE)، علاوه بر دوترم نرخ یادگیری و ضریب ممنتم، به الگوریتم BP، اضافه شده است.

الگوریتم مطرح شده، همانند کنترل کننده PID، عمل می کند.

همچنین در این گزارش، به بررسی و آنالیز پایداری الگوریتم مطرح شده، پرداخته شده است.

آنالیز پایداری به دلیل آن است که، شرایطی را که باید پارامترهای یادگیری در آن صدق کنند، تا الگوریتم پایدار بماند، بدست آوریم. ...

...

با منابع و مراجع کامل