اول یه مثال:

وقتی ما اولین بار با حیوانات آشنا شدیم مسلما همشون رو ندیدیم. یه گربه ای چیزی دیدیم و بهمون گفتن که این حیوونه و این روند ادامه پیدا کرد و حیوانات متنوعی دیدیم. گاو دیدیم گفتن اینم حیوونه و همین داستان ادامه پیدا کرد. ولی خب یه سری حیوانات رو هم اولین بار که دیدیم خودمون جزو حیوانات دسته بندی کردیم. نکته ای که وجود داره اینه که حیواناتی که ما نشون دادن خیلی زیاد نبود و ما زود یاد گرفتیم.بهتره به مثال بالا بیشتر توجه کنیم. اولین بار گاو رو دیدیم. چهار پا داره. صداهای خوبی از خودش در نمیاره. شاخ داره و کلی چیزهای دگ. گربه دیدیم. اونم چهار پا داره. گوشاش شبیه گاوه. چهار دست و پا راه میره. دفعه بعدی اسب رئ دیدیم. عه خیلی شبیه گاوه. شاخ نداره. شمایلش یه خرده متفاوته همش یه خرده. پس ما در حالت کلی می گیم که اسب، گاوی است با این تفاوت ها اندک. ینی ما نرفتیم دوباره کلش رو یاد بگیریم یه سری اطلاعات از گاو لود کردیم و فقط تفاوت ها رو یاد گرفتیم. سرعت شناخت ما رفت بالاتر. حالا اگه یه گاو و اسب رو کنار هم بذارند ما با توجه به تفاوت های این دو به راحتی تفکیک می کنیم اینا رو. ینی دقت تشخیص ما هم رفت بالا.

یه خرده تخصصی تر حرف بزنیم. ما شبکه های عصبی رو آموزش میدیم. هی آموزش می دیم. شبکه های مختلف رو با داده های مختلف آموزش می دیم و هی آموزش میدیم from scratch. چه کاریه خب از اول آموزش دادن خیلی خوب نیست. ما یه بار شبکه مون رو روی A و B آموزش دادیم و حالا می خوایم روی داده های جدید C و D آموزش بدیم. یه ارتباط هایی بین  دو داده اولی و دو داده ی دومی هست. پس از پارامترهای اولی برای دومی استفاده می کنیم و شبکه دوم رو آموزش می دیم. یه چیزهایی از اولی یاد گرفته و در ادامه با اون اطلاعات که به عنوان اطلاعات اولیه بهش داده می شه شبکه دوم هم آموزش بهتری با سرعت بیشتری خواهد داشت. در کارهای دگ ای هم دو داده ی اولی یاد شده با دو داده ی دومی اصلا ارتباطی نداره! ولی اون هم به درد می خوره و در سرعت و دقت بهبود حاصل خواهد کرد. راستش رو بخواید من داده های بی ارتباط بیشتر از داده ها با ارتباط اعتقاد دارم! چرا؟ مثال بزنم. دیدید یه کتاب می خونید و در اعماق مکاشفات می گید آره این مثل اون حادثه است که خیلی هم در ظاهر ارتباط ندارن. مثلا میگیم که این خازنه توی این مدار شبیه بانک می مونه که که اون بار الکتریکی و این پول رو ذخیره می کنه. این حتی باعث فهم بیشتری از خازن میشه. من به این اعتقاد دارم. فرض کنید یه نفری روی داده های معروف IMAGENET که شامل 1000 کلاس هم هست یه شبکه خوب آموزش داده و نتیجه هم گرفته. کلی چیز میز اون وسط فهمیده. حالا پارامترهای اون شبکه اولی رو روی شبکه ی دگ ای استفاده کنیم به عنوان پیش تعلیم. این قضیه باعث چی میشه؟ اون یه سری چیزها توی فضای یادگیری خودش فهمیده که ممکنه اصلا ربطی به کار جدیدمون نداشته باشه ولی یه جاهاییش ممکنه برای فهم بهتر و سریع تر کارمون خوب باشه. یه مرزهای تصمیمی که اگه با روال عادی بخوایم بریم جلو نتونه الگوریتم ما به اون بره اما یهویی ما اونو گذاشتیم وسط میدون اصلی. این آموزش غیر مرتبط خیلی برام جذابه که نتایجش رو در کار خودم ببینم وامتحان کنم.

دیروز با یکی از بزرگان که آدم دقیقیه داشتیم گپ می زدیم. می گفت که نمون این کشور وضعیت این جوریه و آن جوری. بذار یه مثالی بزنم که روشن بشه. فرض کنید من گفتم که تصمیمم بعد از اتمام تحصیلات مثلا ارشد اینه که برم فلان کارخونه کار کنم. ایشون هم گفت که بعد دوران تحریم این بلاها سر کاخونه ها اومد خیلی از کارخونه ها بسته شدن. مثلا این اتفاقات می افته و ... . یه تلمیح بزنیم البته اگه به معنی "داستان" توجه کنیم این چیزی که می گم داستان نیست یه خاطره از یه نفر در یه نوشته است. یکی  می گفت وقتی من از شهرمون می رم دانشگاه اغلب خیلی دلتنگ می شم حتی گریه هم می کنم. اونجا همش به این فکر می کنم که: چه کاریه تحصیل کردن. چرا من باید این همه از خونوادم دور باشم! و کلی چیز دگ. اما خب اینم می دونم اگه الان بخوام در مورد ادامه تحصیل تصمیم بگیرم قطعا تصمیم من انصراف خواهد بود. در نتیجه می دونم که الان نباید تصمیم بگیرم چون بایاس دارم. در قضیه بالا هم من داشتم به این فکر می کردم که من الان اگه تصمیم بگیرم نتیجه معلوم خواهد بود پس باید فکر کنم که بالا و پایین کنم.

خب حالا پاراگراف بالا رو یه خرده بسط بدیم. اون دوست گرام دقیق ما دقیقا به یه موضوعی توجه نکرد. "نادانسته هاش." این اصطلاح یادگار کتاب قوی سیاه در ذهن و زندگی منه به همراه خیلی از یادگاری های دگ. ایشون به نکات زیادی توجه نکرد در اصل. اغلب بر اساس یه شریط جنرال تصمیم گرفته ینی یه چیزی پیدا کرده و برای همه چیز استفاده می کنه. البته میشه گفت این همه ناشی از فعالیت مغز ماست که فک کنم دفه قبل اشاره کردم که مغز خیلی تنبله و میل به تنبلی داره(در مثال استفاده از / به جای ر) ینی مغز دوست داره همه چی رو به یه روتینی تبدیل کنه و بده یه قسمت دگ ای از سیستمش و خودش بگیره بخوابه! من فکر می کنم مغز ایشون هم دچار این روتینوگری شده و نمی خواد فشار بیاره و شرایط خودش رو بسنجه در نتیجه یه حکم جنرال میده اما احتمالا نادرست باشه. قشنگ ترین جمله ای تا حالا شنیدم هم جواب خوبیه برای این نوع حکم پرانی! "هر حکم کلی خطرناک است حتی همین حکم!" مثلا ایشون توجه نکرده در دوران تحریم شرکت هایی دچار ورشکستگی میشن که مواد اولیه اونا وابسته است. ینی وارد میشه. پس این می تونه باعث ورشکستگی بشه اما مثلا کارخونه ای که مواد اولیه ش همه جا یافت میشه و می تونه از داخل به وفور و به مقدار زیاد پیدا کنه خب دچار زیان نمیشه و احتمال ورشکستگیش هم کمه. قضیه دوم که کلمه bold بایاس رو داریم هم یه مفهومیه از شبکه های عصبی اما البته نه این جوری خیلی to be exact. برای سیستم های قضاوت در آمریکا یه سیستمی مبتنی بر هوش مصنوعی ساخته بودن که بر اساس چهره فرد میزان مجرم بودن رو تشخیص میداد. البته با جزئیات بیشتر. یه تحقیقی انجام شد و فهمیدن که میزان مجرم شناخته شدن افراد سیاه پوست دو برابر افراد سفید پوسته! به این میگن یه بایاس خوب! می تونیم یه کارهایی کنیم که سیستم ما یه چیزایی رو بد بفهمه یا خوب بفهمه. به این قضیه attention هم میگن که به این موضوع مرتبطه که از انواع داده های ورودی کدوماش رو بیشتر آموزش بدیم کدوما رو کمتر. فعلا بهتره فقط بدونیم که دو نوع بایاس داریم. یکی توی ساختار شبکه یکی در مفهوم شبکه. شاید بیشتر صحبت کنیم بعدا.

 

پ.ن 1: حس می کنم خیلی در هم  و برهم نوشتم! ولی main رو گفتم.

پ.ن 2: از اون یکی به خاطر blog post هاش مچکرم.

پ.ن 3: تلاش می کنم یه سری کلمات و phrase های انگلیسی اینجا استفاده کنم و نم نم اینجا رو انگلیسی کنم. خب دوتا فایده داره. اولش اینکه شما با یه سری اصطلاحات اصلی ادبیات شبکه های عصبی و دنیای پزشکی و هوش مصنوعی آشنا میشد و اگه بخواید سرچ کنید می تونید به راحتی. دوم اینکه انگلیسی فک کردنمون کم کم بهتر میشه و می دونیم چی رو کجا باید استفاده کنیم.

پ.ن 4: برای پیگیری داستان سیستم قضاوت مبتنی بر هوش مصنوعی آمریکا به TED talk خانم Zeynep tufekci توجه کنید ینی سرچ کنید در اصل. :) فک نمی کنم بیشتر از 20 دقیقه وقتتون صرفش بشه.