اثباتی بر گفته هایی از پست قبل

من یه ادعایی کردم مبنی بر اینکه داده هایی که ارتباط به کار ما ندارن بیشتر باعث فهم میشن تا داده های مرتبط. مثال گاو و اسب و اینا رو زدم به عنوان داده های مرتبط و مثالی زدم از اینکه در ریاضیات یه چیزهایی بی ربطی رو به هم ربط میدیم و اینا.

حالا می خوام یه مقاله ای رو بررسی کنیم البته بررسی که نه فقط می خوام اثبات هاش رو نشون بدم. در مقاله این لینک با نام 

How transferable are features in deep neural networks?

که سال 2014 انتشار پیدا کرده و 1292 تا هم سایتیشن خورده. این موضوع بررسی شده. حالا دقیق تر ببرسی کنیم:

شبکه اول ینی همون A روی یه دیتا آموزش داده شده شما فک کنید مثلا حیوانات و شبکه دوم ینی B روی یه دیتای دگ آموزش داده شده مثلا شما فک کنید انواع گیاهان. پس رنگ سبز مربوط به حیوانات و رنگ بنفش مربوط به گیاهان. حالا می خوایم یه شبکه دومی رو جداگانه و به یه مدل دگ آموزش بدیم. مجموعا 4 شبکه جدید آموزش میدیم که به این صورت هست:

B3B: اینجا شبکه B رو آموزش میدیم به صورتی که 3 لایه ای لایه های شبکه B ای که قبلا آموزش دادیم رو استفاده می کنیم. ینی یه اطلاعاتی از شبکه ی B ای که آموزش داده بودیم به شبکه جدید می دیم و دوباره آموزش میدیم. اما در نظر داشته باشید اطلاعاتی که از شبکه B به این شبکه میاریم در حین آموزش تغییری پیدا نمی کنه و یا به اصطلاح freeze میشه.

B3B+: این شبکه دقیقا مث همون شبکه بالاییه با این تفاوت که اطلاعاتی که اول میدیم freeze نمیشه و در طی آموزش دوباره می تونه تغییر کنه.

A3B: این شبکه اطلاعات برای آموزش شبکه B که مربوط به گیاهان بود از لایه های شبکه A که مربوط به حیوانات بود استفاده می کنه و می دونیم که این لایه ها freeze میشن و تغییری نمی  کنن و صرفا لایه های بعدی تغییر می کنن.

A3B+: این دوباره داستانش مث بالاست با این تفاوت که اون 3 لایه ای که از شبکه A برای آموزش شبکه B استفاده می کنیم رو هم در حین آموزش می تونیم تغییر بدیم و یا به عبارتی می تونی fine tune  کنیم.

همچنین یه سوال کلی تر وجود داره. اینکه اگه ما تعداد لایه هایی که به شبکه های جدید میاریم بیشتر باشه یا به زبان ساده تر اطلاعات بیشری و البته سطح بالاتری از شبکه های اولی به شبکه جدید بیاریم وضعیت چطور میشه؟

حالا ما که نه البته مقاله می خواد 5 شبکه ای که روی داده ی گیاهان آموزش داده شده رو تست کنه و بگه کدوم بیشتر می فهمه یا به عبارتی کدوم صحت بیشتری در تشخیص داره. پس اون 5 تا شبکه هم شدن:

1- خود شبکه B رو از اول آموزش بدیم. (B)

2- شبکه B رو آموزش بدیم به شرطی که یه سری اطلاعات از شبکه B ای که قبلا آموزش دادیم استفاده کنیم. و اون اطلاعات رو تنظیم دقیق نکنیم.(BnB)

3- شبکه B رو آموزش بدیم به شرطی که یه سری اطلاعات از شبکه B ای که قبلا آموزش دادیم استفاده کنیم. و اون اطلاعات رو تنظیم دقیق کنیم.(BnB+)

4- شبکه B رو آموزش بدیم به شرطی که یه سری اطلاعات از شبکه A ای که قبلا آموزش دادیم استفاده کنیم. و اون اطلاعات رو تنظیم دقیق نکنیم.(AnB)

شبکه B رو آموزش بدیم به شرطی که یه سری اطلاعات از شبکه A ای که قبلا آموزش دادیم استفاده کنیم. و اون اطلاعات رو تنظیم دقیق کنیم. (AnB+)

و نتایج به صورت زیره:

بررسی کنیم ببینیم چی شده:

بی رنگ که همون B خالی هستش که یه درصدی برای صحت داده کاری نداریم و یه تایمی هم داره که بازم کاری نداریم ولی مقایسه می کنیم هاااا

نکات مهم نمودار: اول اینکه می بینیم بهترین نتیجه رو AnB+ داشته و هرچه تعداد لایه ها یا همون داده هایی که از حیوانات به گیاهان منتقل شده بیشتر شده نتیجه هم بهتر شده البته بدونیم که ما گیاهان بهش یاد میدادیم و نمی گفتیم که مثلا حیوانات دم دارن و دم گیاهان اینجاست. ما اینجا یه سری اطلاعات بهش میدیم که قراره تعمیم پیدا کنن و کردن که باب میل ماست و این دقیقا همون چیزیه که من در پست قبل اشاره کردم. یکی از نکات بد اینکه که اگه یه سری اطلاعات از شبکه حیوانات به شبکه گیاهان منتقل کنیم و نخوایم اونا رو دست بزنیم هرچی این اطلاعات بیشتر بشه اوضاع رو بدتر می کنه ینی رنگ قرمز. و یادمون باشه که بهترین نتیجه مال داده ها نامرتبط بود نه مرتبط! در انتقال داده های مرتبط که به رنگ آبی و آبی با + نشان داده شده خیلی بهبودی در صحت نمی بینیم ولی خب زمان آموزش ما کمتر میشه که نشان داده نشده اینجا. ولی موضوع ما فهم بیشتره اینجا نه سرعت بیشتر.

بگذریم اگه شبکه می دونید حتما یه سری به این مقاله بزنید.

چی فهمیدیم بالاخره از این مقاله؟ که آقا اطلاعات نامرتبط به یه موضوعی می تونه فهم ما رو در یه موضوع دگ بیشتر کنه اگه بتونیم fine tune یا به عبارتی این ارتباط ها رو بفهمیم. می خوام بگم که نگید من رمان نمی خونم به چه دردم می خورده. نگید انتگرال مشتق کجای زندگیمون به درد می خوره و کلی از این دست حرفا. بهتره سعی کنیم همه چیزو بخونیم این باعث میشه قدرت مغز ما در موارد مختلف بهتر و بهتر بشه این در حالیه که ممکنه به این موضوع پی نبریم که چجوری تاثیر می ذاره.

همه چیزو یاد بگیریم همیشه و همه جا

انتقال یادگیری

اول یه مثال:

وقتی ما اولین بار با حیوانات آشنا شدیم مسلما همشون رو ندیدیم. یه گربه ای چیزی دیدیم و بهمون گفتن که این حیوونه و این روند ادامه پیدا کرد و حیوانات متنوعی دیدیم. گاو دیدیم گفتن اینم حیوونه و همین داستان ادامه پیدا کرد. ولی خب یه سری حیوانات رو هم اولین بار که دیدیم خودمون جزو حیوانات دسته بندی کردیم. نکته ای که وجود داره اینه که حیواناتی که ما نشون دادن خیلی زیاد نبود و ما زود یاد گرفتیم.بهتره به مثال بالا بیشتر توجه کنیم. اولین بار گاو رو دیدیم. چهار پا داره. صداهای خوبی از خودش در نمیاره. شاخ داره و کلی چیزهای دگ. گربه دیدیم. اونم چهار پا داره. گوشاش شبیه گاوه. چهار دست و پا راه میره. دفعه بعدی اسب رئ دیدیم. عه خیلی شبیه گاوه. شاخ نداره. شمایلش یه خرده متفاوته همش یه خرده. پس ما در حالت کلی می گیم که اسب، گاوی است با این تفاوت ها اندک. ینی ما نرفتیم دوباره کلش رو یاد بگیریم یه سری اطلاعات از گاو لود کردیم و فقط تفاوت ها رو یاد گرفتیم. سرعت شناخت ما رفت بالاتر. حالا اگه یه گاو و اسب رو کنار هم بذارند ما با توجه به تفاوت های این دو به راحتی تفکیک می کنیم اینا رو. ینی دقت تشخیص ما هم رفت بالا.

یه خرده تخصصی تر حرف بزنیم. ما شبکه های عصبی رو آموزش میدیم. هی آموزش می دیم. شبکه های مختلف رو با داده های مختلف آموزش می دیم و هی آموزش میدیم from scratch. چه کاریه خب از اول آموزش دادن خیلی خوب نیست. ما یه بار شبکه مون رو روی A و B آموزش دادیم و حالا می خوایم روی داده های جدید C و D آموزش بدیم. یه ارتباط هایی بین  دو داده اولی و دو داده ی دومی هست. پس از پارامترهای اولی برای دومی استفاده می کنیم و شبکه دوم رو آموزش می دیم. یه چیزهایی از اولی یاد گرفته و در ادامه با اون اطلاعات که به عنوان اطلاعات اولیه بهش داده می شه شبکه دوم هم آموزش بهتری با سرعت بیشتری خواهد داشت. در کارهای دگ ای هم دو داده ی اولی یاد شده با دو داده ی دومی اصلا ارتباطی نداره! ولی اون هم به درد می خوره و در سرعت و دقت بهبود حاصل خواهد کرد. راستش رو بخواید من داده های بی ارتباط بیشتر از داده ها با ارتباط اعتقاد دارم! چرا؟ مثال بزنم. دیدید یه کتاب می خونید و در اعماق مکاشفات می گید آره این مثل اون حادثه است که خیلی هم در ظاهر ارتباط ندارن. مثلا میگیم که این خازنه توی این مدار شبیه بانک می مونه که که اون بار الکتریکی و این پول رو ذخیره می کنه. این حتی باعث فهم بیشتری از خازن میشه. من به این اعتقاد دارم. فرض کنید یه نفری روی داده های معروف IMAGENET که شامل 1000 کلاس هم هست یه شبکه خوب آموزش داده و نتیجه هم گرفته. کلی چیز میز اون وسط فهمیده. حالا پارامترهای اون شبکه اولی رو روی شبکه ی دگ ای استفاده کنیم به عنوان پیش تعلیم. این قضیه باعث چی میشه؟ اون یه سری چیزها توی فضای یادگیری خودش فهمیده که ممکنه اصلا ربطی به کار جدیدمون نداشته باشه ولی یه جاهاییش ممکنه برای فهم بهتر و سریع تر کارمون خوب باشه. یه مرزهای تصمیمی که اگه با روال عادی بخوایم بریم جلو نتونه الگوریتم ما به اون بره اما یهویی ما اونو گذاشتیم وسط میدون اصلی. این آموزش غیر مرتبط خیلی برام جذابه که نتایجش رو در کار خودم ببینم وامتحان کنم.

دیروز با یکی از بزرگان که آدم دقیقیه داشتیم گپ می زدیم. می گفت که نمون این کشور وضعیت این جوریه و آن جوری. بذار یه مثالی بزنم که روشن بشه. فرض کنید من گفتم که تصمیمم بعد از اتمام تحصیلات مثلا ارشد اینه که برم فلان کارخونه کار کنم. ایشون هم گفت که بعد دوران تحریم این بلاها سر کاخونه ها اومد خیلی از کارخونه ها بسته شدن. مثلا این اتفاقات می افته و ... . یه تلمیح بزنیم البته اگه به معنی "داستان" توجه کنیم این چیزی که می گم داستان نیست یه خاطره از یه نفر در یه نوشته است. یکی  می گفت وقتی من از شهرمون می رم دانشگاه اغلب خیلی دلتنگ می شم حتی گریه هم می کنم. اونجا همش به این فکر می کنم که: چه کاریه تحصیل کردن. چرا من باید این همه از خونوادم دور باشم! و کلی چیز دگ. اما خب اینم می دونم اگه الان بخوام در مورد ادامه تحصیل تصمیم بگیرم قطعا تصمیم من انصراف خواهد بود. در نتیجه می دونم که الان نباید تصمیم بگیرم چون بایاس دارم. در قضیه بالا هم من داشتم به این فکر می کردم که من الان اگه تصمیم بگیرم نتیجه معلوم خواهد بود پس باید فکر کنم که بالا و پایین کنم.

خب حالا پاراگراف بالا رو یه خرده بسط بدیم. اون دوست گرام دقیق ما دقیقا به یه موضوعی توجه نکرد. "نادانسته هاش." این اصطلاح یادگار کتاب قوی سیاه در ذهن و زندگی منه به همراه خیلی از یادگاری های دگ. ایشون به نکات زیادی توجه نکرد در اصل. اغلب بر اساس یه شریط جنرال تصمیم گرفته ینی یه چیزی پیدا کرده و برای همه چیز استفاده می کنه. البته میشه گفت این همه ناشی از فعالیت مغز ماست که فک کنم دفه قبل اشاره کردم که مغز خیلی تنبله و میل به تنبلی داره(در مثال استفاده از / به جای ر) ینی مغز دوست داره همه چی رو به یه روتینی تبدیل کنه و بده یه قسمت دگ ای از سیستمش و خودش بگیره بخوابه! من فکر می کنم مغز ایشون هم دچار این روتینوگری شده و نمی خواد فشار بیاره و شرایط خودش رو بسنجه در نتیجه یه حکم جنرال میده اما احتمالا نادرست باشه. قشنگ ترین جمله ای تا حالا شنیدم هم جواب خوبیه برای این نوع حکم پرانی! "هر حکم کلی خطرناک است حتی همین حکم!" مثلا ایشون توجه نکرده در دوران تحریم شرکت هایی دچار ورشکستگی میشن که مواد اولیه اونا وابسته است. ینی وارد میشه. پس این می تونه باعث ورشکستگی بشه اما مثلا کارخونه ای که مواد اولیه ش همه جا یافت میشه و می تونه از داخل به وفور و به مقدار زیاد پیدا کنه خب دچار زیان نمیشه و احتمال ورشکستگیش هم کمه. قضیه دوم که کلمه bold بایاس رو داریم هم یه مفهومیه از شبکه های عصبی اما البته نه این جوری خیلی to be exact. برای سیستم های قضاوت در آمریکا یه سیستمی مبتنی بر هوش مصنوعی ساخته بودن که بر اساس چهره فرد میزان مجرم بودن رو تشخیص میداد. البته با جزئیات بیشتر. یه تحقیقی انجام شد و فهمیدن که میزان مجرم شناخته شدن افراد سیاه پوست دو برابر افراد سفید پوسته! به این میگن یه بایاس خوب! می تونیم یه کارهایی کنیم که سیستم ما یه چیزایی رو بد بفهمه یا خوب بفهمه. به این قضیه attention هم میگن که به این موضوع مرتبطه که از انواع داده های ورودی کدوماش رو بیشتر آموزش بدیم کدوما رو کمتر. فعلا بهتره فقط بدونیم که دو نوع بایاس داریم. یکی توی ساختار شبکه یکی در مفهوم شبکه. شاید بیشتر صحبت کنیم بعدا.

 

پ.ن 1: حس می کنم خیلی در هم  و برهم نوشتم! ولی main رو گفتم.

پ.ن 2: از اون یکی به خاطر blog post هاش مچکرم.

پ.ن 3: تلاش می کنم یه سری کلمات و phrase های انگلیسی اینجا استفاده کنم و نم نم اینجا رو انگلیسی کنم. خب دوتا فایده داره. اولش اینکه شما با یه سری اصطلاحات اصلی ادبیات شبکه های عصبی و دنیای پزشکی و هوش مصنوعی آشنا میشد و اگه بخواید سرچ کنید می تونید به راحتی. دوم اینکه انگلیسی فک کردنمون کم کم بهتر میشه و می دونیم چی رو کجا باید استفاده کنیم.

پ.ن 4: برای پیگیری داستان سیستم قضاوت مبتنی بر هوش مصنوعی آمریکا به TED talk خانم Zeynep tufekci توجه کنید ینی سرچ کنید در اصل. :) فک نمی کنم بیشتر از 20 دقیقه وقتتون صرفش بشه.

 

 

لماکت

نکته: من "ر" کیبوردم خرابه و می خوام به جای "ر" "/"بذا/م! به جای استفاده از on-screen keyboard! (دوست دا/م یه با/ اینجو/ی خوندن /و هم تج/به کنید!)

موضوعات:
  • دنبال ک/دن بی وقفه اهداف آیا ما /ا ا/ضا می کند؟
  • ما چگونه د/ مو/د مسائل فک/ می کنیم؟ د/ مو/د تصمیم هایی از آینده خودمون از کا/ و اپلای و از طب ها مختلف و مسائل آن
  • اتصلات ن/ونی ما این وسط چه کا/ می کنن؟
بهت/ه اول سوالم /و /وشن ت/ بگم. یه سوالی ب/امون ممکنه ایجاد بشه یا شده باشه. اونم اینه که من الان د/ این ح/فه ای که الان ق/ا/ دا/م یا د/ این مقطع و /شته ای که د/س می خونم از کا/م از /شته ام از این /وند زندگیم /اضیم یا نه؟ قشنگ ت/ بخوام بگم باید بگم که آیا این /وند منو ا/ضا می کنه و آیا خواهد ک/د یا نه؟ خب پاسخ به این مسئله /و مسلما از ط/ف همه آدما جواب یکسانی نمیشه داد اما mindset من چیه؟ من یه با/ی د/ همین مو/د فک/ می ک/دم و تصمیم گ/فتم یه سوالی بپ/سم از کسایی که نسبتا می شناسمشون. بهشون گفتم شما خوب توی زندگیتون بگ/دید و بالا و پایینش کنید و ببینید که کدوم کا/، کدوم اتفاق، کدوم تصمیم باعث شده که شما خیلی ذوق کنید. باعث شده که د/ پوست خود نگنجید. باعث شده که یه حالتی مث این اتفاق بیافته که بپ/ید هوا و بگید هو/اااااااااا.

لطفا شمایی که اینجا /و می خونید هم ب/ای چند لحظه از خوندن دست بکشید و به این موضوع فک/ کنید این موضوعات یا اتفاقات یا تصمیم ها چه بوده؟
 
خب مثلا یکی میگفت من بهت/ین لحظاتم موقعی بوده که کنا/ خونوادم بودم، فامیلا /و دیدم  باهاشون خوش و بش ک/دم. بهت/ین لحظات زندگی من وقتی بوده که باهاشون /فتیم گ/دش و کلی از این قضایا. یکی دگ می گفت من بهت/ین لحظات زندگیم وقتی بوده که به دانش آموزام د/س می دادم و البته موقعی که پول حسابی د/ می آو/دم نیز. یکی می گفت من وقتی یه خب/ی د/ حیطه تخصصی خودم می شنوم خیلی شاد میشم. مثلا فلان دانشمندان با به اتمام /ساندن فلان کا/ و تولید صنعتی این محصول گامی د/ جهت د/مان بیما/ی های .... ک/دند.

د/ ادامه سوال دگ ای پ/سیده شد. که شما دوست دا/ید آینده شما د/ چه /اهی باشه ینی چه اتفاقاتی /و دوست دا/ید که واقع شه.

شما هم سعی کنید به سوال بالا نیز جواب بدید لطفا

جواب سوال اغلبشون همین ح/ف های قبلی بود البته به پیش/وی ف/اوان. مثلا اینکه ط/ف خونواده زودت/ تشکیل بده و بچه بیا/ه و توی جمع گ/م خونوادش خوش بگذ/ونه. دومی دوست داشت توی کلی مد/سه د/س بده و پول د/ست حسابی د/ بیا/ه نیز. سومی ب/ خلاف اولی زندگی پ/ تلاطم /و دوست داشت. علاقه مند بود که زندگیش تک/ا/ی نباشه. حس ماج/اجویی علمی داشت البته با کنا/ تولید ینی بعد علم ص/فا تئو/یک که ممکنه 50 سال دگ به کا/ بسته بشه /و دوست نداشت همون علمی /و می خواست که س/یع به کا/ ببندش و از این کا/ لذت بب/ه.
این چنین جواب هایی /و باید فک/ ک/د که تا کجا می تونه ما /و  ا/ضا کنه؟ تا کی؟ آیا ا/ضا محدوده یا نامحدود؟ آیا اگه محدوده فک/ی ب/ای میل به نهایت دادنش ک/دیم؟ آیا ما دچا/ /وزم/گی شدیم و از تمام این چنین فک/هایی ف/ا/ی هستیم یا می خوایم مسئول خودمون باشیم؟ مسئول تکامل خودمون. من فک/ می کنیم معیا/ ب/ت/ی انسان ها نسبت به هم به میزان تکامل سیستم ن/ونی شون نسبت به هم هست. یه خط میانگین تصو/ کنید از این نسبت ها که ما 50 د/ نظ/ش می گی/یم. ط/ف دچا/ افس/دگی میشه یه د/صدی از اتصالاتش دچا/ عیب میشه. این اتصالات باعث میشه که نتونه خیلی چیزا /و استدلال کنه. نتونه بفهمه دوست داشتن چیه مثلا. اصا نتونه بفهمه چگونه باید لذت بب/ه. ممکنه دچا/ بیما/ی های دگ ای بشه و بیاد زی/ 50. منظو/م همه بیما/ی ها نیست. ص/فا بیما/ی هایی که به علت کم کا/ی خودمون د/ ابعاد مختلف زندگی مون ایجاد میشه. خب نفهمیدیم! ممکنه یه نف/ شب و /وز کتاب های مختلف بخونه و قسمت های مختلف زندگی /و د/ک کنه. از همه ابعاد. هستن آدم هایی که نمی خوان یه چیزایی از ابعاد دیگ/ زندگی /و قبول کنن که هست و د/ مو/دش فک/ کنن و مسئولیت قبول کنن. تا ما خودمون مسئول خودمون نباشیم نمی تونیم پیش/فت کنیم. بالای 50 به اونایی می تونه تعلق بگی/ه که مسئولیت خودشون /و قبول می کنن و ه/چه از ابعاد مختلفی بهش نگاه کنن می تونن نم/ه بهت/ی بگی/ن. مثلا شما ف/ض کن من د/ مو/د آینده کا/یم خیلی خوب فک/ ک/دم و /فتم جلو و کلی کا/ ک/دم کلی موفقیت و پول بدست آو/دم و کاملا /اضی بودم اما مثلا به قسمت سلامت جسمم فک/ نک/دم. موفقیت بدست اومد ب/ام اما به زودی منتقل یا نابود خواهد شد. ف/ض کنید به بعد /وحی خودمون توجه نک/دیم. نفهمیدیم که چه باید باشیم. اصا نفهمیدیم که دین خوبه یا بد! اصا باید به چیزی اعتقاد داشته باشیم یا نه! و کلی از این دست ح/فا. اگه به خودمون ج/ات ندیم که د/ مو/د این مسائل فک/ کنیم دچا/ یه خود سانسو/ی شدید شدیم. مثلا ف/ض کنید خیلی از ما جوانان الان میگیم که اسلام فلانه و فلان. من با خوب یا بد بودنش کا/ی ندا/م. د/سته آدم های بی خ/د زیادی /و دیدیم ولی این بین فیلسوف ها و اندیشمندان زیادی هم بودن. ب/ای مثل یکی از اف/اد نزدیک به دو/ه ما علامه جعف/ی. ب/یم ح/فاشو گوش بدیم شاید چیزای خوبی داشت که بگه! از بعد دگ فک کنید مثلا الان گ/وه های خاصی اجتماع ک/دن و یه سازمانی به کا/شون دادن مثلا LGBT ها. ب/یم یه کم بیشت/ بدونیم ازشون و شاید لازم باشه یه جایی یه کسی /و د/ک کنیم. باید بیشت/ بدونیم تا کمی د/ک کنیم اونا /و. کلی از این مثال ها میشه زد. حتی مسائل خیلی خیلی کوچکی /و میشه گفت و د/ مو/دشون با د/ ذهن داشتن کلمه "تکامل" کلی فک/ ک/د و تصمیم های خوبی گ/فت.

خونه که بودم یکی از دوستان زنگ زد گفت بیا ب/یم حجامت. گفتم ب/یم من حجامت نمی کنم اما دوست دا/م بیشت/ بدونم د/ مو/دش. اون /وزا هم یه خ/ده مسائلی د/ مو/د طب های مختلف به گوش /سیده بود و می خواستم یه خ/ده شفاف سازی کنم ب/ای خودم. یه ساعتی ق/ا/ گذاشتیم و /فتیم. منو ب/د جایی تق/یبا خ/ابه. گفتم ببین من دا/م یاد مطب دکت/ ق/یب د/ عهد قج/ می افتم. اینجا چ/ا این قد قدیمیه و غی/ بهداشتیه. /فتیم نشستیم. ط/ف دکت/ هم نبود یه جو/ایی تج/بی بود ولی خب از شه/های اط/افم میومدن شه/ کوچک ما. یه خ/ده فک ک/د گفت ب/یم منم نمی خوام اینجا حجامت کنم. /فتیم مطب یه دکت/ که این کا/ه بود. موقعی که می خواست ب/ه اتاق دکت/ منم اجازه گ/فتم که ب/م تو و /فتم. یه خ/ده ح/ف زدیم. دکت/ه می گفت سازمان WHO یا سازمان جهانی بهداشت چندین سال پیش به این نتیجه /سید که پزشکی مد/ن ام/زی نمی تونه همه مشکلات /و حل کنه د/ نتیجه به کلیه کشو/ها اعلام ک/د که از پزشکی های سنتی خودشون حمایت کنن و از اونا هم د/ کنا/ پزشکی مد/ن استفاده کنن. خب یه س/ی کشو/ها سازمان به خصوصی ب/ای طب سنتی کشو/شون ایجاد ک/دن و د/ست اومدن بالا. یه کشو/هایی مث ما این کا/و نک/دن. چی شد آخ/ش؟ یه س/ی آدم ها عادی ش/وع به این کا/ ک/دن. به ه/ حال تجا/ته و ه/کسی دوست دا/ه پول د/ بیا/ه. این وسط یه س/ی چیزهای دگ هم الکی اضافه شد مثلا طب اسلامی! که د/ اصل وجود مستقلی ندا/ه و همون طب سنتی ابن سیناست که یه س/ی گیاهان و ... /و با هم ت/کیب می کنن و به نام خودشون می زنن. خب چیزی که منو آزا/ میده دو موضوعه. اول این که این س/ی طب ها دا/ه به یه س/ی آدم عادی آموزش داده میشه که بسیااااااا/ خط/ناکه. د/سته دا/و ها خیلی آسیب زننده نیست اما علم نصف و نیمه خط/ناکه. مثال می زنم. /فتم آ/ایشگاه دیدم ایشون ش/وع ک/د از طب های سنتی و مزایاش ح/ف زدن. یه س/ی ح/فاش ب/ام منطقی میزد و یه س/یاش نه. د/ حدی پیاز داغش /و زیاد می ک/د که نگو. اینکه س/طان خون /و د/مان می کنه و ... .  می گفت توی همین آ/ایشگاه من ب/ای د/مان ز/دی پشت گوش ط/ف /و ب/دیم. من همش به این فک می ک/دم که این چطو/ به خودش ج/ات داده این کا/و کنه. داشت از موفقیت هاش می گفت. از اینکه بچش /و واکسن فلج اطفال نزده! از این می گفت که این طب، بهت/ین مدل طب توی جهانی انگا/!! آخ/ش البته بعد اندکی از مخالفت های من گفت که من دوست دا/م که طب سنتی د/ کنا/ طب مد/ن کا/ کنه نه به تنهایی. خب این ح/فش منطقی بود فقط انگا/. موضوع ت/سناک ت/ اینه که این بز/گان خیلی هم نظ/شون یکی نیست انگا/. یکی میگه صبح عسل بخو/ی خوبه یکی میگه بده یکی میگه آب س/د صبح بخو/ی خوبه یکی می گه نه آب گ/م خوبه. یه همچین نظ/ات متفاوتی دا/ند انگا/. بدت/ین آسیبش همون یادگی/ی این علم توسط اف/اد که دیپلمشون /و به زو/ گ/فتن و هیچ تخصصی د/ حیطه پیشگی/ی، کنت/ل، د/مان، تغذیه و ... ندا/ند. می تونید از خیلیاشون بپ/سید که مثلا شما که میگید که فلان دا/و پلاکت های خوب /و فلان کنه بگید دقیقا پلاکت توی خون نقشش چیه. از کجا می دونید که ب/ای همه بیما/ان نتیجه یکسان بده؟ از کجا میدونید کدوم بیما/ی ها ممکنه مشکلاتی که پلاکت های خون ایجاد کنه. حتما باید یه نف/و بکُشید تا بی خیال شید؟ تجا/ت از نوع بدش که ه/کسی یه دکونی واسه خودش باز کنه.

دوبا/ه ب/گدیم به تکامل. د/ اصل موضوع بالا هم از تکامل ح/ف میزد. از عدم تکامل خیلی از ماها د/ خیلی از تصمیمات ما د/ ابعاد مختلف! خب بهت/ه ب/گ/دیم س/اغ هوش مصنوعی و مخصوصا شبکه های عصبی و د/ مو/د ا/تباط اون با تکامل ح/ف بزنیم. شبکه های عصبی مصنوعی یه س/ی از اتصالات ن/ونی که از آپدیت شدن وزن های این شبکه ها ب/ اساس هدف مو/د نظ/ ما می تونیم یه چیزی /و بهش یاد بدیم. یه س/ی مفاهیم دا/یم که همین جو/ی می گم بدون و/ود به جزئیات. ما می تونیم این اتصالات /و ماژول بندی کنیم ینی یه جو/ی به شبکه فو/س کنیم که شما مجبو/ی این قسمت کوچک /و یادبگی/ی از کل هدف. یه موقعی هایی به شبکه یه چیز /و خیلی یاد می دیم مثلا می خوایم جمع /و یاد بدیم هی بهش می گیم 2+2 = 4 و این باعث میشه خب 2+3 /و ندونه. به این میگیم او/ فیتینگ. ب/ای جلوگی/ی از او/ فیتینگ یه /وشی به نام د/اپ اوت هست که تا حدی جلوگی/ی می کنه. توی این /وش ما تعدادی از ن/ون ها /و غی/فعال می کنیم. این مث این می مونه که کلی جمع بهش یاد دادیم حالا می گیم که با نصف اطلاعاتت اینو جواب بده. این قد/تش /و می ب/ه بالا. خب حالا از مدل مصنوعی بیایم بی/ون و به مدل طبیعی بپ/دازیم. د/سته این مدل مصنوعی خیلی شبیه مدل طبیعیش نیست و ص/فا یه مدل از اونه ولی خب مدل بدی هم نیست. شبکه های عصبی ما با استفاده از اتصالات بین ن/ون ها و تضعیف، تقویت، قطع اتصال و ... اطلاعات /و یاد میگی/ه. مثلا کسی که سیگا/ می کشه ب/ای اولین با/ یه ن/ون با ن/ون دگ اتصال ب/ق/ا/ می کنه و ب/ اساس این اتصال یه هو/مونی ت/شح میشه و ط/ف حال می کنه و غماش کم حس میشه. بعد اون اتصال قطع میشه. بعد دوبا/ه د/ سیگا/ بعدی این اتصال ب/ق/ا/ می شه و دوبا/ه ت/شح و ادامه این داستان. اونقد ادامه پیدا میکنه این اتفاقات که کلا اتصال ب/ق/ا/ می شه و دگ قطع نمیشه و بدن هم خیلی تطبق پذی/ی با ش/ایط جدید دا/ه. دگ اون هو/مونه ت/شح نمیشه و ط/ف خیلی مث با/ اول حال نمیکنه. با این مثال می خواستم بگم که این اتصالات چه قد/ مهمه و دونستن این چیزا. اینکه چطو/ی این تغیی/ات /و باید و می تونیم کنت/ل کنیم. ما باید بتونیم بدونیم که چجو/ی تصمیماتمون /و کنت/ل کنیم. افکا/مون /و. باید بدونیم کجاها نباید تصمیم بگی/یم چون احتمالا بایاس دا/یم. باید د/ک کنیم که اگه مثلا افس/دگی دا/یم یه قسمتی از مغز ما د/ست کا/ نمی کنه پس نیازه که بهش توجه نکنیم. مثلا ممکنه این موقع از غذا خو/دن لذت نب/یم اما خب با توجه به اینکه می دانیم که یه قسمت مغز ما اوت شده و نمی تونیم این قسمت /و د/ست د/ک کنیم پس می خو/یم ه/ چقد/ سخت باشه. د/ این جو/ مواقع که قسمتی از مغز ما اوت شده قسمت های دگ میان یه خ/ده کمک می کنن که وظیفه قسمت آسیب دیده /و انجام بدن ه/چند نمی تونن مثل اون باشن اما می تونن یه چیزاییش /و انجام بدن. این چیزیه که هنوز هوش مصنوعی بهش ن/سیده. همین که ما د/ مو/د خودمون نظ/ میدیم د/ مو/د اینکه با توجه به اینکه د/ حال حاض/ می دونیم استلالی که به ذهن میاد ناد/سته و باید مخالف عمل کنیم و کلی از این دست چیزا. یه مثال دگ یادم اومد یکی بود که می گفت من وقتی از خونه به سمت دانشگاه می/م همش این حسو می گی/م که چه کا/یه آخه چ/ا من باید د/س بخونم چ/ا باید این همه دلتنگی /و تج/به کنم و کلی از این الهاماتی که به ذهن مثل یک تو/نادو  حمله و/ میشه. ولی خب هیچ وقت اونجا هیچ تصمیمی نمی گی/م چون می دونم که اگه تصمیمی بگی/م قطعا بایاس دا/ خواهد بو و نتیجه ای جز ت/ک تحصیل نخواهد داشت. این یکی از چیزاییه که د/ ذهنم ماندگا/ شده.

پی نوشت ها:

1- اینکه مغز من عادت ک/ده که "ر" کجاست و الان باید یه جو/ دگ بنویسش یه خ/ده بهش فشا/ میا/ه ولی خوبه چون فک می کنم حتی این یه شوک کوچک میده به مغز که پاشو یه خ/ده کا/ کن.

2- از دوستانی که د/ حیطه ن/وساینس مطالعه می کنن، تحصیل می کنن یا کا/ میکنن اگه جملاتی از جملاتی اشتباه بود بگن و اگه چیزی به ذهنشون خطو/ می کنه ما /و بی نصیب نذا/ن.

3- دوست دا/م د/ حیطه کلمه تکامل کلی از فک/هایی که شب و /وز از ذهنم میگذ/ه و بهشون فک می کنم /و بنویسم. اگه بتونم. یه س/ی از موضوعات نوشته شده د/ ابتدا هم موند که بعدا می گم اگه یادم ن/ه. :)

4- بابت گسستگی های متن منو عذ/خواهی م/ا بپذی/ید چون د/ چند م/حله نوشتم و عوامل ب/ هم زننده تم/کز زیادی به وجود اومد.

5- دفعه بعدی دگ از / استفاده نمی کنم. ینی استفاده می کنم ها. توی و/د می نویسم. بعد با replace همه ی "/" ها /و با "ر" جایگزین می کنم. تا شما هم این همه سختی نکشید. :)

هوش مصنوعی و خطر نابودی شغل ها

هوش مصنوعی یا AI رو می تونیم یه تغییر اساسی بنامیم. یه تغییری که می تونه یه خرده معادلات ذهنی ما رو به هم بزنه. دانشگاه تهران یه همایشی برگزار میشد یکی از دوستان هم دست ما رو گرفت که بیا بریم خوبه. یه آقایی اومده بود از فرانسه که البته ایرانی بوده و 50 سال پیش اینجا رو ترک کرده بود. فارسی هم به زور حرف میزد و لهجه غلیظ فرانسوی هم توی حرفاش پیدا بود. موضوع صحبت پزشکی در هوش مصنوعی و هوش مصنوعی در پزشکی بود. ایشون پزشک بودن و جراحی می کردن. دکترای ریاضیات داشتن. دکترای الکترونیک داشتن و هوش مصنوعی هم ارشدش رو خونده بودن. البته از اون دست افرادی نبود که دنبال مدرک باشن فقط. علم خوبی داشت. با یک سری از اساتید دانشگاه های MIT و هاروارد کار می کرد. داشت آسیب شناسی می کرد و می گفت این پدیده می تونه خوب باشه و می یتونه بد باشه. همان طوری که اتفاقات خوبی در دقت و صحت تشخیص ها علم پزشکی اتفاق می افته. در همان حین می تونه کاربردهای نابودی انسان ها رو نیز به همراه داشته باشه. می گفت یه آقای توی دانشگاه MIT هست که کارش رباتیکه و میگفته که می خوام ربات های بسازم که جای انسان ها رو بگیره. می گفت ما کلی صحبت کردیم که این کار هدف هوش مصنوعی نیست و ما نمی خوایم این اتفاقات بیافته ولی خب حرف گوش کن نبود. بعدش گفت خدا رو شکر که فوت کرد! 

به عبارتی باید بگیم که متخصص شدن هرکسی توی این حوزه می تونه خطرناک باشه. می تونه تهدید باشه. همانطوری که یه جایی م خوندم که می گفتن در چند 10 سال بعد ابرقدرت جهان کسی خواهد بود که سیستم های هوش مصنوعی قوی تری داره. اینو فک کنم پوتین رئیس جمهور روسیه گفته بود و همانطوری که الان هم می بینیم بین تمام بازیهایی سیاسی اقتصادی ای که کشورهای جهان با هم به راه انداختن. بازی هوش مصنوعی هم پیش میره. آمریکا بامتخصصین خوبش در شرکت های خوبی مثل گوگل سعی داره سلطه این قدرت رو به دست بگیره و همواره جزو پیشرو های این حوزه است. کارهایی که می کنن رو می برن جلو. مقاله ش رو می نویسن ولی انتشار نمی دن و کار رو ادامه میدن. کار بعدی رو هم به نتیجه می رسونن و بعد کار قبلی رو منتشر می کنن. این جوری هیچ کسی نمی تونه کار اونا رو در دست بگیره. شرکت های کوچکی رو هم قدرت مند میشن رو به سرعت خریداری می کنه. مثلا شرکت دیپ مایند(می تونه مستند ALPHA GO رو ببینید1) که با حل مسائل حل نشده جهان هر روز قوی تر از دیروز عمل می کنه. شرکت های بزرگی که در این حوزه با هم رقابت می کنن به دو گروه تقسیم می شن. شرکت های سخت افزاری مثل NVIDIA و نرم افزاری مثل Facebook. البته بیشتر نرم افزاریند. اما گوگل سعی داره قدرت رو برای خودش داشته باشه به همین دلیل یه پردازنده ای تولید کرد که خیلی قدرتمنده و استقلال پیدا کرد در این حیطه. همچنین قدرتمندترین متخصص ها رو در قسمتی به deep brain جمع کردن که نوآوری های بسیار خوبی داشتن در این حوزه. هرکسی که جزو چندتای برتر یکی از قسمت های این حوزه میشه به سرعت جذب این قسمت میشه. 

چین و روسیه و آمریکا به شدت سر این قسمت با هم جنگ دارن و هرسه هم قدرتمند هستن و سعی دارن توی این حوزه استقلال پیدا کنن و البته نه صرفا تئوری بلکه صنعتی.

یکی بزرگان این حوزه آقای هینتون(Hinton) هستش که به "پدرخوانده یادگیری عمیق" معروفه. اغلب پایه های ریاضیاتی این حوزه  رو ایشون شروع می کنن. بهترین تغییرات این حوزه هم متعلق به ایشون هستش. ایشون هم الان همراه گوگل هستن. 

همه این موضوعات رو گفتم که به بررسی خطر شغلی برسم. آقای هینتون در یه سخنرانی ای جلوی خیلی از رادیولوژیست ها و پزشکان مربوط به حوزه بررسی تصاویر پزشکی گفت که تا 10 سال دگ تمام شما بیکار خواهید بود و سیستم های هوش مصنوعی جای شما رو خواهند گرفت. در مورد خیلی از حوزه های دگ هم این موضوع صادقه. مثلا به این تیکه از خبر توجه کنید:

"An influential 2013 forecast by Oxford University said that about 47% of jobs in the US in 2010 and 35% in the UK were at "high risk" of being automated over the following 20 years." 2


عددهای بزرگی برای این کشورها بیان شده و این ترسناکه. اما می تونیم بگیم که این یه طرف قضیه است و اگه بخوایم از یه بعد دگ به قضیه نگاه کنیم ما نیاز خواهیم داشت که متخصصین بیشتری در این حوزه تربیت کنیم. این متخصصین می تونن کارهای زیادی رو ایجاد کنن. این جوری نیست که بتونیم پیش بینی کنیم ولی می تونیم اتفاقات اخیر رو مرور کنیم. مثلا الان در هر بیمارستانی یه مهندس پزشک هم اضافه شده که قبلا لزومی نداشت باشه. حالا با اینکه می دونم الان کار خاصی نمی کنن و کاری می کنن که ممکنه یه نفر با چند ماه دنبالش بودن بتونه تجربه کاری رو بدست بیاره اما من فکر می کنم در آینده هر شرکتی، هر کارخونه ای، هر بیمارستانی و حتی هر پزشکی، هر کشاورزی، هر طراحی، هر سرمایه داری و خیلی از موارد دیگر به یک متخصص پردازش داده ها با سیستم های هوشمند نیاز خواهد داشت و با توجه به اینکه این کار نمی تونه صرفا تجربی باشه خیلی، این موضوع باعث میشه خیلی خیلی شغل جدید ایجاد بشه. من به این دلیل این موضوع رو می گم که درسته شرکت های بزرگی توی این حوزه کار کنن اما همچنان جنگ و رقابت بین افراد و سازمان ها از بین نخواهد رفت پس همه سعی خواهند کرد که از هم پیشی بگیرن. پس نمی تونن از سیستم های دیگران استفاده کنن فقط. من فکر می کنم خطر نابودی برای افرادی بیشتر خواهد بود که نخوان علمشون رو آپدیت کنن. نخوان با علم روز پیش برن. مثلا ممکنه یه معلم زبان کارش رو از دست بده چون الان در حال طراحی سیستم هایی هستن که ارتباط های معنایی بین زبان های مختلف رو پیدا می کنن و اون وقت ترجمه بر اساس نگاشت به یه فضای خاص خواهد شد و نه ترجمه لغتی با اصلاح گرامر. خب معلم زبان کارش رو از دست داد حالا اون باید چه کار کنه؟ اولا که این اتفاق کم کم واقع خواهد شد پس وارد یه بحران یهویی نمیشیم و افراد به سمت درست کشیده خواهند شد. دوما هستن افرادی که با این سیستم ها ارتباط خوبی برقرار نمی کنن. سوما در بدترین حالت معلم ها به جای اینکه روی آموزش گرامر تکیه کنند روی آموزش نحوه تعامل با این سیستم برای یادگیری زبان تمرکز خواهند کرد و کلی موارد دیگر احتمالا. ممکنه به واسطه این تکنولوژی ها و ربات ها کلی از افراد از کارخونه ها اخراج بشن اما به واسطه همین ربات ها کلی وارد کننده، تولید کننده خودش یا قطعاتش، کلی تعمیراتی و شاید موارد دیگر از این دست اضافه خواهد شد. به عبارتی می تونم بگم سبک کارگری عوض میشه و تخصصی تر میشه. خب اینم با پیشرفت تکنولوژی امری کاملا طبیعیه. از طرفی هیچ کشوری دوست نداره جیره خوار بقیه کشورها باشه در نتیجه من فکر نمی کنم گوگل مانندهایی بتونن تک قدرت جهان بشن.

دوست دارم در آینده در این مورد بگم که خب با توجه به این تغییرات شغلی ما چه کار می تونیم بکنیم؟!




1- بازی GO یه بازی چینیه که یه بازی با مهرهای سفید و سیاه و قاعده بازی خیلی ساده است. اما نحوه بازی دگ میشه استراژی فرد. این قدر این بازی سخت بوده که برای شطرنج تونستن یه الگوریتم بنویسن که بتونه با انسان های حرفه ای بازی کنه و ببره ولی برای این بازی موفق نشده بودن تا 2015. تعداد حالات این بازی 10127 حالت است که مثل اینکه به تعداد اتم های کل کره زمینه!

2- منبع

چی میخوام بگم بیشتر؟

یه زمانی بود که حس بدهکاری به سایت TED داشتم به خاطر تمام چیزهایی که ازش یاد گرفتم. گفتم برم توی کار ترجمه. اولین سخنرانی ای که ترجمه کردم مربوط میشد به خانم زینب توفکسی1 که در مورد بایاس های مورد استفاده در سیستم های هوش مصنوعی حرف میزد از این حرف می زد که این سیستم ها در قضاوت استفاده شده و در آمریکا باعث شده که سیاهپوست ها 2 برابر(فک کنم) سفیدپوست ها محکوم شوند و ادامه داستان. اون موقع در این حوزه کار نمی کردم و خوب درکش نمی کردم اما الان بیشتر می تونم بفهمش. در مورد چنین مواردی هم می خوام حرف بزنم. در مورد اینکه سیستم های هوش مصنوعی و به خصوص شبکه های عصبی عمیق دارن به کجا می رن؟ چه قدر تونستن سیستم های مغزی انسان رو شبیه سازی کنن. چه قدر تونستن به سبک مغز انسان نزدیک شن. نمیخوام وارد مباحث علمیش بشم و اگه هم بشم سعی می کنم ساده بگم. چون اینجا قرار نیست سیستم طراحی کنیم. دوست دارم بیشتر در مورد فرهنگ شبکه های عصبی حرف بزنم. همون شبکه هایی که می تونیم باهاش تسلیحات نظامی بسازیم و می تونیم باهاش سیستم های پزشکی بسازیم. می تونیم باهاش انسان رو نابود کنیم و می تونیم باهاش به انسان عمر دوباره بدیم. از طرفی دیده میشه که شایعات زیاد شده. هالیوود جان هم که بیکار نمیشینه تا میتونه پیاز داغش رو زیاد می کنه. دوست دارم در مورد این موضوعات حرف بزنم. شاید گاهی هم بزنم کانال تخصصی یه خرده بدون مقدمه حرف بزنم. شاید بهتر باشه یه سری اصطلاحات تخصصی هم بشنویم. از طرفی ممکنه شما هم در این حوزه باشید و بخواهید حرف ها تازه و تخصصی بشنوید. 

از طرفی خیلی هم دوست دارم در مورد مباحث پزشکی بیشتر با هم حرف بزنیم. من دکتر نیستم و نمی خوام اینجا مث خیلی ها نسخه صادر کنم. من توی این حوزه کار می کنم و دوست دارم یه سری اطلاعات رو با هم مرور کنیم و بیشتر بدونیم. اوایل سرطان ریه و بعدا در مورد بقیه موارد بیشتر صحبت خواهیم کرد.

خب پس به طور کلی با توجه به موارد بالا من با هوش مصنوعی روی مباحث پزشکی کار می کنم.





1- ایشون جامعه شناس تکنولوژی و فناوری هستن و اگه اسم ایشون رو گوگل کنید می تونید سخنرانیش رو ببینید.