اگر تا به حال از هوش مصنوعی Siri یا Alexa کمک خواسته اید قطعا با یادگیری عمیق ارتباط برقرار کرده اید، نوعی از هوش مصنوعی که از الگو‌های داده‌ها برای پیش بینی استفاده می‌کنند. اگرچه یادگیری عمیق و هوش مصنوعی جای خود را در زندگی ما باز کرده و به زندگی روزمره ما آمده، اما پیشرفت‌های آماری که به این انقلاب دامن زده اند کمتر شناخته شده هستند. در تحقیقاتی که اخیرا انجام شده، اندرو گلمن، استاد آمار در کلمبیا و آکی وهتری، استاد علوم کامپیوتر در دانشگاه آلتو فنلاند، فهرستی از مهمترین ایده‌های آماری در ۵۰ سال گذشته را منتشر کردند. ۱۰ مقاله و کتاب زیر همه در ۵۰ سال گذشته منتشر شده اند و به ترتیب زمانی فهرست شده اند.
نظریه اطلاعات و بسط اصل حداکثر احتمال از هیروتوگو آکایکه (۱۹۷۳)
این مقاله‌ای است که اصطلاح AIC (اکنون به عنوان معیار اطلاعات Akaike شناخته می‌شود) برای ارزیابی بر ارزش مدل براساس دقت پیش بینی تخمینی آن، معرفی شد. AIC فوراً به عنوان یک ابزار مفید شناخته شد و این مقاله یکی از چندین مقاله منتشر شده در اواسط دهه ۱۹۷۰ بود که استنباط آماری را در چارچوبی پیش بینی کننده قرار می‌داد. آکائیک یک آمارشناس کاربردی بود که در دهه ۱۹۶۰ سعی کرد میزان زبری باند فرودگاه را اندازه گیری کند، همانطور که مقالات اولیه بنوا مندل بروت در زمینه طبقه بندی و توزیع پارتو منجر به کار بعدی وی در ریاضیات فراکتال‌ها شد.
تجزیه و تحلیل داده‌های اکتشافی از جان توکی (۱۹۷۷)
این نظریه بسیار تأثیرگذار بوده و بسیار قابل فهم است به طوری که می‌توان آن را در یک جلسه برای مردم عادی بیان کرد. به طور سنتی، تجسم و اکتشاف داده‌ها جنبه‌های پایینی از آمار عملی محسوب می‌شدند. جذابیت در مدل‌های مناسب، اثبات قضایا و توسعه ویژگی‌های نظری روش‌های آماری تحت مفروضات یا محدودیت‌های مختلف ریاضی بود. او در مورد ابزار‌های آماری نه برای تأیید آنچه ما قبلاً می‌دانستیم و نه برای رد فرضیه‌هایی که هرگز آن‌ها را باور نکرده ایم بلکه برای کشف بینش‌های جدید و غیر منتظره از داده‌ها نوشت. کار او باعث پیشرفت در تجزیه و تحلیل شبکه، نرم افزار و دیدگاه‌های نظری شد که تأیید، انتقاد و کشف را با هم ادغام می‌کند.
مقدمات نادرست، صاف کردن خط و مشکل محافظت در برابر خطا‌های مدل در رگرسیون از گریس وهبا (۱۹۷۸)
صاف کردن خطی روشی برای برآوردن منحنی‌های غیر پارامتری است. یکی دیگر از مقالات وهبا در این دوره منحنی خودکار فرانسوی نام دارد که به دسته‌ای از الگوریتم‌ها اشاره می‌کند که می‌توانند منحنی‌های صاف دلخواه را از طریق داده‌ها بدون تطبیق بیش از حد با سر و صدا یا دور از هم برآورد کنند. ممکن است این ایده اکنون واضح به نظر برسد، اما گامی بزرگ در روندی بود که در نقطه شروع منحنی سازی چند جمله‌ای، نمایی و سایر اشکال ثابت بود.
روش‌های بوت استرپ: نگاهی دیگر به چاقو از بردلی افرون (۱۹۷۹)
روش Bootstrapping برای انجام استنباط آماری بدون پیش فرض است. به عنوان مثال، داده‌ها خود را با نوار‌های بوت بالا می‌برند. اما شما نمی‌توانید بدون پیش فرض آن‌ها استنباط کنید. آنچه بوت استرپ را بسیار مفید و تأثیرگذار کرده این است که مفروضات به طور ضمنی با روش محاسباتی به وجود آمده اند: ایده ساده نمونه‌گیری مجدد داده‌ها که هر بار روش آماری انجام شده بر روی داده‌های اصلی را تکرار می‌کند. مانند بسیاری از روش‌های آماری در ۵۰ سال گذشته، این روش به دلیل تسریع در قدرت محاسباتی که به شبیه سازی‌ها اجازه می‌دهد جایگزین تجزیه و تحلیل ریاضی شوند، بسیار مفید واقع شد.
رویکرد‌های مبتنی بر نمونه گیری برای محاسبه تراکم‌های حاشیه‌ای از آلن گلفاند و آدریان اسمیت (۱۹۹۰)
یکی دیگر از روش‌های محاسبات سریع که آمار و یادگیری ماشینی را متحول کرده، مدل‌های Bayesian که همان مدل‌های آماری سنتی استاتیک هستند که برای توزیع A بر داده‌های نوع B مناسب است. اما مدل‌های آماری مدرن دارای کیفیت Tinkertoy بیشتری هستند که به شما اجازه می‌دهد تا با فراخوانی کتابخانه‌های توزیع و تحول، بتوانید مشکلات را انعطاف پذیر حل کنید. ما فقط به ابزار‌های محاسباتی برای تناسب این مدل‌های جمع شده نیاز داریم. گلفاند و اسمیت در مقاله تأثیرگذار خود هیچ ابزار جدیدی ایجاد نکردند. آن‌ها نشان دادند که چگونه می‌توان از نمونه گیبس برای مطابقت با طبقه بزرگی از مدل‌های آماری استفاده کرد.
شناسایی و برآورد اثرات متوسط درمان محلی از ایمبنز و آنگریست (۱۹۹۴)
استنتاج علّی در هر مشکلی که در آن سوال فقط یک توصیف نیست (اوضاع چگونه بوده است؟) یا پیش بینی (بعداً چه اتفاقی می‌افتد) نیست، بلکه یک خلاف واقع است (اگر X را انجام دهیم، چه اتفاقی برای Y می‌افتد؟) به روش‌های علی با بقیه آمار و یادگیری ماشین از طریق اکتشاف، مدل سازی و محاسبه تکامل یافته است. اما استدلال علی دارای چالش دیگری است که در مورد داده‌هایی که اندازه گیری آن‌ها غیرممکن است پرسیده می‌شود (شما نمی‌توانید X و X را برای یک شخص انجام دهید). در نتیجه، یک ایده کلیدی در این زمینه این است که مشخص شود چه سوالاتی را می‌توان با اطمینان در یک آزمایش مشخص پاسخ داد. ایمبنز و آنگریست اقتصاد دانانی هستند که مقاله‌ای تأثیرگذار در مورد آنچه می‌توان در مواقع مختلف متفاوت دانست و ایده‌های آن‌ها مبنای بسیاری از کار‌های بعدی در این زمینه قرار گرفته است.
انقباض رگرسیون و انتخاب از طریق کمند از روبرت تیبشیرانی (۱۹۹۶)
در رگرسیون، یا پیش بینی یک متغیر نتیجه از مجموعه‌ای از ورودی‌ها یا ویژگی‌ها، چالش در گنجاندن تعداد زیادی ورودی به همراه فعل و انفعالات آن‌ها نهفته است. مشکل برآورد حاصله از نظر آماری ناپایدار می‌شود، زیرا روش‌های مختلف زیادی برای ترکیب این ورودی‌ها برای پیش بینی‌های منطقی وجود دارد. حداقل مربعات کلاسیک یا برآورد حداکثر احتمال دردسر دارند و ممکن است بر روی داده‌های آینده عملکرد خوبی نداشته باشند، بنابراین روش‌های مختلفی برای محدود کردن یا منظم کردن تناسب برای دستیابی به ثبات ایجاد شده است. در این مقاله، Tibshirani lasso معرفی شده، روشی محاسباتی کارآمد که در حال حاضر به الگویی برای منظم سازی مبتنی بر داده در مدل‌های پیچیده تبدیل شده است.
دستور زبان گرافیک از للند ویلکینسون (۱۹۹۹)
در این کتاب، ویلکینسون، آمار شناس که در چندین پروژه نرم افزاری تجاری تأثیرگذار از جمله SPSS و Tableau کار کرده، چارچوبی برای گرافیک‌های آماری ارائه می‌دهد که فراتر از تمرکز معمول بر روی نمودار‌های پای در مقابل هیستوگرام‌ها، نحوه ترسیم پراکندگی و جوهر داده و chartjunk، برای بررسی تجربی چگونگی ارتباط داده‌ها و تجسم‌ها است که این کار بر روی آمار از طریق بسیاری از مسیر‌ها تأثیر گذاشته است. این یک گام مهم در جهت ادغام داده‌های اکتشافی و تجزیه و تحلیل مدل در گردش کار علم داده است.
شبکه‌های مخالف تولیدی مجموعه مقالات کنفرانس بین المللی سیستم‌های پردازش اطلاعات عصبی (۲۰۱۴)
یکی از دستاورد‌های خیره کننده یادگیری ماشین در سال‌های اخیر تصمیم گیری در زمان واقعی از طریق پیش بینی و بازخورد‌های استنباطی است. نمونه‌های معروف عبارتند از اتومبیل‌های خودران و DeepMind’s AlphaGo است. شبکه‌های متخاصم نسبی یا GANها یک پیشرفت مفهومی هستند که اجازه می‌دهند مشکلات یادگیری تقویت شده به طور خودکار حل شوند. آن‌ها گامی به سوی هدف دیرینه هوش مصنوعی عمومی هستند و در عین حال از قدرت پردازش موازی نیز استفاده می‌کنند تا برنامه بتواند با انجام میلیون‌ها بازی علیه خود، خود را آموزش دهد. در سطح مفهومی، GANها پیش بینی را با مدل‌های مولد پیوند می‌دهند.
یادگیری عمیق از یوشوا بنگیو، یان لکون و جفری هینتون (۲۰۱۵)
یادگیری عمیق یک کلاس از مدل‌های شبکه عصبی مصنوعی است که میتواند برای پیش بینی‌های غیر خطی انعطاف پذیر با استفاده از تعداد زیادی ویژگی استفاده شود. اجزای سازنده آن رگرسیون لجستیک، ساختار چند سطحی و استنباط بیزی به سختی جدید هستند. آنچه این خط تحقیق را بسیار تأثیرگذار می‌کند، تشخیص این است که می‌توان این مدل‌ها را برای حل انواع مشکلات پیش بینی، از رفتار مصرف کننده گرفته تا تجزیه و تحلیل تصویر تنظیم کرد. همانند سایر تحولات در آمار و یادگیری ماشین، فرآیند تنظیم تنها با ظهور محاسبات موازی سریع و الگوریتم‌های آماری امکان پذیر شد تا از این قدرت برای مدل‌های بزرگ در زمان واقعی استفاده کند. از نظر مفهومی، ما هنوز در حال پیگیری قدرت این روش‌ها هستیم، به همین دلیل علاقه زیادی به یادگیری ماشینی قابل تفسیر وجود دارد.
