شبکه های عصبی معماری EfficientNet

شبکه های عصبی معماری EfficientNet: این دوره به بررسی دقیق و عمیق مباحث شبکه های عصبی کانالوشن به صورت پایه ای می پردازد .جهت دسترسی به سایر دوره ها می توانید از لینک های زیر استفاده نمایید.

1. شبکه‌های عصبی کانولوشنی (Convolutional Neural Networks)
2. معماری( LeNet-5 سال 1998)
3. معماری( Alex Net سال ۲۰۱۲)
4. شبکه‌های عصبی معماری VGG16 و VGG19
5. شبکه های عصبی معماری GoogLeNet و خانواده Inception
6. شبکه های عصبی معماری ResNet
7. شبکه های عصبی معماری DenseNet
8. شبکه های عصبی معماری Mobile Net
9. شبکه های عصبی معماری EfficientNet
10. شبکه های عصبی معماری UNet

و برای مشاهده لیست تمام دوره ها به بخش مقالات مراجه نمایید.

فهرست مطالب شبکه های عصبی معماری EfficientNet:

1. چکیده
2. مقدمه
3. بیان مسئله و زمینه تاریخی
4. معرفی کلی معماری EfficientNet
5. ایده مقیاس‌دهی مرکب (Compound Scaling)
6. ساختار بلوک‌های EfficientNet (MBConv)
7. مدل ریاضی و تحلیل محاسباتی
8. فرآیند آموزش و Backpropagation
9. مثال عددی از Depthwise Separable Convolution
10. پیاده‌سازی EfficientNet با Python
11. مزایا و محدودیت‌های EfficientNet
12. مقایسه EfficientNet با ResNet، VGG و MobileNet
13. کاربردهای عملی EfficientNet
14. چالش‌ها و ملاحظات عملی
15. نتیجه‌گیری پژوهش‌محور
16. منابع

چکیده:

شبکه های عصبی معماری EfficientNet که در سال ۲۰۱۹ توسط مینگ‌شینگ تان و کووک لی از پژوهشگران Google Brain معرفی شد، یکی از تأثیرگذارترین دستاوردها در طراحی شبکه‌های عصبی کانولوشنی بهینه محسوب می‌شود. هدف اصلی EfficientNet ارائه چارچوبی نظام‌مند برای افزایش دقت مدل‌های یادگیری عمیق بدون افزایش غیرضروری هزینه‌های محاسباتی و مصرف حافظه است.

برخلاف معماری‌های پیشین که معمولاً با افزایش عمق یا عرض شبکه سعی در بهبود عملکرد داشتند، شبکه های عصبی معماری EfficientNet با معرفی مفهوم مقیاس‌دهی مرکب (Compound Scaling) نشان داد که تعادل هم‌زمان میان عمق، عرض و وضوح ورودی می‌تواند منجر به دستیابی به بهترین نسبت دقت به پیچیدگی شود. این معماری در مجموعه‌داده ImageNet عملکردی بهتر از بسیاری از مدل‌های عمیق‌تر و سنگین‌تر ارائه داد، در حالی که تعداد پارامترها و FLOPs آن به‌مراتب کمتر بود. EfficientNet نه‌تنها در پژوهش‌های دانشگاهی بلکه در کاربردهای صنعتی و سیستم‌های با منابع محدود، جایگاه ویژه‌ای پیدا کرده و مسیر جدیدی در طراحی شبکه‌های عصبی کارآمد گشوده است.

مقدمه:

در سال‌های اخیر، شبکه‌های عصبی کانولوشنی (CNN) به هسته اصلی بسیاری از سامانه‌های بینایی ماشین تبدیل شده‌اند و در حوزه‌هایی مانند تشخیص تصویر، شناسایی اشیاء، تصویربرداری پزشکی و خودروهای خودران نقش کلیدی ایفا می‌کنند. با این حال، یکی از چالش‌های اساسی در توسعه این شبکه‌ها، افزایش روزافزون پیچیدگی محاسباتی آن‌هاست. معماری‌هایی مانند VGG و ResNet با وجود دقت بالا، به منابع پردازشی و حافظه بسیار زیادی نیاز دارند که استفاده از آن‌ها را در دستگاه‌های موبایل، سامانه‌های نهفته و محیط‌های بلادرنگ دشوار می‌سازد.

در این میان، نیاز به معماری‌هایی احساس شد که بتوانند تعادلی منطقی میان دقت و کارایی برقرار کنند. MobileNet گامی مهم در این مسیر بود، اما همچنان مسئله مقیاس‌دهی بهینه شبکه‌ها به‌صورت اصولی حل نشده باقی مانده بود. EfficientNet در پاسخ به این نیاز معرفی شد و نشان داد که مشکل اصلی صرفاً «بزرگ‌تر کردن شبکه» نیست، بلکه چگونگی بزرگ‌کردن آن اهمیت اساسی دارد. این معماری با یک دیدگاه مهندسی‌شده و مبتنی بر بهینه‌سازی، به‌عنوان نقطه عطفی در تاریخ CNNها شناخته می‌شود و الگویی جدید برای طراحی شبکه‌های عصبی آینده ارائه می‌دهد.

بیان مسئله و زمینه تاریخی:

پیش از معرفی EfficientNet، رویکرد غالب برای بهبود عملکرد شبکه‌های عصبی کانولوشنی مبتنی بر افزایش یکی از ابعاد معماری بود. برای مثال، در ResNet تمرکز اصلی بر افزایش عمق شبکه و حل مشکل ناپدید شدن گرادیان از طریق اتصالات میان‌بُری قرار داشت. در مقابل، معماری‌هایی مانند Wide ResNet عرض شبکه را افزایش دادند و برخی دیگر وضوح تصویر ورودی را بالا بردند تا اطلاعات جزئی‌تری در اختیار شبکه قرار گیرد. اگرچه هر یک از این رویکردها به بهبود دقت منجر شدند، اما اغلب باعث عدم تعادل در ساختار شبکه و افزایش شدید هزینه محاسباتی می‌شدند.

این مسئله به‌ویژه در کاربردهای عملی اهمیت بیشتری پیدا می‌کند؛ جایی که منابع سخت‌افزاری محدود هستند و مدل باید علاوه بر دقت، از نظر سرعت و مصرف انرژی نیز بهینه باشد. نبود یک چارچوب نظری مشخص برای مقیاس‌دهی شبکه‌ها باعث شده بود که طراحی معماری‌های جدید بیشتر بر اساس آزمون‌وخطا انجام شود. EfficientNet دقیقاً در چنین بستری معرفی شد و با ارائه یک قانون مقیاس‌دهی یکپارچه و ریاضی‌محور، این خلأ علمی و مهندسی را پر کرد. زمینه تاریخی EfficientNet را می‌توان نقطه تلاقی پیشرفت سخت‌افزار، افزایش حجم داده‌ها و نیاز روزافزون به مدل‌های سبک و قابل استقرار در دنیای واقعی دانست.

معرفی کلی معماری EfficientNet:

EfficientNet یک خانواده از شبکه‌های عصبی کانولوشنی است که از مدل پایه EfficientNet-B0 آغاز شده و تا نسخه‌های بزرگ‌تر مانند B7 گسترش می‌یابد. مدل B0 با استفاده از جستجوی خودکار معماری (Neural Architecture Search) طراحی شده و به‌عنوان نقطه شروع برای مقیاس‌دهی به‌کار می‌رود. ویژگی متمایز EfficientNet استفاده از بلوک‌های MBConv است که پیش‌تر در MobileNetV2 معرفی شده بودند و ترکیبی از Depthwise Separable Convolution، لایه‌های Pointwise و مکانیزم Squeeze-and-Excitation را شامل می‌شوند.

نوآوری اصلی EfficientNet در نحوه گسترش این مدل پایه نهفته است. به‌جای افزایش دلخواه عمق یا عرض، EfficientNet از یک قانون مقیاس‌دهی مرکب استفاده می‌کند که هر سه مؤلفه عمق شبکه، عرض لایه‌ها و وضوح تصویر ورودی را به‌صورت هماهنگ افزایش می‌دهد. این هماهنگی باعث می‌شود که شبکه در تمام سطوح از ظرفیت مناسبی برخوردار باشد و هیچ بخش خاصی به گلوگاه عملکردی تبدیل نشود. در نتیجه، EfficientNet موفق می‌شود با تعداد پارامتر کمتر، عملکردی قابل رقابت یا حتی بهتر از معماری‌های بسیار عمیق‌تر ارائه دهد و به‌عنوان یکی از کارآمدترین CNNهای مدرن شناخته شود.

ایده مقیاس‌دهی مرکب (Compound Scaling):

ایده اصلی EfficientNet مقیاس‌دهی همزمان سه بعد اصلی شبکه است:

عمق شبکه (Depth)

عرض شبکه (Width)

وضوح تصویر ورودی (Resolution)

این مقیاس‌دهی با استفاده از ضرایب ثابت و به‌صورت هماهنگ انجام می‌شود تا تعادل معماری حفظ گردد.

ساختار بلوک‌های EfficientNet (MBConv):

بلوک MBConv (Mobile Inverted Bottleneck Convolution) هسته‌ی اصلی معماری EfficientNet را تشکیل می‌دهد و نقشی تعیین‌کننده در دستیابی به تعادل میان دقت و کارایی محاسباتی دارد. این بلوک نخستین‌بار در MobileNetV2 معرفی شد و سپس در EfficientNet با بهبودهایی مانند استفاده از تابع فعال‌ساز Swish و مکانیزم Squeeze-and-Excitation به‌کار گرفته شد.

ساختار MBConv برخلاف کانولوشن‌های سنتی، مبتنی بر مفهوم گلوگاه معکوس (Inverted Bottleneck) است. در این ساختار، ابتدا تعداد کانال‌ها افزایش می‌یابد، سپس عملیات کانولوشن سبک انجام می‌شود و در نهایت ابعاد کانال‌ها کاهش می‌یابد. این روند شامل مراحل زیر است:

Expansion Layer (گسترش کانال‌ها)

در این مرحله، یک کانولوشن 1 ×1 تعداد کانال‌های ورودی را با ضریب t افزایش می‌دهد. هدف این گسترش، فراهم‌کردن فضای ویژگی غنی‌تر پیش از انجام کانولوشن مکانی است.

Depthwise Convolution

در این مرحله، برای هر کانال یک فیلتر مکانی مستقل اعمال می‌شود. این کار باعث کاهش شدید تعداد پارامترها نسبت به کانولوشن استاندارد می‌شود، زیرا کانال‌ها با یکدیگر ترکیب نمی‌شوند.

Squeeze-and-Excitation (SE)

در این بخش، اطلاعات آماری هر کانال استخراج شده و وزن‌دهی تطبیقی به کانال‌ها انجام می‌شود. این مکانیزم باعث می‌شود شبکه بر ویژگی‌های مهم‌تر تمرکز بیشتری داشته باشد.

Projection Layer (کاهش کانال‌ها)

در انتها، یک کانولوشن 1 ×1 تعداد کانال‌ها را به مقدار اولیه یا مقدار هدف کاهش می‌دهد. در صورت تطابق ابعاد ورودی و خروجی، یک اتصال میان‌بُری (Skip Connection) نیز اضافه می‌شود.

این ساختار باعث می‌شود MBConv بتواند ویژگی‌های پیچیده را با هزینه محاسباتی کم استخراج کند، که این امر نقش کلیدی در موفقیت EfficientNet دارد.

مدل ریاضی و تحلیل محاسباتی:

برای درک مزیت EfficientNet از منظر ریاضی، لازم است هزینه محاسباتی کانولوشن استاندارد و کانولوشن عمقی–جداشدنی مقایسه شود. فرض کنید ورودی دارای M  کانال، خروجی دارای N  کانال و اندازه فیلتر برابر با K ×K باشد.

در کانولوشن استاندارد، تعداد عملیات ضرب–جمع تقریباً برابر است با:

O((K^2 ⋅M⋅N)

در حالی که در Depthwise Separable Convolution این هزینه به دو بخش تقسیم می‌شود:

O((K^2 ⋅M)+O(M⋅N)

این کاهش چشمگیر در هزینه محاسباتی، به EfficientNet اجازه می‌دهد که شبکه‌ای عمیق‌تر و عریض‌تر طراحی کند بدون آن‌که مصرف منابع به‌صورت انفجاری افزایش یابد.

از سوی دیگر، مکانیزم Squeeze-and-Excitation را می‌توان به‌صورت یک تابع وزن‌دهی غیرخطی بر روی کانال‌ها مدل‌سازی کرد که خروجی آن به‌صورت ضرب اسکالر در هر کانال اعمال می‌شود. این امر باعث افزایش قدرت تمایز ویژگی‌ها بدون افزودن پیچیدگی محاسباتی زیاد می‌شود.

تحلیل محاسباتی نشان می‌دهد که ترکیب MBConv با مقیاس‌دهی مرکب، منجر به بهینه‌سازی هم‌زمان دقت، سرعت و مصرف حافظه شده و EfficientNet را از نظر کارایی در جایگاهی بالاتر از بسیاری از معماری‌های پیشین قرار می‌دهد.

فرآیند آموزش و Backpropagation:

آموزش EfficientNet همانند سایر شبکه‌های عصبی کانولوشنی مبتنی بر الگوریتم Backpropagation انجام می‌شود، اما برخی ویژگی‌های معماری باعث بهبود پایداری و همگرایی فرآیند آموزش می‌گردد. استفاده از تابع فعال‌ساز Swish  به‌جای ReLU یکی از این ویژگی‌هاست. تابع Swish که به‌صورت f(x)=x⋅σ(x)  تعریف می‌شود، امکان عبور گرادیان‌های کوچک را فراهم می‌کند و مانع قطع کامل گرادیان در نواحی منفی می‌شود.

در فرآیند Backpropagation، خطای خروجی شبکه به‌صورت لایه‌به‌لایه به عقب منتقل شده و گرادیان وزن‌ها محاسبه می‌شود. وجود لایه‌های Batch Normalization در EfficientNet باعث می‌شود توزیع داده‌ها در طول آموزش پایدارتر شود و سرعت همگرایی افزایش یابد. همچنین، اتصالات میان‌بُری در برخی بلوک‌های MBConv نقش مهمی در جلوگیری از ناپدیدشدن گرادیان ایفا می‌کنند.

از نظر عملی، آموزش EfficientNet معمولاً با استفاده از بهینه‌سازهایی مانند Adam یا RMSProp انجام می‌شود و تنظیم دقیق نرخ یادگیری و زمان‌بندی کاهش آن اهمیت زیادی دارد. این ترکیب از طراحی معماری مناسب و الگوریتم‌های بهینه‌سازی پیشرفته باعث شده EfficientNet نه‌تنها از نظر تئوری بلکه در عمل نیز شبکه‌ای پایدار و قابل اعتماد باشد.

مثال عددی از Depthwise Separable Convolution:

فرض کنید یک ورودی 4×4×2 و فیلترهای 3×3 داریم. در مرحله Depthwise، هر کانال به‌صورت مستقل کانولوشن می‌شود و سپس در مرحله Pointwise، اطلاعات کانال‌ها ترکیب می‌گردد. این فرآیند اساس محاسبات EfficientNet را تشکیل می‌دهد.

پیاده‌سازی EfficientNet با Python:

در چارچوب PyTorch، پیاده‌سازی و استفاده از معماری EfficientNet به‌سادگی و با استفاده از ماژول torchvision.models امکان‌پذیر است. کتابخانه torchvision نسخه‌های مختلف EfficientNet را به‌صورت از پیش آموزش‌دیده (Pretrained) بر روی مجموعه‌داده ImageNet در اختیار پژوهشگران قرار می‌دهد که این موضوع نقش مهمی در تسهیل فرآیند یادگیری انتقالی (Transfer Learning) دارد.

برای بارگذاری ساده‌ترین نسخه این معماری، یعنی EfficientNet-B0، می‌توان از کد زیر استفاده کرد:

import torchvision.models as models

model = models.efficientnet_b0(pretrained=True)

این کد یک مدل EfficientNet-B0 از پیش آموزش‌دیده را بارگذاری می‌کند که وزن‌های آن بر اساس مجموعه‌داده ImageNet آموزش دیده‌اند. استفاده از چنین مدلی باعث می‌شود شبکه از ابتدا ویژگی‌های عمومی مانند لبه‌ها، بافت‌ها و الگوهای ساختاری را در اختیار داشته باشد و تنها نیاز به تنظیم مجدد لایه‌های پایانی برای مسئله‌ی هدف وجود داشته باشد.

در کاربردهای عملی، معمولاً لایه طبقه‌بندی نهایی EfficientNet با توجه به تعداد کلاس‌های مسئله جدید جایگزین می‌شود و تنها بخشی از شبکه مجدداً آموزش داده می‌شود. این رویکرد علاوه بر کاهش زمان آموزش، نیاز به داده‌های آموزشی بسیار بزرگ را نیز به‌طور قابل‌توجهی کاهش می‌دهد و EfficientNet را به گزینه‌ای مناسب برای کاربردهای واقعی و صنعتی تبدیل می‌کند.

مزایا و محدودیت‌های EfficientNet:

EfficientNet به‌عنوان یکی از موفق‌ترین معماری‌های کانولوشنی مدرن، مجموعه‌ای از مزایا و در عین حال محدودیت‌های مشخص دارد که بررسی هم‌زمان آن‌ها برای ارزیابی واقع‌بینانه این معماری ضروری است. مهم‌ترین مزیت EfficientNet نسبت بسیار مطلوب دقت به هزینه محاسباتی است. این معماری نشان می‌دهد که می‌توان با تعداد پارامتر کمتر و مصرف حافظه پایین‌تر، به دقتی هم‌سطح یا حتی بالاتر از مدل‌های عمیق‌تر مانند ResNet-152 یا VGG-19 دست یافت. این ویژگی EfficientNet را به گزینه‌ای ایده‌آل برای کاربردهایی تبدیل می‌کند که منابع سخت‌افزاری محدود دارند.

مزیت مهم دیگر EfficientNet، قابلیت مقیاس‌پذیری اصولی آن است. وجود یک قانون مشخص برای افزایش اندازه مدل باعث می‌شود که طراحی نسخه‌های بزرگ‌تر شبکه به‌صورت نظام‌مند انجام شود و از آزمون‌وخطای گسترده جلوگیری گردد. همچنین استفاده از بلوک‌های MBConv و مکانیزم Squeeze-and-Excitation موجب افزایش توان نمایش شبکه بدون افزایش چشمگیر پارامترها می‌شود.

با این حال، EfficientNet بدون محدودیت نیست. یکی از چالش‌های اصلی این معماری، پیچیدگی طراحی و پیاده‌سازی آن است. تنظیم صحیح هایپرپارامترها، انتخاب نسخه مناسب (B0 تا B7) و مدیریت حافظه در نسخه‌های بزرگ‌تر نیازمند دانش فنی و منابع محاسباتی قابل‌توجه است. همچنین، در برخی کاربردهای بلادرنگ بسیار حساس به تأخیر، حتی EfficientNet نیز ممکن است بهینه‌ترین گزینه نباشد. بنابراین، انتخاب این معماری باید با درنظرگرفتن نیازهای کاربردی انجام شود.

مقایسه EfficientNet با ResNet، VGG و MobileNet:

مقایسه EfficientNet با معماری‌های مطرح پیشین، جایگاه واقعی آن را در تاریخ CNNها روشن‌تر می‌سازد. در مقایسه با VGG، EfficientNet از نظر تعداد پارامتر و هزینه محاسباتی به‌مراتب بهینه‌تر است. در حالی که VGG-16 دارای بیش از ۱۳۸ میلیون پارامتر است، نسخه‌های میانی EfficientNet با کسری از این مقدار به دقت بالاتری دست می‌یابند. این تفاوت ناشی از استفاده EfficientNet از فیلترهای بهینه و مقیاس‌دهی هوشمندانه است.

در مقایسه با ResNet، EfficientNet اگرچه فاقد اتصالات میان‌بُری صریح است، اما با طراحی متعادل و استفاده از بلوک‌های MBConv توانسته مشکل افت عملکرد در شبکه‌های عمیق را به‌شکل دیگری مدیریت کند. ResNet بیشتر بر افزایش عمق تمرکز دارد، در حالی که EfficientNet به تعادل میان عمق، عرض و وضوح توجه می‌کند. این تفاوت رویکرد باعث شده EfficientNet در بسیاری از سناریوها عملکرد بهتری با منابع کمتر ارائه دهد.

در مقایسه با MobileNet، EfficientNet را می‌توان نسخه‌ای پیشرفته‌تر و دقیق‌تر دانست. اگرچه MobileNet برای دستگاه‌های بسیار محدود طراحی شده است، اما EfficientNet با حفظ کارایی محاسباتی، دقت بالاتری فراهم می‌کند. به‌بیان دیگر، EfficientNet پلی میان معماری‌های فوق‌سبک و مدل‌های بسیار عمیق محسوب می‌شود.

کاربردهای عملی EfficientNet:

EfficientNet به‌دلیل تعادل کم‌نظیر میان دقت و کارایی، در طیف گسترده‌ای از کاربردهای واقعی مورد استفاده قرار گرفته است. در حوزه بینایی ماشین صنعتی، این معماری برای بازرسی خودکار قطعات، تشخیص عیوب سطحی و کنترل کیفیت در خطوط تولید به‌کار می‌رود؛ جایی که سرعت پردازش و دقت هر دو اهمیت بالایی دارند.

در تصویربرداری پزشکی، EfficientNet در تشخیص بیماری‌ها از تصاویر MRI، CT و تصاویر پاتولوژی دیجیتال عملکرد بسیار موفقی نشان داده است. مصرف حافظه کمتر این معماری امکان استقرار آن را در سامانه‌های بیمارستانی با منابع محدود فراهم می‌سازد. همچنین در حوزه خودروهای خودران، EfficientNet برای تشخیص اشیاء، علائم راهنمایی و عابران پیاده مورد استفاده قرار گرفته و به‌دلیل کارایی بالا، برای پردازش بلادرنگ مناسب است.

در دستگاه‌های موبایل و اینترنت اشیاء نیز EfficientNet به‌عنوان گزینه‌ای مناسب برای تحلیل تصویر و ویدئو شناخته می‌شود و در بسیاری از برنامه‌های مبتنی بر هوش مصنوعی روی گوشی‌های هوشمند به‌کار گرفته شده است.

چالش‌ها و ملاحظات عملی:

با وجود مزایای فراوان، استفاده عملی از EfficientNet نیازمند توجه به برخی ملاحظات است. یکی از چالش‌ها، انتخاب نسخه مناسب معماری متناسب با منابع سخت‌افزاری و نیاز کاربردی است. نسخه‌های بزرگ‌تر مانند B6 و B7 اگرچه دقت بالاتری دارند، اما هزینه محاسباتی آن‌ها ممکن است برای برخی کاربردها غیرقابل‌قبول باشد.

چالش دیگر، زمان آموزش نسبتاً طولانی این معماری‌هاست. اگرچه EfficientNet از نظر استنتاج بهینه است، اما آموزش آن به‌ویژه روی داده‌های بزرگ نیازمند GPU یا TPU قدرتمند است. علاوه بر این، پیاده‌سازی صحیح بلوک‌های MBConv و تنظیم دقیق نرخ یادگیری و سایر هایپرپارامترها برای دستیابی به عملکرد مطلوب ضروری است.

در نهایت، EfficientNet مانند سایر CNNها به کیفیت داده‌های آموزشی بسیار حساس است و در صورت وجود داده‌های نویزی یا نامتوازن، عملکرد آن ممکن است کاهش یابد.

نتیجه‌گیری پژوهش‌محور:

EfficientNet را می‌توان یکی از مهم‌ترین گام‌ها در مسیر طراحی شبکه‌های عصبی کارآمد دانست. این معماری با معرفی مفهوم مقیاس‌دهی مرکب نشان داد که بهبود عملکرد شبکه‌های عمیق الزاماً نیازمند افزایش بی‌رویه پارامترها نیست، بلکه طراحی متعادل و اصولی می‌تواند نتایج بهتری به‌همراه داشته باشد. تأثیر EfficientNet نه‌تنها در بهبود دقت مدل‌ها بلکه در تغییر نگرش پژوهشگران نسبت به طراحی معماری‌های یادگیری عمیق قابل مشاهده است.

از منظر پژوهشی، EfficientNet زمینه را برای توسعه معماری‌های آینده‌محور فراهم کرده است که تمرکز آن‌ها بر کارایی، پایداری و قابلیت استقرار در دنیای واقعی است. انتظار می‌رود که ایده‌های مطرح‌شده در این معماری، الهام‌بخش نسل‌های بعدی شبکه‌های عصبی باشند و نقش مهمی در گسترش کاربردهای هوش مصنوعی در مقیاس وسیع ایفا کنند.

منابع:

Tan, M., & Le, Q. (2019). EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks. ICML.

Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning. MIT Press.

Howard, A. et al. (2017). MobileNets. Google Research.