انتقال سبک سریع

در پست انتقال سبک با یادگیری عمیق کاربردی از شبکه‌های عصبی کانولوشنی در تقلید سبک نقاشی نشان داده شد. در مقاله زیر روشی سریع برای این عمل پیشنهاد شده است:

Learning Linear Transformations for Fast Arbitrary Style Transfer
by: Xueting Li, Sifei Liu, Jan Kautz, Ming-Hsuan Yang

کدهای مرتبط با این مقاله که با پای‌تورچ نوشته شده است را می‌توانید از اینجــــــــــا دانلود کنید.
روش فوق بر روی تصویر سه روباه اعمال شده که نتایج را می‌توانید در گیت‌هاب من ملاحظه کنید.

خروجی اجرای این روش روی تصویر دانشجویان علوم کامپیوتر دانشگاه حکیم سبزواری و سبک نشان داده شده را در تصویر زیر ملاحظه می‌فرمایید:

سبک‌های دیگری هم بر روی تصویر فوق اعمال شده‌اند، که هر سبک (استایل) و خروجی مربوطه در تصاویر زیر دیده می‌شوند:

هنر دودل با شبکه‌های عصبی

در پست انتقال سبک با یادگیری عمیق به کاربردی از شبکه‌های عصبی کانولوشنی در یادگیری سبک نقاشی اشاره شد. مثال‌های پست قبل به این ترتیب بودند که سبک (استایل) یک تصویر(style) بر تصویری دیگری (content) نقش می‌شد. در کاربرد دیگری که در این پست اشاره خواهد شد، همین کار انجام می‌شود، اما با معرفی دو ماسک برای تصاویر ورودی و خروجی، شبکه عصبی، سبک (استایل) هر ناحیه از style بر ناحیه‌ی متناظر آن از تصویر content نقش می‌شود. شکل زیر نحوه کار را نشان می‌دهد:

تصویر بالا سمت چپ یک منظره را نمایش می‌دهد که متناظر با آن یک ماسک چهار رنگ (نواحی آسمان، درختان، سبزه‌زار و رودخانه) در نقاش ویندوز کشیده شده است (تصویر کوچک پایین آن). همین کار برای اثر هنری سمت راست انجام شده است.
شکل پایین در تصویر بالا، خروجی «دودل عصبی» را نشان می‌دهد.
از آنجا که با کمک این شیوه می‌توان تصاویر ساده نقاشی مانند (ماسک‌های مورد اشاره) را به تصاویر هنری تبدیل کرد، به آن دودل (Doodle) گفته می‌شود. در ادامه خواهیم دید که چرا به آن دودل گفته می‌شود.

دودل در هنر

مطابق تعریف سایت کارتون‌نگار:

طراحی به سبک doodle یا احمقانه سبکی از طراحی است که در آن می توان افکار و احساست خود را به شکل انتزاعی نمایش داد.طراح در این سبک با استفاده از نقاشی ها ساده میتواند معنای نمایشی پیوسته ای را بیان کند.

با شیوه «دودل عصبی» می‌توان یک طرح ساده را به یک اثر هنری تبدیل کرد. دیدن این ویدئو از تخته سفید دلیل نام‌گذاری را بهتر قابل درک می‌سازد. گیت‌هاب های زیر شامل کدهای آماده برای انجام کار هستند.

https://github.com/alexjc/neural-doodle
https://github.com/DmitryUlyanov/fast-neural-doodle
https://github.com/titu1994/Neural-Style-Transfer

ده تکرار الگوریتم مربوط به آخرین برنامه لینک بالا و برای تصاویر ابتدای پست، در گیف زیر نشان داده شده است:

در دستگاه با مشخصات زیر هر تکرار حدود ۱۲ ثانیه روی GPU طول کشیده است:

CPU: Intel® Core™ i7-7700HQ  , 4 Cores
GPU: NVIDIA® GeForce® GTX 1050 Ti – 4 GB GDDR5

• برای اجرا کتابخانه‌های زیر در پایتون باید نصب باشند:
• Tensorflow-gpu
• Keras
• Scipy + PILLOW
• Numpy
• h5py

یکی از امکانات برنامه پایتون یادگیری عمیق مورد استفاده در اجرای نمونه‌ها، اجازه انتخاب طرح رنگ است. در تصویر بالا، طرح رنگ از تصویر style‌ گرفته شده بود، اگر طرح رنگ از تصویر content‌ گرفته شود، خروجی زیر را خواهیم داشت:

انتقال سبک با یادگیری عمیق

یادگیری عمیق (DeepLearning) کاربردهای متنوعی پیدا کرده است. یکی از کاربردهای جالب آن استفاده از سبک (استایل) یک تصویر در تصویر دیگر است که از آن با نام Neural Style Transfer یاد می‌شود. مقالات Leon Gatys و منجمله مقاله زیر را می‌توان نقطه شروع تحقیقات این حوزه دانست:

Gatys, Leon A., Alexander S. Ecker and Matthias Bethge. “Image Style Transfer Using Convolutional Neural Networks.” 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (2016): 2414-2423.

ویدیوی مرتبط با مقاله بالا را می‌توانید در تخته سفید ملاحظه فرمایید.

شکل زیر (برگرفته از گیت‌هاب دیمیتری اولیانوف )موضوع را بهتر نمایش می‌دهد:

سبک نقاشی تصویر وسط (با نام starry_night) بر روی تصویر سگ اعمال شده و شکل سمت راست تولید شده است.

نمونه‌های دیگری را هم می‌توانید در ادامه مشاهده فرمایید (سایت دوم)

دو سایت زیر نحوه انجام انتقال سبک تصویر با یادگیری عمیق را توضیح داده‌اند:

Neural artistic style transfer a comprehensive look

Making AI Art with style transfer using Keras

پیاده‌سازی‌ها

Neural Style Transfer & Neural Doodles
Implementation of Neural Style Transfer from the paper A Neural Algorithm of Artistic Style in Keras 2.0+

Fast Neural Style Transfer with Arbitrary Style using AdaIN Layer – Based on Huang et al. “Arbitrary Style Transfer in Real-time with Adaptive Instance Normalization”

زمان هر تکرار پردازش تصویر بالای صفحه، روی CPU حدود ۶۰۰ ثانیه و زمان هر تکرار روی GPU، حدود ۲۰ ثانیه بوده است.
مشخصات دستگاه:
CPU: Intel® Core™ i7-7700HQ  , 4 Cores
GPU: NVIDIA® GeForce® GTX 1050 Ti – 4 GB GDDR5