02-03-2021، 22:13
وقتی سخن از دوربین گوشیهای هوشمند به میان میآید، سالهاست که همه چیز به سختافزار ختم نشده و عوامل نرمافزاری نقشی کلیدی در این عرصه ایفا میکنند. طی سالهای اخیر بسیاری از پیشرفتهای دوربین گوشیهای همراه ریشه در فناوری عکسبرداری پردازشی داشته است. استفاده از این فناوری آنقدر گسترش یافته که میتوان تمام ادعا کرد تمامی تصاویر گرفته شده توسط گوشیهای هوشمند امروزی به صورت پیشفرض با بهرهگیری از روشهای عکسبرداری پردازشی دستکاری شده و بهبود پیدا میکنند. به لطف همین فناوری فاصله کیفی میان دوربینهای کوچک به کار رفته در دستگاههای همراه با دوربینهای دیجیتالی بزرگتر، نسبت به گذشته بسیار کمتر شده است.
تفاوت عکسبرداری پردازشی با عکسبرداری سنتی
در یک دوربین که به روش سنتی عکسبرداری میکند، با فشرده شدن (یا رها شدن) دکمه شاتر در کسری از ثانیه نور با عبور از لنز دوربین به فیلم یا حسگر تابیده و تصویر روی آن ثبت میشود. در این روش عواملی مانند نوع لنز، موقعیت آن نسبت به فیلم یا حسگر و میزان نور عبور داده شده، تعیین کننده این خواهند بود که تصویر گرفته شده چگونه به نظر برسد. برای زوم و درشتنمایی از لنزهایی با فاصله کانونی زیاد به نام لنز تِلهفوتو (telephoto) استفاده شده و برای تصویربرداری از مناظر گسترده، لنزهایی با فاصله کانونی بسیار کوتاهتر به کار گرفته میشوند. همچنین با کنترل دهانه دیافراگم، میتوان فوکوس را به صورت نوری تنظیم کرد. با رسیدن نور به فیلم یا حسگر دوربین، اجزای حساس به نور در آنها تحت تاثیر قرار گرفته و تصویر را ثبت مینمایند. بنابراین در روش سنتی، کیفیت و نحوه عکسبرداری تنها از طریق خصوصیات فیزیکی اجزای دوربین قابل کنترل بوده و پس از ثبت تصویر، امکان تغییر آن وجود نخواهد داشت.
اما در گوشیهای هوشمند و دوربینهای دیجیتال، تصویری که روی حسگر نقش میبندد، به حالت دیجیتال (صفر و یک) درآمده و روی حافظههای کامپیوتری نگهداری میشود. بدین ترتیب اکثر اطلاعات تصویر چه در زمان عکسبرداری و چه پس از آن، قابل دستکاری و تغییر خواهد بود. در عکسبرداری پردازشی فرآیند تصویربرداری تنها به عملیات نوری و فیزیکی خلاصه نشده و گامهای بیشتری دارد. در این روش علاوه بر تصویر پایه، اطلاعاتی جانبی همچون خصوصیات رنگها، شدت نور و فاصله اجزای صحنه نیز به کمک حسگرها دریافت میشود. همچنین ممکن است برای گرفتن یک عکس واحد، چندین تصویر با استفاده از لنزهای مختلف و سطوح نوری متفاوت ثبت شود. سپس این اطلاعات با بهرهگیری از نرمافزارها و واحدهای پردازنده ویژه در یک دستگاه هوشمند مورد پردازش قرار میگیرند تا امکان خلق تصویر نهایی با کیفیت و جزئیاتی بیشتر را فراهم آورند. امروزه داغترین و مهمترین کاربرد عکسبرداری پردازشی در گوشیهای هوشمند است. در واقع تصاویر زیبایی که شما در گالری گوشی خود میبینید، نتیجه بهکارگیری همین فناوری بوده و بدون کمک آن، کیفیت تصاویر ثبت شده با دوربینهای کوچک گوشی شما هرگز نمیتوانست به این خوبی باشد. پیشرفت سریع و چشمگیر دوربین گوشیهای هوشمند در سالهای اخیر را میتوان تا حد زیادی مدیون عکسبرداری پردازشی و بهبودهای نرمافزاری مربوط به آن دانست. اغلب تولیدکنندگان گوشیهای هوشمند از جمله اپل، سامسونگ و گوگل، با تمرکزی ویژه و به طور پیوسته در حال بهبود قابلیتهای عکسبرداری محصولات خود بوده و در عین حال به ندرت دست به تغییرات اساسی در خصوصیات فیزیکی دوربینهای به کار رفته در آنها میزنند.
چرا به عکسبرداری پردازشی نیاز داریم؟
فرآیند عکسبرداری دیجیتال را میتوان به دو بخش اصلی تقسیم کرد، که عبارتند از: عملیات فیزیکی و پردازش تصویر. عملیات فیزیکی که در بخش قبل به آن اشاره شد، متاثر از خصوصیات فیزیکی دوربین مانند اندازه حسگر، سرعت لنز و فاصله کانونی آن است. دوربینهای سنتی (مانند دوربینهای DSLR) با بهرهگیری از حسگرهای بسیار بزرگ، لنزهای سریع و قابلیت تعویض لنز، در بخش فیزیکی و ثبت نوری تصویر درخششی ویژه دارند. درحالیکه دوربینهای به کار رفته در گوشیهای هوشمند از نظر فیزیکی محدود بوده و برای ارتقای کیفیت تصاویر ناچار به تمرکز بیشتر روی بخش دوم فرآیند عکسبرداری دیجیتال، یعنی پردازش تصویر هستند. جایی که پای نرمافزار به میان آمده و سعی میشود تا با استفاده از روشهای پردازشی، کیفیت تصاویر بهبود داده شود.
مهمترین محدودیت عکسبرداری در گوشیهای هوشمند، کمبود فضای فیزیکی برای دوربین آنهاست. سالهاست که تولیدکنندگان گوشیهای هوشمند برای افزایش زیبایی و قرارگیری بهتر این دستگاهها در جیب، اندازه فیزیکی آنها را بهخصوص در بحث ضخامت کوچک و کوچکتر کردهاند. در نتیجه فضای موجود در داخل گوشیها برای جای دادن دوربین کمتر شده، تا جایی که حتی در سالهای اخیر شاید بیرون زدن ماژول دوربین از بدنه بودهایم. با این محدودیت فیزیکی شدید، در عمل امکان افزایش اندازه حسگر و لنز چندان فراهم نبوده و همین مساله موجب پیشرفت پرشتاب عکسبرداری پردازشی شده است. در این سالها تولیدکنندگان تراشههای گوشیهای هوشمند توجه ویژهای به پردازش تصویر داشته و هوش مصنوعی نیز به یاری عکسبرداری پردازشی آمده است. دیگر محدودیت همیشگی دوربین گوشیهای هوشمند نسبت به دوربینهای سنتی و حرفهای، ناممکن بودن تعویض لنز در آنهاست. مشکلی که در سالهای اخیر از طریق تجهیز این دستگاهها به چندین دوربین با لنزهای مختلف تا حد زیادی حل شده است. در واقع تولیدکنندگان گوشیهای هوشمند سعی دارند تا محدودیت فیزیکی گوشیهای هوشمند را از یک سو با افزایش تعداد دوربینها و از سوی دیگر با ارتقای عکسبرداری پردازشی جبران نمایند. افزایش چشمگیر توان پردازشی تراشههای همراه، پیشرفت هوش مصنوعی و بهبود قابلیتهای نرمافزاری گوشیهای هوشمند در سالهای اخیر، این دستگاهها را قادر ساخته است تا تصاویر دوربینهای مختلف را به طور همزمان دریافت کرده و با پردازش انبوهی از اطلاعات، تصویر نهایی را با کیفیتی خیره کننده تولید نمایند.
البته چالش دیگری نیز در عکسبرداری با گوشیهای هوشند وجود دارد که بیشتر به کاربر مربوط میشود. بر خلاف کاربران دوربینهای سنتی و حرفهای، کاربران گوشیهای هوشمند اغلب دانش چندانی در زمینه عکسبرداری نداشته و در هنگام استفاده آنها از دوربین تلفن همراه، نمیتوان روی مهارتشان در انتخاب زاویه مناسب، تنظیم ISO، فوکوس صحیح و ثابت نگاه داشتن دوربین حساب باز کرد. در اینجا نیز عکسبرداری پردازشی با روشها و قابلیتهای مختلفی مانند فوکوس خودکار، شناسایی و ردیابی عناصر تصویر، تشخیص میزان نور محیط و تثبیت دیجیتالی تصویر به کمک کاربر آمده و سعی در جبران این قبیل مشکلات دارد.
فناوریهای مهم عکسبرداری پردازشی در گوشیهای هوشمند
امروزه از فناوریهای مختلفی در عکسبرداری پردازشی برای بهبود تصاویر دوربین در گوشیهای هوشمند استفاده میشود. برخی از این فناوریها عبارتند از pixel binning ،focus stacking ،image stacking و neural network که در این قسمت به معرفی اختصاری هر یک از آنها خواهیم پرداخت.
پشتهسازی (Stacking)
یکی از مهمترین فناوریهای به کار رفته در عکسبرداری پردازشی، روش پشتهسازی یا stacking است. در این روش، ابتدا چندین عکس در زمانهای مختلف، با لنزهای گوناگون یا با میزان نوردهی متفاوت توسط دوربین گرفته میشود. سپس با استفاده از نرمافزار و الگوریتمهای ویژه هوش مصنوعی، این تصاویر با هم ترکیب میشوند تا تصویری با کیفیت و میزان جزئیات بالاتر را خلق نمایند. اغلب گامهای بلند سال های اخیر در زمینه عکسبرداری پردازشی و قابلیتهای نرمافزاری دوربین گوشیهای هوشمند، مرهون همین روش پشتهسازی تصویر است. به عنوان نمونه، قابلیت معروف عکسبرداری HDR -- که از خصوصیات مهم در دوربین گوشیهای هوشمند محسوب میشود -- بر مبنای همین روش بنا نهاده شده است. از آنجا که دامنه دینامیکی (dynamic range) یک عکس به میزان نوردهی آن محدود میشود، با فناوری HDR چندین عکس در سطوح نوردهی مختلف گرفته شده و سپس با ترکیب تیرهترین و روشنترین نقاط تصویر، عکسی با محدوده رنگی وسیعتر یا به اصطلاح با دامنه دینامیکی بالا (high dynamic range) خلق میشود. پشتهسازی فوکوس یا focus stacking نیز دیگر روش بهبود تصویر در عکسبرداری پردازشی است که از همان منطق پشتهسازی بهره میگیرد. در این روش چندین عکس با فاصله فوکوسهای مختلف ترکیب میشوند تا تصویری با عمق میدان (DoF) بیشتر را تشکیل دهند.
ترکیب پیکسل (Pixel Binning)
دیگر فناوری نرمافزاری مهمی که در حال حاضر برای ارتقای عملکرد دوربین گوشیهای هوشمند مورد استفاده قرار میگیرد، قابلیت ترکیب پیکسل یا pixel binning نام دارد. این روش به طور ویژه در دوربینهای مجهز به حسگرهایی با رزولوشن (مگاپیکسل) بالا کاربرد داشته و در آن به جای پشتهسازی و ترکیب چند تصویر با یکدیگر، پیکسلهای همجوار در یک تصویر واحد که رزولوشن بسیار بالایی دارد، با هم ترکیب میشوند. نتیجه این فرآیند، تصویری با رزولوشن پایینتر خواهد بود که از جزئیات بیشتر و نویز کمتر برخوردار است. بنابراین در صورت استفاده گوشی هوشمند از این روش، ممکن است با وجود بهرهمندی از یک دوربین 64 مگاپیکسلی، در عمل تصویری 16 مگاپیکسلی به شما تحویل داده شود.حال شاید این سوال برای شما پیش بیاید که ترکیب پیکسلها و کاهش رزولوشن تصویر چگونه میتواند به بهبود کیفیت عکس کمک کند؟ مگر قرار نبود که مگاپیکسل بیشتر به معنای بالاتر بودن کیفیت دوربین باشد؟ چرا تولیدکنندگان از یک طرف رزولوشن دوربین را بالا برده و از طرف دیگر رزولوشن عکسها را پایین میآورند؟ پاسخ این پرسشها نیازمند توضیحات فنی مفصلیست که شاید ارتباط چندانی به موضوع مورد نظر ما در این مطلب نداشته باشد.
به طور خلاصه میتوان گفت که با توجه به اندازه کوچک گوشیهای هوشمند، اندازه فیزیکی حسگر دوربین به کار رفته در آنها همواره محدود بوده است. به همین دلیل تولیدکنندگان سعی کردهاند تا با کاهش اندازه پیکسلها در حسگر دوربینهای همراه، این محدودیت فیزیکی را به نوعی جبران کرده و رزولوشن تصویر را از آن طریق افزایش دهند. اما پیکسلهای کوچک مشکلات مختلفی را با خود به همراه دارند که از آن جمله میتوان به کاهش کیفیت تصاویر در محیطهای کمنور اشاره کرد. راهکار فیزیکی برای حل این مشکلات، افزایش اندازه دوربین یا کاهش رزولوشن آن است. به همین دلیل شاهد آن هستیم که برخی تولیدکنندگان مطرح گوشیهای هوشمند مانند اپل و گوگل، به دوربینهایی با رزولوشن پایینتر اکتفا کرده و در عوض به دنبال افزایش اندازه حسگر دوربین هستند. اما به طور کلی، محدودیت اندازه فیزیکی دوربین گوشیهای هوشمند، دست تولیدکنندگان را تا حد زیادی در این زمینه بسته است. اینجاست که عکسبرداری پردازشی با روشهایی مانند ترکیب پیکسل، سعی در حل این مشکل دارد.
استفاده از هوش مصنوعی
شکوفایی دانش هوش مصنوعی و یادگیری ماشین در سالها اخیر بسیاری از بخشهای دنیای فناوری و به طور ویژه فناوریهای همراه را تحت تاثیر قرار داده است. عکسبرداری پردازشی در گوشیهای هوشمند یکی از حوزههاییست که به خوبی از این دانش بهره گرفته و به لطف آن پیشرفت قابل ملاحظهای را تجربه کرده است. امروزه اغلب تراشههای پردازشی (SoC) به کار رفته در گوشیهای هوشمند، در کنار واحد پردازش مرکزی یا همان CPU، از یک پردازنده سیگنال تصویری (ISP) همراه با یک واحد پردازش عصبی (NPU) برخوردارند. این توانمندی سختافزاری در کنار الگوریتمهای ویژه عکسبرداری پردازشی، درهای جدیدی را به روی طراحیکنندگان سیستمهای دوربین گوشیهای هوشمند گشوده است.
گوگل یکی از شرکتهای پیشرو در زمینه استفاده از هوش مصنوعی برای عکسبرداری پردازشی و امور مربوط به مدیریت و تحلیل تصاویر بوده است. از عملکرد تحسینبرانگیز Google Photos در شناسایی عناصر مختلف تصاویر، دستهبندی عکسها بر اساس محتوا و استخراج اطلاعات مختلف از آنها گرفته تا کارایی بسیار خوب اپلیکیشن دوربین گوگل در بهبود کیفیت تصاویر گرفته شده با گوشیهای هوشمند، همگی مدیون بهرهگیری تیمهای مهندسی گوگل از دانش هوش مصنوعی و یادگیری ماشین هستند. نتایج عالی حاصل از تصاویر گرفته شده با نسلهای مختلف گوشیهای هوشمند خانواده Google Pixel در شرایطی که این دستگاهها از نظر سختافزار دوربین برتری قابل توجهی نسبت به رقبای خود ندارند، شاهدیست بر موفقیت آنها در بهرهگیری از هوش مصنوعی و عکسبرداری پردازشی به منظور بهبود تصاویر دریافتی از دوربینها. استفاده از فناوریهای یادگیری ماشین در عکسبرداری پردازشی موجب میشود تا سیستم هوش مصنوعی به تدریج آموزش دیده و روزبهروز عملکرد بهتری از خود نشان دهد. به عنوان نمونه، یکی از نقاط قوت دوربین گوشیهای هوشمند گوگل، قابلیت دید در شب یا Night Sight است که به کمک هوش مصنوعی امکان ثبت تصاویری خیرهکننده را در محیطهای کمنور فراهم میآورد. بدین ترتیب که چندین تصویر با نوردهی بالا گرفته شده و با استفاده از الگوریتمهای یادگیری ماشین، بهترین تراز سفیدی و سطوح رنگی برای تصویر نهایی محاسبه میشوند.
تفاوت عکسبرداری پردازشی با عکسبرداری سنتی
در یک دوربین که به روش سنتی عکسبرداری میکند، با فشرده شدن (یا رها شدن) دکمه شاتر در کسری از ثانیه نور با عبور از لنز دوربین به فیلم یا حسگر تابیده و تصویر روی آن ثبت میشود. در این روش عواملی مانند نوع لنز، موقعیت آن نسبت به فیلم یا حسگر و میزان نور عبور داده شده، تعیین کننده این خواهند بود که تصویر گرفته شده چگونه به نظر برسد. برای زوم و درشتنمایی از لنزهایی با فاصله کانونی زیاد به نام لنز تِلهفوتو (telephoto) استفاده شده و برای تصویربرداری از مناظر گسترده، لنزهایی با فاصله کانونی بسیار کوتاهتر به کار گرفته میشوند. همچنین با کنترل دهانه دیافراگم، میتوان فوکوس را به صورت نوری تنظیم کرد. با رسیدن نور به فیلم یا حسگر دوربین، اجزای حساس به نور در آنها تحت تاثیر قرار گرفته و تصویر را ثبت مینمایند. بنابراین در روش سنتی، کیفیت و نحوه عکسبرداری تنها از طریق خصوصیات فیزیکی اجزای دوربین قابل کنترل بوده و پس از ثبت تصویر، امکان تغییر آن وجود نخواهد داشت.
اما در گوشیهای هوشمند و دوربینهای دیجیتال، تصویری که روی حسگر نقش میبندد، به حالت دیجیتال (صفر و یک) درآمده و روی حافظههای کامپیوتری نگهداری میشود. بدین ترتیب اکثر اطلاعات تصویر چه در زمان عکسبرداری و چه پس از آن، قابل دستکاری و تغییر خواهد بود. در عکسبرداری پردازشی فرآیند تصویربرداری تنها به عملیات نوری و فیزیکی خلاصه نشده و گامهای بیشتری دارد. در این روش علاوه بر تصویر پایه، اطلاعاتی جانبی همچون خصوصیات رنگها، شدت نور و فاصله اجزای صحنه نیز به کمک حسگرها دریافت میشود. همچنین ممکن است برای گرفتن یک عکس واحد، چندین تصویر با استفاده از لنزهای مختلف و سطوح نوری متفاوت ثبت شود. سپس این اطلاعات با بهرهگیری از نرمافزارها و واحدهای پردازنده ویژه در یک دستگاه هوشمند مورد پردازش قرار میگیرند تا امکان خلق تصویر نهایی با کیفیت و جزئیاتی بیشتر را فراهم آورند. امروزه داغترین و مهمترین کاربرد عکسبرداری پردازشی در گوشیهای هوشمند است. در واقع تصاویر زیبایی که شما در گالری گوشی خود میبینید، نتیجه بهکارگیری همین فناوری بوده و بدون کمک آن، کیفیت تصاویر ثبت شده با دوربینهای کوچک گوشی شما هرگز نمیتوانست به این خوبی باشد. پیشرفت سریع و چشمگیر دوربین گوشیهای هوشمند در سالهای اخیر را میتوان تا حد زیادی مدیون عکسبرداری پردازشی و بهبودهای نرمافزاری مربوط به آن دانست. اغلب تولیدکنندگان گوشیهای هوشمند از جمله اپل، سامسونگ و گوگل، با تمرکزی ویژه و به طور پیوسته در حال بهبود قابلیتهای عکسبرداری محصولات خود بوده و در عین حال به ندرت دست به تغییرات اساسی در خصوصیات فیزیکی دوربینهای به کار رفته در آنها میزنند.
چرا به عکسبرداری پردازشی نیاز داریم؟
فرآیند عکسبرداری دیجیتال را میتوان به دو بخش اصلی تقسیم کرد، که عبارتند از: عملیات فیزیکی و پردازش تصویر. عملیات فیزیکی که در بخش قبل به آن اشاره شد، متاثر از خصوصیات فیزیکی دوربین مانند اندازه حسگر، سرعت لنز و فاصله کانونی آن است. دوربینهای سنتی (مانند دوربینهای DSLR) با بهرهگیری از حسگرهای بسیار بزرگ، لنزهای سریع و قابلیت تعویض لنز، در بخش فیزیکی و ثبت نوری تصویر درخششی ویژه دارند. درحالیکه دوربینهای به کار رفته در گوشیهای هوشمند از نظر فیزیکی محدود بوده و برای ارتقای کیفیت تصاویر ناچار به تمرکز بیشتر روی بخش دوم فرآیند عکسبرداری دیجیتال، یعنی پردازش تصویر هستند. جایی که پای نرمافزار به میان آمده و سعی میشود تا با استفاده از روشهای پردازشی، کیفیت تصاویر بهبود داده شود.
مهمترین محدودیت عکسبرداری در گوشیهای هوشمند، کمبود فضای فیزیکی برای دوربین آنهاست. سالهاست که تولیدکنندگان گوشیهای هوشمند برای افزایش زیبایی و قرارگیری بهتر این دستگاهها در جیب، اندازه فیزیکی آنها را بهخصوص در بحث ضخامت کوچک و کوچکتر کردهاند. در نتیجه فضای موجود در داخل گوشیها برای جای دادن دوربین کمتر شده، تا جایی که حتی در سالهای اخیر شاید بیرون زدن ماژول دوربین از بدنه بودهایم. با این محدودیت فیزیکی شدید، در عمل امکان افزایش اندازه حسگر و لنز چندان فراهم نبوده و همین مساله موجب پیشرفت پرشتاب عکسبرداری پردازشی شده است. در این سالها تولیدکنندگان تراشههای گوشیهای هوشمند توجه ویژهای به پردازش تصویر داشته و هوش مصنوعی نیز به یاری عکسبرداری پردازشی آمده است. دیگر محدودیت همیشگی دوربین گوشیهای هوشمند نسبت به دوربینهای سنتی و حرفهای، ناممکن بودن تعویض لنز در آنهاست. مشکلی که در سالهای اخیر از طریق تجهیز این دستگاهها به چندین دوربین با لنزهای مختلف تا حد زیادی حل شده است. در واقع تولیدکنندگان گوشیهای هوشمند سعی دارند تا محدودیت فیزیکی گوشیهای هوشمند را از یک سو با افزایش تعداد دوربینها و از سوی دیگر با ارتقای عکسبرداری پردازشی جبران نمایند. افزایش چشمگیر توان پردازشی تراشههای همراه، پیشرفت هوش مصنوعی و بهبود قابلیتهای نرمافزاری گوشیهای هوشمند در سالهای اخیر، این دستگاهها را قادر ساخته است تا تصاویر دوربینهای مختلف را به طور همزمان دریافت کرده و با پردازش انبوهی از اطلاعات، تصویر نهایی را با کیفیتی خیره کننده تولید نمایند.
البته چالش دیگری نیز در عکسبرداری با گوشیهای هوشند وجود دارد که بیشتر به کاربر مربوط میشود. بر خلاف کاربران دوربینهای سنتی و حرفهای، کاربران گوشیهای هوشمند اغلب دانش چندانی در زمینه عکسبرداری نداشته و در هنگام استفاده آنها از دوربین تلفن همراه، نمیتوان روی مهارتشان در انتخاب زاویه مناسب، تنظیم ISO، فوکوس صحیح و ثابت نگاه داشتن دوربین حساب باز کرد. در اینجا نیز عکسبرداری پردازشی با روشها و قابلیتهای مختلفی مانند فوکوس خودکار، شناسایی و ردیابی عناصر تصویر، تشخیص میزان نور محیط و تثبیت دیجیتالی تصویر به کمک کاربر آمده و سعی در جبران این قبیل مشکلات دارد.
فناوریهای مهم عکسبرداری پردازشی در گوشیهای هوشمند
امروزه از فناوریهای مختلفی در عکسبرداری پردازشی برای بهبود تصاویر دوربین در گوشیهای هوشمند استفاده میشود. برخی از این فناوریها عبارتند از pixel binning ،focus stacking ،image stacking و neural network که در این قسمت به معرفی اختصاری هر یک از آنها خواهیم پرداخت.
پشتهسازی (Stacking)
یکی از مهمترین فناوریهای به کار رفته در عکسبرداری پردازشی، روش پشتهسازی یا stacking است. در این روش، ابتدا چندین عکس در زمانهای مختلف، با لنزهای گوناگون یا با میزان نوردهی متفاوت توسط دوربین گرفته میشود. سپس با استفاده از نرمافزار و الگوریتمهای ویژه هوش مصنوعی، این تصاویر با هم ترکیب میشوند تا تصویری با کیفیت و میزان جزئیات بالاتر را خلق نمایند. اغلب گامهای بلند سال های اخیر در زمینه عکسبرداری پردازشی و قابلیتهای نرمافزاری دوربین گوشیهای هوشمند، مرهون همین روش پشتهسازی تصویر است. به عنوان نمونه، قابلیت معروف عکسبرداری HDR -- که از خصوصیات مهم در دوربین گوشیهای هوشمند محسوب میشود -- بر مبنای همین روش بنا نهاده شده است. از آنجا که دامنه دینامیکی (dynamic range) یک عکس به میزان نوردهی آن محدود میشود، با فناوری HDR چندین عکس در سطوح نوردهی مختلف گرفته شده و سپس با ترکیب تیرهترین و روشنترین نقاط تصویر، عکسی با محدوده رنگی وسیعتر یا به اصطلاح با دامنه دینامیکی بالا (high dynamic range) خلق میشود. پشتهسازی فوکوس یا focus stacking نیز دیگر روش بهبود تصویر در عکسبرداری پردازشی است که از همان منطق پشتهسازی بهره میگیرد. در این روش چندین عکس با فاصله فوکوسهای مختلف ترکیب میشوند تا تصویری با عمق میدان (DoF) بیشتر را تشکیل دهند.
ترکیب پیکسل (Pixel Binning)
دیگر فناوری نرمافزاری مهمی که در حال حاضر برای ارتقای عملکرد دوربین گوشیهای هوشمند مورد استفاده قرار میگیرد، قابلیت ترکیب پیکسل یا pixel binning نام دارد. این روش به طور ویژه در دوربینهای مجهز به حسگرهایی با رزولوشن (مگاپیکسل) بالا کاربرد داشته و در آن به جای پشتهسازی و ترکیب چند تصویر با یکدیگر، پیکسلهای همجوار در یک تصویر واحد که رزولوشن بسیار بالایی دارد، با هم ترکیب میشوند. نتیجه این فرآیند، تصویری با رزولوشن پایینتر خواهد بود که از جزئیات بیشتر و نویز کمتر برخوردار است. بنابراین در صورت استفاده گوشی هوشمند از این روش، ممکن است با وجود بهرهمندی از یک دوربین 64 مگاپیکسلی، در عمل تصویری 16 مگاپیکسلی به شما تحویل داده شود.حال شاید این سوال برای شما پیش بیاید که ترکیب پیکسلها و کاهش رزولوشن تصویر چگونه میتواند به بهبود کیفیت عکس کمک کند؟ مگر قرار نبود که مگاپیکسل بیشتر به معنای بالاتر بودن کیفیت دوربین باشد؟ چرا تولیدکنندگان از یک طرف رزولوشن دوربین را بالا برده و از طرف دیگر رزولوشن عکسها را پایین میآورند؟ پاسخ این پرسشها نیازمند توضیحات فنی مفصلیست که شاید ارتباط چندانی به موضوع مورد نظر ما در این مطلب نداشته باشد.
به طور خلاصه میتوان گفت که با توجه به اندازه کوچک گوشیهای هوشمند، اندازه فیزیکی حسگر دوربین به کار رفته در آنها همواره محدود بوده است. به همین دلیل تولیدکنندگان سعی کردهاند تا با کاهش اندازه پیکسلها در حسگر دوربینهای همراه، این محدودیت فیزیکی را به نوعی جبران کرده و رزولوشن تصویر را از آن طریق افزایش دهند. اما پیکسلهای کوچک مشکلات مختلفی را با خود به همراه دارند که از آن جمله میتوان به کاهش کیفیت تصاویر در محیطهای کمنور اشاره کرد. راهکار فیزیکی برای حل این مشکلات، افزایش اندازه دوربین یا کاهش رزولوشن آن است. به همین دلیل شاهد آن هستیم که برخی تولیدکنندگان مطرح گوشیهای هوشمند مانند اپل و گوگل، به دوربینهایی با رزولوشن پایینتر اکتفا کرده و در عوض به دنبال افزایش اندازه حسگر دوربین هستند. اما به طور کلی، محدودیت اندازه فیزیکی دوربین گوشیهای هوشمند، دست تولیدکنندگان را تا حد زیادی در این زمینه بسته است. اینجاست که عکسبرداری پردازشی با روشهایی مانند ترکیب پیکسل، سعی در حل این مشکل دارد.
استفاده از هوش مصنوعی
شکوفایی دانش هوش مصنوعی و یادگیری ماشین در سالها اخیر بسیاری از بخشهای دنیای فناوری و به طور ویژه فناوریهای همراه را تحت تاثیر قرار داده است. عکسبرداری پردازشی در گوشیهای هوشمند یکی از حوزههاییست که به خوبی از این دانش بهره گرفته و به لطف آن پیشرفت قابل ملاحظهای را تجربه کرده است. امروزه اغلب تراشههای پردازشی (SoC) به کار رفته در گوشیهای هوشمند، در کنار واحد پردازش مرکزی یا همان CPU، از یک پردازنده سیگنال تصویری (ISP) همراه با یک واحد پردازش عصبی (NPU) برخوردارند. این توانمندی سختافزاری در کنار الگوریتمهای ویژه عکسبرداری پردازشی، درهای جدیدی را به روی طراحیکنندگان سیستمهای دوربین گوشیهای هوشمند گشوده است.
گوگل یکی از شرکتهای پیشرو در زمینه استفاده از هوش مصنوعی برای عکسبرداری پردازشی و امور مربوط به مدیریت و تحلیل تصاویر بوده است. از عملکرد تحسینبرانگیز Google Photos در شناسایی عناصر مختلف تصاویر، دستهبندی عکسها بر اساس محتوا و استخراج اطلاعات مختلف از آنها گرفته تا کارایی بسیار خوب اپلیکیشن دوربین گوگل در بهبود کیفیت تصاویر گرفته شده با گوشیهای هوشمند، همگی مدیون بهرهگیری تیمهای مهندسی گوگل از دانش هوش مصنوعی و یادگیری ماشین هستند. نتایج عالی حاصل از تصاویر گرفته شده با نسلهای مختلف گوشیهای هوشمند خانواده Google Pixel در شرایطی که این دستگاهها از نظر سختافزار دوربین برتری قابل توجهی نسبت به رقبای خود ندارند، شاهدیست بر موفقیت آنها در بهرهگیری از هوش مصنوعی و عکسبرداری پردازشی به منظور بهبود تصاویر دریافتی از دوربینها. استفاده از فناوریهای یادگیری ماشین در عکسبرداری پردازشی موجب میشود تا سیستم هوش مصنوعی به تدریج آموزش دیده و روزبهروز عملکرد بهتری از خود نشان دهد. به عنوان نمونه، یکی از نقاط قوت دوربین گوشیهای هوشمند گوگل، قابلیت دید در شب یا Night Sight است که به کمک هوش مصنوعی امکان ثبت تصاویری خیرهکننده را در محیطهای کمنور فراهم میآورد. بدین ترتیب که چندین تصویر با نوردهی بالا گرفته شده و با استفاده از الگوریتمهای یادگیری ماشین، بهترین تراز سفیدی و سطوح رنگی برای تصویر نهایی محاسبه میشوند.