image processing

پردازش تصاویرImages Processing

مقدمهHipi

HDFSفایل های کوچکHadoop Archive

Sequence File

HIB(Hadoop Image Bundle)مثال کاربردی

پردازش تصاویر در مقیاس بزرگHBRSIPS

فهرست مطالب

2

ایندازشپرشود،میبیشتروبیشترتصاویروضوحواندازهوتعدادروزبهروزدونبکهمیگیردخدمتبهرابسیاریمنابعوزمان،تصاویرازعظیمحجم

.ردپذیمیانجامسختیبهگاهوناممکنگاهخاصیتکنیکازاستفاده

مقدمه

3

Hadoop

راحیطباالبسیاراطالعاتحجمپردازشوذخیرهبرایبازکدبسترهایازیکی.استشده

MapReduce

(ادامه)مقدمه

4

HIPI مخففHadoop Image Processing Interface کتابخانه برای یکMapReduceچهارچوب Hadoop برای پردازش تصاویر در محیط های محاسباتی که

.می رودتوزیع شده بکار

HiPi

5

اهداف فراهم کردن کتابخانه قابل توسعه برای تصاویر در چهارچوبMapReduce

ذخیره سازی موثر برای کاربرد هایMapReduce

فراهم کردن فیلتر گذاری بر روی تصاویر

سرو کار نداشتن کاربر با جزئیات چهارچوبMapReduce

اشدراه اندازی کاربردی بسیار موازی و معتادل به صورتی که کاربر نگران جزئیات نب

HiPi

6

ذخیره سازی

7

فایل سیستم توزیع شدهHadoop

برگرفته از(Google File System)اانجام عملیات ذخیره و بازیابی

شامل دو قسمت

NameNode

DataNode

مزایا افزایشScalability

(جلوگیری از از بین رفتن داده ها)قابلیت اعتماد باال

HDFS(Hadoop Distributed File System)

8

(کوچک)فایل کم حجم

پیش فرض بلوک آن از اندازه حجم قابل توجهی که بطور به فایلی گفته می شودHDFS(65 MB) کمتر.باشد

مشکالت

دیگر برای خواندن اطالعاتبه نود داده داده ها از نود پریدن کردن ها و دنبال تعداد زیادی از

برابر 100تا 10پردازش کندتر حتی

HDFS ستبلکه برای فایل های بزرگ طراحی شده ا. زیادی از فایلها رسیدگی کندتعداد تواند به نمی

MapReduce حجمدر مورد یک فایل با حجم زیاد بهتر عمل میکند تا تعداد زیادی فایل کم

ذخیره و پردازش فایل های کوچک

9

مشکل بسیاری از فایل های کوچکبرای یک راه حل مناسب

تعداد زیادی فایلهای کوچک را در قالب یک فایل بسته بندی میکند

برای کاهش بار درNameNode

افزایش مقیاس پذیری سیستم

HAR files(Hadoop Archive)

10

راه حل دیگر مشکل فایلهای کوچک

میتوان همه فایل ها در قالب یک فایل ذخیره کرد و سپس ان را پردازش کرد( به طور مستقیم یاMapReduce)

Sequence Files

11

؟ HIPIروش

12

مخففHipi Image Bundle

شامل تعداد زیادی تصاویر در قالب یک فایل

که شامل دو فایل است:DataFile:شامل تصاویر الحاق شده

Index File:شامل اطالعات محل تصاویر

HIB

13

تفاوت

Hadoop Archive(HAR)Sequence FileHiPi Image Bundle

) تندفقط برای آرشیو فایل ها مفید هس(به عنوان پشتیبان گیری

اما Sequence filesمشابه کاستاندارد بهتر برای فایل های کوچدخواندن ان به صورت سری نمی باش

و در واقع ممکن است کندتر از خواندن.فایل به روش استاندارد باشد

و در نتیجه خواندن به صورت سریمدت زمان طوالنی برای ایجاد

استفاده از میتواند باMapReduceتولید شود

یر پذیر خالف بقیه قابل تنظیم و تغیبراست

14

کنونمراحل انجام شده تا

15

HIPI

Start

HIB

HIPIپشت صحنه

Float Imageرسیدگی به گوناگونی تصاویر

رمزگذاری و رمزگشایی

16

مراحل انجام شده تا کنون

17

HIPI

Start

HIB

Enc/Dec

Float Image

Cullingمرحله

ارسال به بعد از توزیع ورودی ها و قبل ازMapفراخوانده می شود . اعمال میکندتصاویر بر روی فیلترهایی .

18

کل مراحل

19

HIPI

Start

HIB

Enc/Dec

Float Image

Culling

M-R

مثال استفاده

20

گام هامشخص کردن یک لیست از تصاویر برای گرفتن

جدا کردن ادرس ها به گروه هایی و ارسال هر گروه بهMap

دانلود تصاویر از اینترنت

ذخیره تصاویر درHIB

دانلود میلیونی تصاویر

21

تصاویر در مقیاس بزرگ

22

مشکالت جدا سازی تصاویر بزرگجه می شوددر بسیاری از الگو های پردازش تصاویر ماهواره ای به ردیف و ارتباط پیکسلها با یکدیگر تو.حال اگر فایل فقط تقسیم شود و در بانک اطالعات دخیره شود

که . داردار مخصوصا الگوریتمی که با ارتباط بین پیکسل ها سرو کنمی دهد داده ها و ردیف را تشخیص الگوریتم محل.شود نتیجه اشتباه بدهدنتیجتا باعث

سرعت داده ها خیلی اوقات پراکنده هستند و زمان زیادی میبرد که عملیات ارسال و دریافت انجام شود و این باعث کاهش.پردازش می شود

HDFS سایز جداسازی میکند بر اساس متد جداسازی ساختار اطالعاتی تصاویر را می شکند

این میتواند ناسازگاری بین کهMapReduce تاگوریتم پردازش تصویر به وجود اوردو.

23

HBRSIPS مخففHadoop Base Remote Sensing Image Processing System

گام اولجداسازی با حفظ جامعیت اطالعات

با استفاده از افزونگی مرزهای ردیف ها

گام دوم ارسال هر ردیف به هرMap

گام سوم الحاق ردیف ها درReduce

24

Chris Sweeney,Liu Liu,Sean Arietta,Jason Lawrence (2013)

'HIPI: A Hadoop Image Processing Interface for Image-

based MapReduce Tasks', University of Virginia, (), pp. .

Xin Pan,Suli Zhang (2012) 'A REMOTE SENSING IMAGE CLOUD

PROCESSING SYSTEM BASED ON HADOOP', IEEE, (), pp. .

منابع

25

پیروز باشید

26