image processing
DESCRIPTION
MapReduceپردازش تصاویر در هادوپ بر پایهTRANSCRIPT
پردازش تصاویرImages Processing
مقدمهHipi
HDFSفایل های کوچکHadoop Archive
Sequence File
HIB(Hadoop Image Bundle)مثال کاربردی
پردازش تصاویر در مقیاس بزرگHBRSIPS
فهرست مطالب
2
ایندازشپرشود،میبیشتروبیشترتصاویروضوحواندازهوتعدادروزبهروزدونبکهمیگیردخدمتبهرابسیاریمنابعوزمان،تصاویرازعظیمحجم
.ردپذیمیانجامسختیبهگاهوناممکنگاهخاصیتکنیکازاستفاده
مقدمه
3
Hadoop
راحیطباالبسیاراطالعاتحجمپردازشوذخیرهبرایبازکدبسترهایازیکی.استشده
MapReduce
(ادامه)مقدمه
4
HIPI مخففHadoop Image Processing Interface کتابخانه برای یکMapReduceچهارچوب Hadoop برای پردازش تصاویر در محیط های محاسباتی که
.می رودتوزیع شده بکار
HiPi
5
اهداف فراهم کردن کتابخانه قابل توسعه برای تصاویر در چهارچوبMapReduce
ذخیره سازی موثر برای کاربرد هایMapReduce
فراهم کردن فیلتر گذاری بر روی تصاویر
سرو کار نداشتن کاربر با جزئیات چهارچوبMapReduce
اشدراه اندازی کاربردی بسیار موازی و معتادل به صورتی که کاربر نگران جزئیات نب
HiPi
6
ذخیره سازی
7
فایل سیستم توزیع شدهHadoop
برگرفته از(Google File System)اانجام عملیات ذخیره و بازیابی
شامل دو قسمت
NameNode
DataNode
مزایا افزایشScalability
(جلوگیری از از بین رفتن داده ها)قابلیت اعتماد باال
HDFS(Hadoop Distributed File System)
8
(کوچک)فایل کم حجم
پیش فرض بلوک آن از اندازه حجم قابل توجهی که بطور به فایلی گفته می شودHDFS(65 MB) کمتر.باشد
مشکالت
دیگر برای خواندن اطالعاتبه نود داده داده ها از نود پریدن کردن ها و دنبال تعداد زیادی از
برابر 100تا 10پردازش کندتر حتی
HDFS ستبلکه برای فایل های بزرگ طراحی شده ا. زیادی از فایلها رسیدگی کندتعداد تواند به نمی
MapReduce حجمدر مورد یک فایل با حجم زیاد بهتر عمل میکند تا تعداد زیادی فایل کم
ذخیره و پردازش فایل های کوچک
9
مشکل بسیاری از فایل های کوچکبرای یک راه حل مناسب
تعداد زیادی فایلهای کوچک را در قالب یک فایل بسته بندی میکند
برای کاهش بار درNameNode
افزایش مقیاس پذیری سیستم
HAR files(Hadoop Archive)
10
راه حل دیگر مشکل فایلهای کوچک
میتوان همه فایل ها در قالب یک فایل ذخیره کرد و سپس ان را پردازش کرد( به طور مستقیم یاMapReduce)
Sequence Files
11
؟ HIPIروش
12
مخففHipi Image Bundle
شامل تعداد زیادی تصاویر در قالب یک فایل
که شامل دو فایل است:DataFile:شامل تصاویر الحاق شده
Index File:شامل اطالعات محل تصاویر
HIB
13
تفاوت
Hadoop Archive(HAR)Sequence FileHiPi Image Bundle
) تندفقط برای آرشیو فایل ها مفید هس(به عنوان پشتیبان گیری
اما Sequence filesمشابه کاستاندارد بهتر برای فایل های کوچدخواندن ان به صورت سری نمی باش
و در واقع ممکن است کندتر از خواندن.فایل به روش استاندارد باشد
و در نتیجه خواندن به صورت سریمدت زمان طوالنی برای ایجاد
استفاده از میتواند باMapReduceتولید شود
یر پذیر خالف بقیه قابل تنظیم و تغیبراست
14
کنونمراحل انجام شده تا
15
HIPI
Start
HIB
HIPIپشت صحنه
Float Imageرسیدگی به گوناگونی تصاویر
رمزگذاری و رمزگشایی
16
مراحل انجام شده تا کنون
17
HIPI
Start
HIB
Enc/Dec
Float Image
Cullingمرحله
ارسال به بعد از توزیع ورودی ها و قبل ازMapفراخوانده می شود . اعمال میکندتصاویر بر روی فیلترهایی .
18
کل مراحل
19
HIPI
Start
HIB
Enc/Dec
Float Image
Culling
M-R
مثال استفاده
20
گام هامشخص کردن یک لیست از تصاویر برای گرفتن
جدا کردن ادرس ها به گروه هایی و ارسال هر گروه بهMap
دانلود تصاویر از اینترنت
ذخیره تصاویر درHIB
دانلود میلیونی تصاویر
21
تصاویر در مقیاس بزرگ
22
مشکالت جدا سازی تصاویر بزرگجه می شوددر بسیاری از الگو های پردازش تصاویر ماهواره ای به ردیف و ارتباط پیکسلها با یکدیگر تو.حال اگر فایل فقط تقسیم شود و در بانک اطالعات دخیره شود
که . داردار مخصوصا الگوریتمی که با ارتباط بین پیکسل ها سرو کنمی دهد داده ها و ردیف را تشخیص الگوریتم محل.شود نتیجه اشتباه بدهدنتیجتا باعث
سرعت داده ها خیلی اوقات پراکنده هستند و زمان زیادی میبرد که عملیات ارسال و دریافت انجام شود و این باعث کاهش.پردازش می شود
HDFS سایز جداسازی میکند بر اساس متد جداسازی ساختار اطالعاتی تصاویر را می شکند
این میتواند ناسازگاری بین کهMapReduce تاگوریتم پردازش تصویر به وجود اوردو.
23
HBRSIPS مخففHadoop Base Remote Sensing Image Processing System
گام اولجداسازی با حفظ جامعیت اطالعات
با استفاده از افزونگی مرزهای ردیف ها
گام دوم ارسال هر ردیف به هرMap
گام سوم الحاق ردیف ها درReduce
24
Chris Sweeney,Liu Liu,Sean Arietta,Jason Lawrence (2013)
'HIPI: A Hadoop Image Processing Interface for Image-
based MapReduce Tasks', University of Virginia, (), pp. .
Xin Pan,Suli Zhang (2012) 'A REMOTE SENSING IMAGE CLOUD
PROCESSING SYSTEM BASED ON HADOOP', IEEE, (), pp. .
منابع
25
پیروز باشید
26