רן פוטשטר. שקף מס' 2 symmetry application08/06/2005 symmetry application...
Post on 20-Dec-2015
246 views
TRANSCRIPT
Symmetry Application '2שקף מס 08/06/2005
Symmetry Application
יישומים של סימטריה בראיה 3הרצאה תסקור היום •ממוחשבת:
.1Gait Sequence Analysis using Frieze Patterns
.2Robust Detection of Facial Features by Generalized Symmetry
.3Facial Asymmetry Quantification for Expression Invariant Human Identification
Symmetry Application '3שקף מס 08/06/2005
Gait Sequence Analysis using Frieze Patterns
Yanxi Liu, Robert T.Collins and Yanghai Tsin
Symmetry Application '4שקף מס 08/06/2005
Gait Sequence Analysis using Frieze Patterns
מטרה:•ניתוח רצף תמונות של אדם הולך, לשם זיהוי אדם –
וסגמנטציה של חלקי גוף.
מושגים בסיסיים:•– Gait.צורת הליכה - –Frieze תבנית דו ממדית שחוזרת על עצמה לאורך -
מימד אחד.
Symmetry Application '5שקף מס 08/06/2005
Gait Sequence Analysis using Frieze Patterns
שלבים- Spatio-Temporal Gaitיצירת 1.
Representation תבניות(frieze.)
שנתקבלו ממודל תלת מימדי של friezeניתוח תבניות 2.אדם הולך.
.3Spatio-Temporal Gait Alignment ישור והתאמה . לאחר.friezeשל
Symmetry Application '6שקף מס 08/06/2005
Spatio-Temporal Gait Representation
צורת ייצוג זו נועדה להפוך נתונים מתלת-מימד •לדו-מימד.
יוצרים רצף צלליות. תמונות בינאריות כאשר כל פיקסל של 1..1הדמות שווה
לאחר שנתקבלה תמונה בינארית של הצללית מחשבים את:2.
.Xסכום העמודות לאורך ציר ה 1.
.Yסכום השורות לאורך ציר ה 2.
כאשר frieze מחזוריים, מתקבלת תבנית Fr ו-Fcכיוון ש -1.tile שלה הוא המלבן הקטן ביותר שממנו נתן לבנות את כל
הרצף ע"י טרנזלציה.
y
tyxbtxFc ),,(),(
x
R tyxbtyF ),,(),(
Symmetry Application '9שקף מס 08/06/2005
ניתוח מודל תלת מימדי של אדם הולך)ליתר דיוק אישה(
לקטגוריות לפי קבוצות סימטריה.friezeמיון תבניות 1.
הקרובה ביותר.Frieze מציאת מרחק לתבנית 2.
הערכת כיוון מבט.3.
Symmetry Application '11שקף מס 08/06/2005
Friezeקטגוריות תבניות
דרגות של חופש
שיקוף-גלישה לא
טריוויאלי
שקוף אנכי
שקוף מאוזן
סיבוב
°180
טרנזלציה
קבוצת
סימטריה
Nxxxx√
N/2√xxx√
N/2X√xx√
N/2Xxx√√
N/4√√x√√
N/2XX√x√
N/4x√√√√
1F2F3F4F5F
6F7F
Symmetry Application '13שקף מס 08/06/2005
Friezeקטגריות תבניות
מצביע על כך ש
הוא תת קבוצה של
למשל: ניתן לראות שכל תבנית מקיימת את התנאים F3ב
+השיקוף tile כיוון ש F1של F1 של tile הוא F3של
ji FF iFjF
Symmetry Application '14שקף מס 08/06/2005
הקרובה ביותרFriezeמרחק לתבנית
•SD.מרחק סימטריה -•P תבנית -frieze.•Pn תבנית -frieze של קבוצת סימטריה Fn.•N מס' הפיקסלים של -tile.•t מס' ה -tiles.•pi & qi.רמת העוצמה בפיקסלים -•Si סטיית התקן של תבנית -frieze בפיקסל i.
})({min)(1
2
}{
tN
i i
ii
PQn
s
qppSD
n
Symmetry Application '15שקף מס 08/06/2005
הקרובה ביותרFriezeמרחק לתבנית
frieze Qבניית תבנית •.P ב tiles הוא הממוצע של ה n=1 Q וגם t>1אם – היא O\(P) כאשר n>1 וגם t=1אם –
.Fnתבנית הנוצרת ע"י ביצוע פעולות הסימטריה ב התקבל Q הוא הממוצע של כל n>1 Q וגם t>1אם –
.2מסעיף
2
))(\( PPOQ
Symmetry Application '16שקף מס 08/06/2005
הקרובה ביותרFriezeמרחק לתבנית
קבוצות סימטריה יוצרות •מבנה הירארכי כך שקבוצה היא תת קבוצה של אחרת.
ל Pלכן המרחק סימטרי של •P3 לא גדול יותר מהמרחק ל P5.
ללא טיפול, אלגוריתם הסיווג •.P3יעדיף תמיד את
לכן משתמשים בעיקרון של •G-AIC קבוצות 2, בהינתן
סימטריה בעלי יחס של תת Fnעל Fmקבוצה נעדיף את
לפי המשוואות–dn-ו dm מס' דרגות
החופש של כל תבנית frieze.
–r( המימד המשותף t.)
1 and 7,5for
6,4,3,2 and 7,5for
1 and 6,4,3,2for
22
12
)(
)(
12
2
)(
)(
1)(
)(
)(
)(21
nmn
m
nmn
m
nmn
m
n
mn
n
m
t
t
PSD
PSD
t
t
PSD
PSD
t
t
PSD
PSD
dtNr
dd
SD
SD
Symmetry Application '17שקף מס 08/06/2005
הערכת כיוון מבט
רצפי הליכה לפי זווית וגובה מהמודל.241יצרו מאגר מידע של • מאותה נק' מבט שייכים לאותה קבוצת friezeתבניות •
שלהם דומים.tilesסימטריה, וגם ה
Symmetry Application '18שקף מס 08/06/2005
הערכת כיוון מבט
friezeבהתקבל רצף הליכה של נבדק מחשבים את תבנית 1.(P).
כיווני המבט.241 של friezeמישרים את תבניות 2.
ולוקחים את המרכבים הלא P מ-tile על PCAמפעילים 3.דומיננטיים הרגישים יותר לשינוים בתבנית.
השכנים הקרובים ביותר בתת מרחב זה )לפי Kמוצאים את 4.(.PCAמרכבי ה-
)מ- השכנים( נמצאים באותה קבוצת Pi ו-Pבודקים אם 5.(.Piסימטריה )אם לא מנפים את
אשר רמת העוצמה של הפיקסלים שלו הכי Piלוקחים את 6..Pדומה לרמת העוצמה של הפיקסלים של
Symmetry Application '19שקף מס 08/06/2005
Friezeישור תבניות
קיימים שני רצפי הליכה המיוצגים ע"י זוגות של •friezeתבניות
( Temporalברצוננו לישר אותם מבחינה זמנית)•(.Spatioומבחינה מרחבית)
על מנת שנוכל לבצע ניתוחים נוספים על סמך •השוואות.
),( , ),( וגם ),( , ),( tyFtxFtyFtxF RCRC
Symmetry Application '20שקף מס 08/06/2005
Friezeישור תבניות
ישור ע"י מומנטים•מומנט של תמונת צללית בינארית–
שטח הצללית )מס' הפיקסלים(–מרכז מסה–מישרים את המומנט לפי מרכז מסה–
סיכמנו את העמודות או השורות, friezeכיוון שבתבניות –אנו מעוניינים רק במומנטים שניתן לחשב מסכום שורות או
סכום עמודות
x y
jiij tyxbyxtm ),,()(
)(00 tm
00/)(10 )()( tmmtx t00/)(01 )()( tmmty t
x y
jiij tyxbtyytxxtu ),,())(())(()(
xx y x y
txfctyxbtyxbm ),()),,((),,(00
Symmetry Application '21שקף מס 08/06/2005
Friezeישור תבניות
ישור ע"י מומנטים• j או i רק מומנטים ש friezeאנו יכולים לחשב מתבניות –
שווים לאפס, או שניהם שווים לאפסי. דרושים כדי לישר את מערכת m11מומנטים מסדר –
הצירים, דבר אשר אינו חשוב לנו כאשר נק' המבט קרובה. קיים כבר ישור מערכת צירים כי אנו כבר יודעים לחשב נק'
מבט ומשתמשים בנק' מבט דומות. שלישית שממנה ניתן לחשב friezeניתן להוסיף תבנית –
.u11 ו-m11את המומנטים
Symmetry Application '22שקף מס 08/06/2005
Friezeישור תבניות
( ע"י מומנטיםTemporalישור זמני)•
–P.מתקן את תדירות בצעדים –Ø.מתקן את הבדל הפזה חדש יתחיל באותה tileמישרים את מימד הזמן כך שכל –
נק'..’t ל tיוצרים מיפוי בין המשתנים – הן מחזוריות המיפוי הוא פשוט friezeכיוון שתבניות –
יחסית.
ptt
Symmetry Application '23שקף מס 08/06/2005
Friezeישור תבניות
( ע"י מומנטים Temporalישור זמני)•חישוב תדירות הצעדים –
ו"מלבנים" ע"י חיסור הממוצע.m00(t)לוקחים 1.
מחלקים במשתנה סטטיסטי.2.
ומוצאים את השיאים autocorrelatingמבצעים עליו 3.המתבצעים בתדר הבסיסי ביותר.
יכול להיווצר מצב שמוצאים חצי תדירות כיוון שמנק' מבט 4.מסוימות שתי הצעדים סימטריים )ימין שמאל(. נק' מבט אלו
ידועות וכן ניתן לתקן זאת.
.5f1 תדירות m00-ו f’1תדירות m’00 אזי p=f1/f’1.
Symmetry Application '24שקף מס 08/06/2005
Friezeישור תבניות
( ע"י מומנטיםTemporalישור זמני)•Øחישוב הפזה –
.m00 מ-fלוקחים קטע בעל אורך זמני •.pמכווצים או מרחבים לפי •.m’00 מבצעים קורלציה עם •הפיגור הממוצע בין השיאים הוא הפזה.•
Symmetry Application '25שקף מס 08/06/2005
Friezeישור תבניות
( ע"י מומנטיםSpatioישור מרחבי)•לאחר שיישרנו את התבניות לפי מימד הזמן ניישר לפי –
המרחב.נבצע זאת ע"י מומנטים שניתן לחשב מהתבניות.–
0001
0010
01
10
/
/
00/
00/
0
0
0002
0002
0020
0020
mm
mm
mmy
mmx
y
x
mu
mumu
mu
Symmetry Application '26שקף מס 08/06/2005
זיהוי אדם
נתון מאגר מידע של רצפי הליכה מנק' מבט אחת.•נבדוק על רצף הליכה חדש לאיזה אדם הוא שייך•
לכל רצף הליכה.friezeיוצרים תבנית 1.
מעוותים אותם בעזרת ישור זמני לתדר ופזה קאנונים.2.
מצועדים שונים בעזרת התאמה מנורמלת tilesמשווים 3.(normalized correlation.)
מוצאים את האדם לפי ציון ההתאמה.4.
Symmetry Application '27שקף מס 08/06/2005
זיהוי אדם - תוצאות
נבדקים.25ניסו את הזיהוי על •תמונה שמאלית – תוצאות זיהוי בודקים עם קצב הליכה איטי – על קצב •
התאמה.100%הליכה איטי, תמונה אמצעית – תוצאות זיהוי עם קצב הליכה איטי – על קצב הליכה •
התאמה.100%מהיר, תמונה ימנית – תוצאות זיהוי עם קצב הליכה איטי – על הליכה עם כדור, •
התאמה.81%
Symmetry Application '28שקף מס 08/06/2005
זיהוי חלקי גוף
ממודל ההליכה.friezeיוצרים תבניות • של האדם המצולם.friezeמישרים אותם לפי תבנית •משליכים את צללית המודל על צללית האדם.•דוגמים בצורה אחידה לאורך קו המתאר של שני הצלליות •
ומבצעים טרנספורמציה על צללית המודל.
Symmetry Application '32שקף מס 08/06/2005
Robust Detection of Facial Features by Generalized
Symmetry
Daniel Reisfeld and Yehezkel Yeshurun
Symmetry Application '33שקף מס 08/06/2005
Robust Detection of Facial Features by Generalized Symmetry
מטרה:•שיפור זיהוי תווי פנים )עיניים , פה( ע"י אופרטור סימטריה–זיהוי תווי פנים יכול לשמש כשלב מוקדם לאפליקציות זיהוי –
פרצופים.נרמול התמונה ע"י מיקום תווי הפנים.•זיהוי הפנים ע"י השוואת תווי הפנים )למשל עיניים( .•
Symmetry Application '34שקף מס 08/06/2005
שימושים
שורה עליונה סדר התמונות משמאל לימין• התמונה המקורית. 1..eigenvectors (PCA)השלכה של התמונה על 2..325 eigenvectors.ראשונים .440 eigenvectors.ראשונים
שורה תחתונה – אותם פעולות רק לאחר שנרמלנו את התמונה לפי מיקום העיניים והפה.•
Symmetry Application '35שקף מס 08/06/2005
אופרטור סימטריה
נק' כלשהי•נגזרות העוצמה•וקטור שייך לנק'•עוצמת התנועה של הוקטור•כיוון התנועה של הוקטור•Pקבוצת הנק' הסימטריות לפי •פונקצית משקל המרחק•
),...,1( ),( Kkkkk yxp ),( kkk ppp
yx
),( kkk rv )1log( kk pr
)/arctan( kkk ppxy
}|),{()(2
pjip ji pp
22
1 exp),( ji ppjiD
Symmetry Application '36שקף מס 08/06/2005
אופרטור סימטריה
היא הזווית בין קו האופק לקו pj, αij ו-piלכל שתי נק' •העובר ביניהם.
פונקצית משקל הפזה•
pj ו-piהתמורה של נק' •pמידת הסימטריה של כל נק' • עם התרומה הגדולה pi pj הוא β(p)כיוון הסימטריה •
ביותר.הגדרת הסימטריה של כל נק'•
))cos(1))(2cos(1(),( jiji ijjiP
jirrjiPjiDjiC ),(),(),(
)(),(
),()(pji
jiCpM
))(),(()( ppMpS
Symmetry Application '37שקף מס 08/06/2005
מציאת מיקום העיניים והפה
התמונה מקורית.1.
שפות שתקבלו מקונבולוציה עם 2.נגזרות של מסכה גאוסנית בשני
כיוונים.
Symmetry Application '38שקף מס 08/06/2005
מציאת מיקום העיניים והפה
מוצאים את קו האמצע של הפנים3.מבצעים קורלציה גלובלית של נגזרות –
העוצמה של החצי השמאלי והימני של התמונה.
מתבצע בכיוונים שונים והקו אמצע –נקבע לפי הקורלציה הטובה ביותר.
לאחר מציאת קו האמצע מצפים –שהעיניים יהיו משני צדי הקו והפה
יחצה את הקו. ושיהיה יחס גיאומטרי בין השלושה.
מבצעים את אופרטור הסימטריה4. התוצאה דומה לייצוג שפות ולכן ניתן –
edgeלעבד בטכניקות דומות כמו linking.
Symmetry Application '39שקף מס 08/06/2005
מציאת מיקום העיניים והפה
השלכה של מפת הסימטריה לאורך 5.האנך לקו האמצע.
הסימטריה המצטברת 6.כל נק' סימטריה מוסיפה לערך 1.
המצטבר שלה חלק מהערך המצטבר של השכנים השמאליים שלה באופן
רקורסיבי.
כך גם הערכים של השכנים הימנים.2.
שני הערכים)ימין ושמאל( מוכפלים.3.
כך כל מרכז קלסטר סימטריה נהפך למקסימום מקומי.
Symmetry Application '40שקף מס 08/06/2005
מציאת מיקום העיניים והפה
דרך נוספת לצמצם את 7.המידע במפת הסימטריה היא
לדכא את ערכי הסימטריה אשר לא מכסימליים בכיוון
האנכי לכיוון הסימטריה שלהם.
ניתן לשמור את ערכי השפות 8.התורמות ערך סימטרי גבוה,
למען סגמנטציה.
Symmetry Application '42שקף מס 08/06/2005
Facial Asymmetry Quantification for Expression Invariant Human Identification
Yanxi Liu , Karen L. Schmidt , Jeffery F. Cohn and Sinjini Mitra
Symmetry Application '43שקף מס 08/06/2005
Facial Asymmetry Quantification for Expression Invariant Human Identification
שיפור אפליקציות לזיהוי פנים.•קביעת צורות של מדידת אסימטריה בפרצוף •
החישובית פשוטה.שילוב מידע האסימטריה עם אפליקציות לזיהוי פנים •
(EigenFace , FisherFace.)
Symmetry Application '44שקף מס 08/06/2005
מוטיבציה
פנים אינם סימטריים.•
האסימטריה גוברת •בזמן הבעות.
אסימטריה בפנים •כנראה תורמת לזיהוי
פרצופים אצל בני אדם.
האם אסימטריה יכולה •לתרום לזיהוי פרצופים
במכונות.
Symmetry Application '45שקף מס 08/06/2005
מדידה של כמות האסימטריה
:D-faceהפרש העוצמות •:S-faceדמיון כיוון השפות • גבוה יותר כך הפנים אסימטריות יותר.D-faceככל שערך • גבוה יותר כך הפנים סימטריות יותר.S-faceככל שערך ••S-face סימטריות )נובע מצורת הבנייה( ו D-face
הופכיות לכן חצי מהן מכילות את כל המידע הדרוש.
–I-ו I’.מיצגים חצי פרצוף –Ie-ו I’e.מיצגים את השפות של חצי פרצוף הזוית בין שני כיווני השפות.–
),(),(),( yxIyxIyxD )cos(),( ),(),,( yxIyxI eeyxS
),(),,( yxIyxI ee
Symmetry Application '46שקף מס 08/06/2005
מדידה של כמות האסימטריה
התמונה השמאלית – פרצוף מנורמל• D-faceהתמונה האמצעית – •S-faceהתמונה הימנית – •
Symmetry Application '48שקף מס 08/06/2005
הורדת מימד הנתונים
אנחנו מחשבים את ממוצע •-S ו-D-faceהערכים של
faceלאורך הצירים •Dx ממוצע העמודות של -
Dתמונה עליונה–
•Dy ממוצע השורות של – Dתמונה תחתונה–
•Sx ממוצע העמודות של – S
•Sy ממוצע השורות של – S
Symmetry Application '49שקף מס 08/06/2005
Augmented variance ratio )AVR(
ciFjFiji
fi
F
SmeanSmeanSVar
C
SVarFAVR
..1 ))()((min)(1
)()(
Symmetry Application '51שקף מס 08/06/2005
AsymmetryFaces
•D-ו S הם הפעלת PCA על D-face-ו S-face ולקיחת k מהשוני במידע.95%הרכיבים העיקריים האחרים על
Symmetry Application '52שקף מס 08/06/2005
לזיהוי פרצופים)AsymmetryFaces)AFשימוש ב
ומסדרים את feature לכל מימד AVRמחשבים את 1. בסדר לא עולה.featuresה
forward feature subset selection מבצעים 2.מנקה מידע לא קשור ומידע שחוזר על עצמו.
Linear Discriminant Analysisמבצעים 3.(LDA).ובודקים את המידע בתת מרחב הנבחר
.4FF(FisherFace)+AF מוספים את רכבי ה PCA ולאחר מכן FF )בסדר קודם רכיבי 1 לשלב FFשל
(.AFרכיבי
Symmetry Application '54שקף מס 08/06/2005
סיכום
יישומים של סימטריה :3סקרנו בהרצאה
מוצאים תבנית סימטרית מסרט, ואז בעזרת פעולות 1.של מציאת קבוצת סימטריה ומדידת מרחק
סימטריה ניתן לזהות אדם וחלקי גוף.
מוצאים אזורים מענייניים בתמונה לפי מידת 2.הסימטריה שלהם.
שיפור זיהוי פרצופים בעזרת מדידת כמות 3.האסימטריה של הפרצוף.
Symmetry Application '55שקף מס 08/06/2005
ביבליוגרפיה
•Gait Sequence Analysis using Frieze Patterns–Yanxi Liu, Robert T.Collins and Yanghai Tsin
•Robust Detection of Facial Features by Generalized Symmetry
–Daniel Reisfeld and Yehezkel Yeshurun•Facial Asymmetry Quantification for Expression
Invariant Human Identification–Yanxi Liu , Karen L. Schmidt , Jeffery F. Cohn and
Sinjini Mitra•A tutorial on Principal Components Analysis
–Lindsay I Smith•Eigenface-based facial recognition
–Dimitri PISSARENKO•www.Google.com