Красимира ИвановаКрасимира Иванова

За областта “Извличане, основано на съдържанието на изображенията”изображенията

Специфика на естетическото възприятие

Цветът - различни гледни точкиЦветът различни гледни точки

Семантика на цвета

Цветови моделиЦветови модели

Хармонии и контрасти – предложени характеристики: проектиране, програмни примитиви, интеграцияпроектиране, програмни примитиви, интеграция

Експерименти и анализ

2

3

1992г - Тошикацу Като (експерименти за автоматично извличане по цвят и форма от картини съхранени в база от данни)от картини, съхранени в база от данни)

В фВсяка технология, която помага да се организират цифрови изображения въз основа на тяхното съдържание.

В началото – търсене на базата на визуално сходство между дадена снимка или скица и снимки, съхранявани в цифров д д ц , р ц фрресурс

Днес – полезни асистенти за търсене на обекти както чрез визуално, така и чрез семантично сходство

4

Вътрешно пространствоВътрешно пространство::Проектиране на характеристиките (Feature design)математическо описание на изображенията –под формата на сигнатури (комплекти от визуални характеристики) [Datta, 2010]р р ) [ , ]

Индексиране (Indexing)организиране на базите от изображения с цел ефективно съхранение и бързо търсене

ИзвличанеИзвличане

Заявка Превод във вътр. формат Търсене

5

Представяне на резултатитеПроверка за съответствие

Видове: цвят (MPEG7…), текстура (visual vocabularies...), форма (ART…), забележителни точки (ръбове,била,ъгли,петна; SIFT, SURF, LESH, GLOH…), пространствени релации (partitioning, segmentation) ...р р р ц"проклятието на размерността" [Bellman, 1961]

6

7

Измерването на сходството между два обектаИзмерването на сходството между два обекта

8

Във вътрешното пространство

Групиране (clustering);Групиране (clustering);

Категоризация (categorization);

Подобряване удовлетворяването на потребителските заявки

Обратна връзка за съответствие (relevance feedback)

Многомодалeн синтез (multimodal fusion)

Онтологии (ontologies)• Общи - WordNet;• За описание на артефакти – IconClass или CDWA;• Getty Vocabularies - AAT, ULAN, TGN, CONA.• thesaurus of brushwork terms [Marchenko et al, 2007]

9

10

( )1. Сензорна пропаст (sensory gap) [Smeulders et al, 2000] –разликата между обекта в реалния свят и способността на машината за представяне на този обект в цифровия свят.

-Picasso's Guernica: 3.59 m x 7.76 m-The miniatures of Isaac and Peter Oliver: 2.5 cm x 2.5 cm

Digitised art images: quality and usage

Detail of the photo of the Goya's painting"A Hunter and his dog"

11

from Prado Museum

User question: “Answer to Life, the Universe, and Everything“.S h h f ½ illiSupercomputer Deep Thought answer after 7½ million years: “42“.

Douglas Adams

2. Cемантична пропаст (semantic gap) [Smeulders et al, 2000] -липсата на съвпадение между • информацията, която машината извлича от визуалните данни, • и семантичните понятия, използвани от човека, за изразяване

на търсенията муна търсенията му.

12

3. Cубективна пропаст (subjective gap) [Agrawal, 2009] –трудността да бъдат описани потребителските нужди в рационална форма.

[Castelli and Bergman, 2002] - междинно ниво на извличане от [ g , ] двизуалното съдържание, свързано с емоционалното възприятие на изображенията.

4. Абстрактни аспекти (abstract aspects) [Hurtut, 2010] –специфични за обектите на изкуството и се изразяват основно в:специфични за обектите на изкуството и се изразяват основно в: • културните особености на средата, • индивидуалната изразителност на автора • и техническите специфики.

13

[Jaimes and Chang, 2002] :d• Received percepts

• Abstract concepts

[Burford, Briggs & Eakins, 2003] [Hurtut, 2010]

[Ivanova, 2011] :

14

15

Физика, Химия, Математика, Физиология, Психология

• Трихроматична теория – рецептори в ретината на човешкото око, отговарящи за трите основни цвята (BGR)Thomas Young (1801), Hermann von Helmholtz (1850), Gunnar Svaetichin (1956)

• Опонентна теория – три канала-антагонисти: червено-зелено, синьо-жълто черно-бяло (ахроматичен) в областта на оптичнитесиньо жълто, черно бяло (ахроматичен) в областта на оптичните връзки между очите и мозъкаLeonardo da Vinci (c. 1500), Ewald Hering (1872), Leo Hurvich & Dorothea Jameson (1950s)

• Ретинексна теория – постоянство към възприемането на цвета при промяната на осветеността (в определени граници)при промяната на осветеността (в определени граници)Edwin Land (1971)

16

Психология – влиянието на цвета върху човешкото възприятие(Colour perception)

• Интерференция на вълните – поантилизмът на Seurat• Законът за взаимна индукция на Павлов при възприятие на цветовете:

• Едновременен контраст (Simultaneous), Michel Eug. Chevreul (1839)

• Последователен контраст (Succesive), afterimage effect

човешкото око е удовлетворено (в равновесие)човешкото око е удовлетворено (в равновесие)

17

човешкото око е удовлетворено (в равновесие) човешкото око е удовлетворено (в равновесие) само когато са налични допълващите се цветовесамо когато са налични допълващите се цветове

/Семиология/семиотика

Дълбокото напластяване на религиозни, социални, исторически морални етични психологически и присторически, морални, етични, психологически и пр. символики понякога води до невъзможност да се открие каква е основната афективна стойност на даден цвят.

Румен Райчев

Изобразително изкуство

Визуалните, умствените и духовните възприятия взаимно се координират и съотнасят в сферата на цвета и цветовото изкуство.

J h IttJohannes Itten

18

19

Първата половина на XX век - школата "Баухаус" за визуално-пластични изкуства, дизайн и занаяти

Josef Albers (1888-1976). “The Interaction of Colour” (1963)Светло / тъмно (Light/dark value contrast)Д (C l t ti )Допълване (Complementary reaction)Изваждане (Subtraction)

Adolf Hoelzel (1853-1934) :Контраст на нюансаСветло / тъмно

Johannes Itten (1888-1967) :Контраст на нюансаКонтраст светло/тъмно

Топло / студеноДопълванеЛъскаво / матово

Контраст топло/студеноКонтраст на допълванеЕдновременен контраст

20

Много / малкоЦветно / ахроматично

р рКонтраст на наситеносттаКонтраст на пропорциите

"Picasso's blue period was characterized by his dominant use of a monochromatic blue color scheme to enhance the melancholy subjects of the paintings"

Picasso: La Vie (1903)

paintings"[Koenig, 2010]

Picasso: The Tragedy (1903)MonochromaticMonochromatic

Monochromatic and analogous schemes are very harmonious and emphasize visual unity.

21

Monet: Ice Floes Misty Morning, 1894Analogous: blue / blue-green

Picasso: The Girl with a Goat (1906)Analogous: yellow/orange

Theotokos of the Passion (13th-15th c.)Contrast of Hue is often used in Icons

Botticelli: Lamentation over the Dead Christ (1490-1492)

"The totality of hues symbolizes the cosmic significance of the epochal event" [Itten,1961]

22

Cezanne: Apples and Oranges (1895-1900)Double Complementary - red/orange and green/blue[Itten,1961]

Rogier Van der Weyden: Deposition (1436) Primary triad - red, yellow, blue [Koenig, 2010]

Friedrich: Woman before the Setting Sun (1818)Warm

Friedrich:

Friedrich:Monk by the Sea (1808)

Cold

Neubrandenburg (1816)Cold-Warm

23

Gris: Landscape with Houses at Ceret (1913)

Braque: Still Life with Mandola and Metronome (1909)

24

Monet: Water Lilies 1908

Rembrandt: Portrait of Saskia (1633)Light-Dark Contrast

Monet: Water Lilies, 1908Light-middle, smooth

Mucha: Flower Lily (1898) Monet: Water Lilies, 1915Dark middle smooth

25

van Gogh: Cafe Terrace at Night (1888)Light-Dark Contrast + Opposite hues Yellow/blue

Very Light Dark-middle, smooth

26

http://www.colorsystem.com/

• Цветови модел: абстрактен математически модел за описване на цвета като числов вектор, обикновено с три/четири атрибута (цветови компоненти)

27! цветови модел <> цветово пространство

Runge (1807):“прост символ на светата троица”синьо червено жълто

Newton (1666):

– синьо, червено, жълто

Lambert (1772):cinnibar King’s yellow andNewton (1666):

7 цвята в съответствие с музи-калните интервали в октавата

cinnibar, King s yellow and azurite – първата тримерна система

28Munsell (1905-16)

• RGB използван за представяне на изображенията• RGB – използван за представяне на изображенията, но трудно четивен от потребителите.

• HSL - Hue Saturation LightnessRED

MAGENTA

YELLOW

Hue: 0..3600 и "-1" за ахроматичните; Saturation: 0 (сиво) to 1 (чисто)Lightness: 0 (черно) to 1 (бяло)

HSL Hue, Saturation, Lightness

BLUE

CYANGREEN

Lightness: 0 (черно) to 1 (бяло)

Conversion from RGB to HSL:

R G B in [0 255]; max = max(R G B); min = min (R G B)

0 if =

1 if 2

max minmax minS max minmax min

⎧⎪⎪

−⎪= + ≤⎨ +⎪

o o o

0 if

(60 360 ) mod 360 if

max minG B max R

max minH B R

=−× + =−

= −

⎧⎪⎪⎪⎪⎨

max minL +=

R,G,B in [0,255]; max = max(R,G,B); min = min (R,G,B)

1 if 22 ( )

max minmax min max minmax min

+⎪−⎪ + >⎪ − +⎩

o o

o o

60 120 if

60 240

B R max Gmax minR G

max min

× + =−−× +−

if max B

⎨⎪⎪⎪ =⎪⎩

2* 255L

YCbC ф б0.299* 0.587* 0.114*

255R G BLuma + +=

• YCbCr – използван за съхраняване и трансфер на видеоизображения.

Hue – от HSL-модела; с отчитане на изместването на цветовия кръг, въприет от

RED

VIOLET

ORANG

E

художниците BLUE

GREEN

YELLOW

Saturation – от HSL-модела (и HSV)

Luma - от YCbCr-моделаLuma от YCbCr модела

30

31

Цветова хистограма -> тримерен масив, съдържащ фракциите на съответните цветове, базирани на квантуването на атрибутите на HSL-artists color model.

Fuzzy function for calculating quantization part of colour

characteristic.

{ ( ) | 1 1 0 1 0 1}A A ih i il ih NH i NS il NL{ ( , , ) | -1,..., -1; 0,..., -1; 0,..., -1}A A ih is il ih NH is NS il NL= = = =

Вектор на нюанса

1

1

1 1

1 :

< i i

p

n n

p pi i

nh if h xnh

nh n if h x and h x−

= ≥⎧⎪⎨

= ≥⎪⎩

∑ ∑

32Вектор на наситеността, вектор на светлотата – по същия начин

1 1i i= =⎩

Функции-примитиви за нюанса

33

34

Фамилии от цветове: pwarm, pcold, pneutral.pwarm, pcold, pneutral.

warmwarm

cold

neutralneutral

warm-cold

lwarm-neutral

cold-neutral

35

КомбинацииКомбинации

Clear/Dull Contrast:• soft/sharp for light images,• ground/spectral for images with medium lightness, • dull/clear for dark images

Light/dark contrast:k k l l h l h• very dark, dark, middle, light, very light,

• dark-light, light-dark, etc.36

Основни функции:

Въвеждане на данни

Извличане на визуални х-киИзвличане на визуални х-ки

Интерфейс за заявки

Обработка на заявките

Визуализация

Връзки с други системи (пакети):Връзки с други системи (пакети):

MILOS, CLUTO

ORANGE, WEKA, PaGaNe

37

38

iMovement ArtistIcons (60) Icons (60)Renaissance (90) Botticelli (30); Michelangelo (30); Raphael (30)Baroque (90) Caravaggio (30); Rembrandt (30); Rubens (30)Romanticism (90) Friedrich (30); Goya (30); Turner (30)Impressionism (90) Monet (30); Pissarro (30); Sisley (30)Cubism (90) Braque (30); Gris (30); Leger (30)Modern Art (90) Klimt (30); Miro (30); Mucha (30)

Weka:OneR (decision rules)JRip (=RIPPER decision rule)J48 (=C 4.5 decision tree)

39

( )PaGaNe:

PGN (CAR classifier) [Mitov, 2011]

Икони (контраст на нюанса сИкони (контраст на нюанса с използване на чисти цветове)

Барок (маслени бои, ателиета свещи)Причини за доминиране на топлите цветове:

• Цвета на лицата и телатаЦвета на лицата и телата• Лаковете с времето - жълтеникав оттенък• Синьото и зеленото – не издържат на влияние на светлината

• Специфики в художествените практики

40

Специфики в художествените практики (кафяво вместо зелено)

41

Частични триади:Триади: в картините на автори Частични триади:в Импресионизма -

представяне на природата(Pissarro, Sisley )

Триади: в картините на автори, чиито техники са базирани основно на този тип контраст(Botticelli and Goya)

Частични триади: и в силно абстракт-

ните картини от КубизмаКубизма

(Gris, Leger)

Монохроматични и аналогови: когато се използва друга форма на експресиянапр. светлотата: “light-dark contrast” в Барока; “gradient expressions” в стила на Braque ...

Студени тонове:Студени тонове: представяне на

природата в Импресионизма

Топли цветове в иконите:златен фон и червен цвят като символ на

43

жертвоприношението Тъмни топли цветове –специфични за Барока

44

Baroque

45

1. Нов методологичен подход за интегриране на извличането на цветовите характеристики спрямо по-високо семантични концепти

2. Предлагане на цветови модел, подходящ за извличане на характеристиките, описващи хармониите и контрастите.

3 Формално описание на (някои от) хармониите и контрастите от гледна3. Формално описание на (някои от) хармониите и контрастите от гледна точка на трите основни характеристики на цвета – нюанс, наситеност и осветеност.

4. Описание на примерна архитектура и разработка на експериментална система за извличане, основано на съдържанието на изображенията.

5 Провеждане на експерименти върху използването на системата за5. Провеждане на експерименти върху използването на системата за различни задачи (търсене на сходство, удовлетворяване на потребителски заявки, описателен и прогнозен анализ).

46

Анализ на възможностите за използване ORB-описатели [Rublee et al, 2011], като основа за дефиниране на концепти от[Rublee et al, 2011], като основа за дефиниране на концепти от по-високо ниво;

Фокусиране върху процеса на изхвърляне на малко значещи атрибути при извличането на знания с цел постигане на по-ясни и по-бързи резултати;

П бПрилагане на вече извлечените, както и нови атрибути и съответните методи в областта на анализ на източната иконографска живопис по школи и тематика в иконите.

47

Красимира ИвановаКрасимира Ивановаkivanova@math bas bgkivanova@math bas bgkivanova@math.bas.bg kivanova@math.bas.bg

48

[Jaimes and Chang, 2002] Jaimes, A., Chang, S.-F.: Concepts and techniques for indexing visual semantics. Image D t b S h d R t i l f Di it l I J h Wil & S 2002 497 565Databases: Search and Retrieval of Digital Imagery. John Wiley & Sons, 2002, pp. 497-565.

[Burford et al, 2003] Burford, B., Briggs, P., Eakins, J.: A taxonomy of the image: on the classification of content for image retrieval. Visual Communication, 2(2), 2003, pp. 123-161.

[Hurtut 2010] Hurtut T 2D Artistic Images Analysis a Content based Survey[Hurtut, 2010] Hurtut, T. 2D Artistic Images Analysis, a Content-based Survey. http://hal.archives-ouvertes.fr/hal-00459401_v1/

[Itten, 1961] Itten, J.: The Art of Color: the Subjective Experience and Objective Rationale of Color, Reinhold Publishing Corporation of New York, 1961.

[Koenig, 2010] Koenig, B.: Color Workbook, Prentice Hall, Third edition, 2010, 242 p.

[Arnheim, 1974] Arnheim, R.: Art and Visual Perception: A Psychology of the Creative Eye. University of California Press, Berkeley, 1974.

[Holte, 1993] Holte, R.: Very simple classification rules perform well on most commonly used datasets. Machine Learning, Vol. 11, 1993, pp.63-91.

[Cohen, 1995] Cohen, W.: Fast effective rule induction. In Proc. of the 12th Int. Conf. on Machine Learning, Lake Taho, California, Morgan Kauffman, 1995.California, Morgan Kauffman, 1995.

[Quinlan, 1993] Quinlan, R.: C4.5: Programs for Machine Learning. Morgan Kaufmann Publ., 1993.

[Mitov, 2011] Mitov, I.: Class Association Rule Mining Using Multi-Dimensional Numbered Information Spaces. PhD Thesis, Hasselt University, Belgium, 2011., y, g ,

[Rublee et al, 2011] Rublee, E., Rabaud, V., Konolige, K., Bradski, G.: ORB: An Efficient Alternative to SIFT or SURF. In Proc. of ICCV 2011, Barcelona, pp.2564-2571.

49