ambient intelligence ws 2016/17 · ambient intelligence ws 2016/17 vorlesung 3 –grundlagen...

Ambient Intelligence

WS 2016/17

Vorlesung 3 – Grundlagen Context-Awareness

FB Informatik | GRIS | Fraunhofer IGD

Dr Helmi Ben Hmida


Matrix Vorlesungen

Ambient

Intelligence

Einführung

Interaktion

Sensoren,

Aktoren&

standards

Context

Awarness

Hardware

Interoperabilität

Software -

Semantische

Interoperabilität

Implizite

Interaktion

Explizite

Interaktion

Prototyping

von AmI

Block 1


Block 2

Interoperabilität

Block 3

User Interaction

Block 5

Smart Living technologie,

anwendungen & zukunft

Organisation &

Einführung

Zukunft

von AmI ANdreas

Kapazitive

Systeme

AmI in Praxis

universAAL

Block 4

Sicherheit

Security of AmI

systems

Identification

technology in

AmI systems


Agenda

Einführung

Was ist Kontext?

Beispiele, Motivation, Definition

Architekturen

Kontextmodellierung

Kontextkomponenten

History

Reasoning

Zusammenfassung

Beispiel


Introduction

Over the past few years there were advancements in the

technologies enabling Internet of Things (IoT)

Sensors

RFID

M2M

Protocols (WiFi, Bluetooth, ZigBee, Z-Wave, 2G/3G/4G cellular )

….

As a result of advances in sensor technology sensors are getting

smaller, cheaper, faster and easier to use

This leads to the large number of sensor deployments


Introduction

In the Internet of Things (IoT) everyday objects:

Embedded with sensors and actuators

Connected to the Internet

Can communicate with each other

This interconnection and communication enables a lot of

applications in IoT domains

Smart living is one of the application area of the IoT


Introduction

Situation awareness is a key feature in a smart living environment,

especially in ambient assisted living environments & AMI systems

Real-time situation recognition is important

to recognize situations

to detect anomalies

to provide an assistance in real-time for elderly or people with

disabilities


Introduction

For situation recognition data needs to be

collected, analyzed and processed


Communicating ideas Reacting to situations

Situational information Needs human input

Common language

Understanding of the world

Implicit knowledge

Introduction


Agenda

Einführung

Was ist Kontext?


Architekturen

Kontextmodellierung

Kontextkomponenten

History

Reasoning

Zusammenfassung

Beispiel


Definition von Context – Linguistische Wurzeln

con·text (kòntêkst)

1. Teil eines Textes oder einer Aussage welches ein bestimmtes Wort

oder eine Passage umgibt und welches seine Bedeutung bestimmt.

2. Die Umstände unter welchem ein Ereignis eintritt

Bsp: Google Spracherkennung:

Wer ist Barack Obama?

Wie ist der Name seiner Frau?

(„seiner“ wird durch den Kontext – die vorherigen Suchanfragen -

bestimmt)

Definition: Context / Context-awareness /

Reasoning

Anind Dey –

Understanding and using

context (2001):

Context is any information

that can be used to

characterize the situation of

an entity (a person, place, or

object).

A system is context-aware if

it uses context to provide

relevant information and/or

services to the user, where

relevancy depends on the

user’s task.

Tazari et al – The universAAL

Reference Model for AAL (2010):

From an AmI system point of view,

context is data that can be shared within

a system based on a set of shared

models.

Context-awareness is the quality of

utilizing relevant parts of the contextual

knowledge when performing actions in

the virtual realm.

Reasoning: Using context for facilitating

context-awareness, e.g., inferring and

adding new facts to context.


What is context?

“Context is any information that can be used to characterize the situationof an entity. An entity is a person, place, or object that is considered

relevant to the interaction between a user and an application, including theuser and applications themselves” – Dey,1999

„a combination of elements of the

environment that the user ’s

computer knows about“ - Brown.

1996

Use w-questions!

•

•

•

Where are you?

Who are you with?

What tools are available?

22.09.16 | Fachbereich Informatik | Seminar miiu | Fabian Kessler, Alexandra Kunz|

2


What is context awareness?

Make computer systems aware

accordingly to changes within

of their surroundings and act

the environment.

Examples:

•

•

•

•

•

SMART Home

Recommender Systems

E-Health

Industry 4.0

Pervasive Games

22.09.16 | Fachbereich Informatik | Seminar miiu | Fabian Kessler, Alexandra Kunz | 3


Das What, Who, Where, When, und How von

Context

What: Was passiert gerade? Was sind die wichtigen Parameter?

Who: Wer interagiert mit dem System? Wer benutzt das System?

When: Wann passiert es?

Where: Wo befindet sich der Benutzer? Wo passiert etwas?

How: Wie interagiert der Benutzer?


Das What, Who, Where, When, und How von

Context-Awareness

What: Was ist der Kontext?

Who: Wer könnte davon profitieren? Welcher Kontext ist für wen

oder was interessant?

Where: Wo kann eine Awareness ausgenutzt werden?

When: Wann ist Awareness sinnvoll?

Why: Warum sind Context-Aware Applikationen sinnvoll?

How: Wie implementieren wir Context-Awareness, so dass wir

Context-Aware Applikationen entwickeln können?

The What, Who, Where, When and How of Context-Awareness

David R. Morse, Anind K. Dey and Stephen Armstrong, Workshop Organizers

Workshop abstract in the Proceedings of the 2000 Conference on Human Factors in

Computing Systems (CHI 2000), The Hague, The Netherlands, April 1-6, 2000, p. 371.


Mögliche Kontextinformationen

Nutzer: Identität, Merkmale, Fähigkeiten, Einschränkungen,

Aktivität, emotionaler Zustand, Ort und Ausrichtung, „focus of

attention“, Präferenzen, etc.

Umgebung: Identität, Merkmale, Ereignisse, sich dort befindliche

Objekte und deren Zustände, etc.

Zeit / Datum / Kalender

Andere Aspekte der momentanen Situation


Context-Aware Systems

Managen Wissen über die Elemente in der Umgebung des

Benutzers

Managen jede Art von Information, die benutzt werden kann, um

die Situation von Entitäten zu charakterisieren, die relevant für die

Interaktion sein könnten (Personen, Objekte, Orte)

Sind fähig, sich ohne Intervention des Benutzers auf dessen

Kontext einzustellen

Zielen darauf ab, die Benutzbarkeit und Effektivität zu erhöhen,

indem sie den Kontext berücksichtigen


Herausforderungen

Jede Entität im System hat nur eine bestimmte Sicht auf den

Kontext (je nachdem welche Modelle sie unterstützt)

Sichten können unterschiedlich sein oder sich überlappen

Es gibt keine Garantie über die Verfügbarkeit von

Kontextinformationen

Kontextinformationen können Gültigkeit verlieren

Kontextinformationen können mit Ungenauigkeiten versehen sein

(Messfehler)

Context-Aware Entitäten müssen fehlertolerant sein


Agenda

Einführung

Was ist Kontext?


Architekturen

Kontextmodellierung

Kontextkomponenten

History

Reasoning

Zusammenfassung

Beispiel


Basic structure of a Context Aware Application

(1)

§

§

(2)

§

(3)

§

§

§

(4)

§

Context Acquisition

Measurments through sensors

User Input

Context Modelling

Use datastructures to organize

Context Reasoning

Deal with uncertainty

Infer about new knowledge

Make decisions

Context Dissemination

Make context available for

application (query, subscription)

Context Lifecycle Model


Genereller Ansatz

Pervasive Layer

Abstract Layer

Situations

Acting

Context

Aquisition

Context

Reason

Context

Distribut.

Context

Modellig


Genereller Ansatz

sensors

raw data retrieval

Preprocessing

storage/management

Application

Sublogo

Genereller AnsatzSensors

21.09.16 | SoSe16 | Fachbereich Informatik | Eric Piegert, Karanveer Chahota | 5

Logical Sensors

Virtual Sensors

Physical Sensors


Genereller Ansatz

Sensoren:

Physikalische Sensoren

Helligkeit, Bewegung, Kamera, Microphon,

Accelerometer, GPS, Thermometer, Biosensoren

Virtuelle Sensoren

von Software: Veränderungen an einem Kalender, E-Mails

Logische Sensoren

Kombination von physikalischen und virtuellen Sensoren

Raw data retrieval (meistens über einen Adapter / Connector):

Treiber und APIs

Query Funktionalität (ex: getPosition()) oder

Notification (ex: handlePositionChanged())

sensors

raw data retrieval

preprocessing

storage/mgmt

application


Genereller Ansatz

Preprocessing:

Auswertung von low-level Daten und ggf. Filterung

Interpretation und Konvertierung Austauschbarkeit

Storage/Management:

Öffentliche Schnittstelle für Applikationen

Synchron (pull/polling) und asynchron (push/subscription)

Applications:

Verwertung der Kontextinformationen

sensors

raw data retrieval

preprocessing

storage/mgmt

application


Anforderungen

Kontextkonsumer möchten normalerweise

Sofort benachrichtigt werden, wenn sich der Kontext ändert (push oder

publish-subscribe Mechanismen)

Existierende Kontextinformationen abfragen können (pull oder request-

response Mechanismen)

Um plug&play von Providern und Konsumern zu ermöglichen,

sollten die Abhängigkeiten zur Entwicklungszeit reduziert werden:

Gemeinsames Verständnis von Kontextinformationen (shared models)

Eindeutige Sprache für den Austausch (data representation)

Einen Mechanismus zur Vermittlung zwischen den Providern und

Konsumern (brokerage)


Attributes of Context

Attributes which are independend

Quality of context

from the data itself:

Relevance of context

Reliability

Validity

Context history


Application

sensors

raw data retrieval

Preprocessing

storage/management

application


When is an application „context-aware“?

„A system is context-aware if it uses context to provide

relevant information and/or sevices to the user, where

relevancy depends on the user‘s task“ (Dey et al.)

Differentiation based on the user interaction (Barkhuus et al.)

1.

2.

3.

Personalization

Passives context-awareness

Active context-awareness


Agenda

Einführung

Was ist Kontext?


Architekturen

Kontextmodellierung

Kontextkomponenten

History

Reasoning

Zusammenfassung

Beispiel


Kontextmodellierung: Ansätze

Key-Value Modelle

Einfache Datenstruktur, z.B. können Informationen (wie

Ortsinformationen) als Umgebungsvariablen den Applikationen zur

Verfügung gestellt werden

Pro: einfach zu verwalten

Con: keine Möglichkeit für komplexe Strukturen



Markup Scheme Modelle

Beispiel: XML

Hierarchische Datenstrukturen durch markup tags mit Attributen und

Content

Basiert meist auf der Serialisierung von einem Derivat der

Standard Generic Markup Language (SGML)

Oft verwendet für Profile, Konfiguration

Pro: komplexere Strukturen möglich

Con: schlecht erweiterbar



Graphische Modelle

Beispiel: Unified Modeling Language (UML), die eine starke graphische

Komponente hat (UML Diagramme)

Pro: generische Struktur, hohe Flexibilität

Con: schwierig zu verwenden bei großen Modellen



Ontologien

Begriff kommt ursprünglich aus der Philosophie (“die Lehre vom dem,

was ist”)

Kerntechnologie des Semantik Web

Pro: generische Struktur, sehr hohe Flexibilität, erlaubt nicht nur

Modellierung sondern auch Reasoning

Ontologien werden oft für Kontextmodellierung und Reasoning

verwendet

Werden in Vorlesung „Semantische Interoperabilität“ genauer

betrachtet, hier nur eine kurze Einführung


Einführung Semantic Web

URI: Uniform Resource Identifier, ID

spezielle Form: URL, z.B.:

http://ima.igd.fraunhofer.de

RDF: Resource Description

Framework

beschreibt Resourcen und die

Beziehungen zwischen Resourcen

Resource: alles, was eindeutig

identifiziert werden kann

RDF-Triple: einfache Aussage

(statement), bestehend aus

Subjekt, Prädikat, Objekt

ex:Lampe1 100ex:hatHelligkeit


Einführung Ontologien

Ontologien können mit OWL beschrieben werden; OWL baut auf RDF auf

Mit Ontologien beschreibt/modelliert man Teile der realen Welt, um

dieses Modellwissen dem Computer bereitzustellen

Wir werden uns dem Thema Ontologien noch ausführlich im

Vorlesungsblock Interoperabilität widmen

Bis dahin stellt Euch einfach UML-Diagramme vor, die „Entitäten“ und die

Beziehungen zwischen diesen darstellen (beispielsweise den

Stammbaum aller Säugetiere oder die Bestandteile eines VW Golf)

Ontologien sind die „shared models“

Vgl. Definition Context:

“From an AmI system point of view, context is data that can be shared

within a system based on a set of shared models.”


Beispielontologie

isIn


Beispielontologie

Mögliche Aussagen (RDF Triples):

„SmartPhone1“ „carriedBy“ „Reiner“

„Tisch1“ „hasLocation“ „Wohnzimmer“

…

Format: Subjekt-Prädikat-Objekt


Beispielontologie


„SmartPhone1“ „carriedBy“ „Reiner“

„Tisch1“ „hasLocation“ „Wohnzimmer“

…


Bemerkung:

Jedes dieser Elemente

ist eine Resource mit

einer URI


Beispielontologie


Beispielontologie


„Lampe1“ „hasLocation“ „Wohnzimmer“

„Lampe1“ „brightness“ „100%“

…



Agenda

Was ist Kontext?


Architekturen

Genereller Ansatz, Komponenten, Exkurs universAAL

Kontextmodellierung

RDF/OWL, Ontologien

Kontextkomponenten

History

Reasoning

General-purpose: forward-chaining, backward-chaining

Special-purpose


Kontext History

Datenbank mit Kontextinformationen

Speichert alle Kontextinformationen

Funktionalität zum Abfragen existierender Kontextinformationen

Kann für Langzeitanalysen verwendet werden


Kontext History – Mobile Synchronization

Herausforderung: Synchronisierung mit mobilem Gerät

Gesamte History kann zu groß sein


Reasoning

Reasoning: erzeuge neue Kontextinformationen aus existierenden

Ziel ist oft „Semantic Uplifting“, d.h. höherwertigeKontextinformationen erzeugen

Keine einmalige Lösung möglich, weil abhängig von diversen

Datenquellen

(Reasoning-)Methoden (Aggregation, statistische Analyse, Logik, …)

Zwei Kategorien von Reasoner:

Special-purpose Reasoners

General-purpose Reasoners

Context

ReasoningBekannter Kontext

Unterstützung von Kontext-

Sensitivität; z.B., neuer Kontext


What is Context Reasoning?

• Low-Level View (Sensor and Middleware):

••

Inference from low-level context (measurements)e.g. N: 49.873867 E: 8.659117 ->AT_WORK

to high-level context (semantic)

• High-Level View (Application):

• Given the current context, how should the context-aware system behaveaccordingly ? -> Adaption of the Application

e.g. IF AT_WORK -> silencePhone()•


Reasoning Techniques - Supervised


Reasoning Techniques - Unsupervised


Reasoning Techniques - Rules

if if

= eye blinking activity = epileptic spikes

ifif

= sharp alpha activity = muscle activity


Reasoning Techniques - Probabilistic

Route A Route B Route C Route A Route B Route C

43% 33% 24%17% 75% 8%


Reasoning Techniques - Ontological


General-purpose Reasoners mit OWL

General-purpose Reasoning kann mit OWL erreicht werden, Bsp:

Lamp ist Subklasse von Device

Device ist Subklasse von PhysicalThing

Lamp ist Subklasse von PhysicalThing

OWL bietet mehrere Konstrukte, die über die

Strukturbeschreibung hinausgehen

Zwei Klassen sind gleich:

Bsp: „ont1:LiquidContainer“ owl:equivalentClass „ont2:Bottle“

Zwei Objekte sind gleich:

Bsp: „ont1:Lampe1“ owl:sameAs „ont2:WohnzimmerLampe“

…


General-purpose Reasoners mit OWL


General-purpose Reasoning Regeln

Reasoning kann realisiert werden durch die Verwendung von

Regeln

Die Menge der vorhandenen Daten wird auch „Knowledge Base“

(KB) genannt, das Reasoning anhand dieser Knowledge Base

wird auch „Inferenz“ genannt

Bsp für Regel (im Stille von „Prolog“):

hasParent(x,y) AND hasBrother(y,z) hasUncle(x,z)

Für Inferenz für Regeln im Format „if-then“ gibt es im wesentlichen

zwei Methoden:

Forward-chaining

Backward-chaining


Reasoning Techniques - Fuzzy


Overview / Conclusion

• Each approach has its advantages and disadvantages

•

•

•

e.g. Supervised Learning: more different classes require lot of training data

e.g. Unsupervised Learning: no before defined classes lead to imprecision

e.g. Fuzzy Logic: more natural representation, but instead time-consuming

Classification: Supervised Learning, Unsupervised Learning, Fuzzy

Logic, Probabilistic Logic

Ontologies

Rules

Relations:

Adaptation:


Improving Reasoning Perfomance &Future Research Directions

Hybrid Reasoning

• Combine two reasoning techniques to cancel out their

disadvantages and obtain a more general /flexible system

Reinforcement Learning through User Feedback

• Let users make feedback about the behaviour of the system

better services and adaptability to users preferences

for

Distributed Reasoning in the Internet of Things

• Distribute computational capacity across multiple devices and

reasoners (decentralized approach)

GOAL: Improve Reasoning Performance (Accuracy, Computational Costs)


Hybrid Reasoning

• Each Reasoning technique has its downsides

•

•

Ontologies are not suited for physical activities

Supervised Learning algorithms require lots of training data

• Complex reasoning in real environments needs to handle

a variety of circumstances accurately

Solution:

• Integrate different reasoning techniques to obtain more

flexible and general systems

Cancel out downsides through combination•


ActivO Ontology

Ontology contains different

•

•

•

Activities (e.g. Physical, Personal, Traveling)

Locations (e.g. InsideLocation, OutsideLocation)

Artifacts (e.g. Sink, Projector, Blackboard)

These definitions are used by a DPA(Derivation of Possible Activities) Algorithm which results in a matrix of potential activities


Combination of Ontology and StatisticalReasoning

Example: Alice

activities with

is in the Woods and the activity classifier has classified

certain probabilities

„Walking downstairs typicallydoesn‘t happen in a Wood

environment!“

-> Strolling is inferred


Reinforcement Learning through UserFeedback

• Usually a rule-based set is specified for all possible contextual

configuations

• Problem: If there is no rule, the system doesn‘t really know what to do

• User feedback adapts behaviour of the system

•

•

e.g. reduces the overall need for initial training data

e.g improves adability by generating new training data

• Adaptability is a key feature in SMART Home Environments

comfort and satisfaction to a broad range of different users

to provide


Reasoning Performance

Efficiency, Soundness, Completeness

• Efficiency: Does the system get the most accurate results with the

least amount of data and computation?

Completenesss: Does the system work for a variety of different

contexts?

Soundness: Does the system produce valid actions?

•

•

Uncertainty

•

•

Sensor data and physical context are imperfect and uncertain

Uncertain data can lead to wrong inferences and the system

performing the wrong actions

Reasoners have to deal with uncertainty!•


Agenda

Einführung

Was ist Kontext?


Architekturen

Kontextmodellierung

Kontextkomponenten

History

Reasoning

Zusammenfassung

Beispiel


Context Life Cycle


Context-aware Features

• Presentation

• Execution / Reasoner

• Tagging


Context Types

A lot of possible context types exist:

Parera et al. 2014Conceptual Perspective.

Location, time, identity and activity

•

•

Primary

SecondaryOperational Perspective


Context Life Cycle - Acquisition

Five ways to collect context data:

Based on responsibility

Push-, Pull method

Based on frequency

Instant/Interval events

Based on source

Directly from sensor, though

Based on sensor types

middleware, context server

Physical sensor, virtual sensors, logical sensors

Based on acquisition process

Through sensing, deriving, manual input


Context Life Cycle – Context modeling

Requirements:

Heterogeneity and mobility

Relationships and dependencies

Timeliness

Imperfection

Reasoning

Usability of modeling formalism

Efficient context provisioning


Context Life Cycle – Context modeling

Most popular context modeling

Key-value modeling

Markup scheme modeling

Graphical modeling

Object based modeling

Logic based modeling

Ontology based modelling

techniques


Context Life Cycle – Context reasoning

Most popular reasoning techniques:

Supervised learning

Unsupervised learning

Rules

Fuzzy logic

Ontology based logic

Probabilistic logic


Context Life Cycle – Context distribution

Provides methods to deliver context to the

consumer

All factors mentioned in “Context

are applicable

Acquisition”

Two additional methods:

Query

Subscribtion


Agenda

Einführung

Was ist Kontext?


Architekturen

Kontextmodellierung

Kontextkomponenten

History

Reasoning

Zusammenfassung

Beispiel


Beispiel Context-Aware Systems - WoQuaZ

universAAL IoT interoperability

WoQuaZ-Weiterstadt Germany, universAAL based Smoke Alarm

Service

WoQuaZ-Weiterstadt Germany- universAAL based Summer Blinds

service

WoQuaZ-Weiterstadt Germany- universAAL based night light

service

https://www.youtube.com/watch?v=v1MWWtL0QHc

https://www.youtube.com/watch?v=sRVnfm19AEA

https://www.youtube.com/watch?v=RLQskDFmDP8

https://www.youtube.com/watch?v=aDwORWb8J7M


Matrix Vorlesungen

Ambient

Intelligence

Einführung

Interaktion

Sensoren,

Aktoren&

standards

Context

Awarness

Hardware

Interoperabilität

Software -

Semantische

Interoperabilität

Implizite

Interaktion

Explizite

Interaktion

Prototyping

von AmI

Block 1


Block 2

Interoperabilität

Block 3

User Interaction

Block 5

Smart Living technologie,

anwendungen & zukunft

Organisation &

Einführung

Zukunft

von AmI ANdreas

Kapazitive

Systeme

AmI in Praxis

universAAL

Security of AmI

systems

Identification

technology in

AmI systems

Block 4

Sicherheit

FB Informatik | GRIS | Fraunhofer IGDFB Informatik | GRIS | Fraunhofer IGD

Danke und bis zum nächsten Mal!

ambient intelligence ws 2016/17 · ambient intelligence ws 2016/17 vorlesung 3 –grundlagen...

Documents