internet of things (iot)

54
Construindo a Internet das Coisas Thiago Teixeira Grupo ARLES, INRIA Paris-Rocquencourt August 22, 2011

Upload: ccsl-usp

Post on 14-Nov-2014

1.608 views

Category:

Documents


2 download

DESCRIPTION

As últimas pesquisas na área de Internet da Coisas (Internet of Things) - por Thiago Teixeira - INRIA - França

TRANSCRIPT

Page 1: Internet of Things (IoT)

Construindo a Internet das Coisas

Thiago Teixeira

Grupo ARLES, INRIA Paris-Rocquencourt

August 22, 2011

Page 2: Internet of Things (IoT)

Mini Biografia

1999 2003 2005 2007 2010

Johns Hopkins University Yale University INRIA

USABrazil

B.S. in Electrical Engineering M.S.E.M.S. Ph.D.

Post. Doc.

M.Phil.

France

B.A. in Mathematics

time

bachelorsmastersdoctorateother

from here on, all degrees are in Electrical Engineering

• Johns Hopkins: Graduacao, Mestrado (1999–2005)• Sensory Comm. & Microsystems Lab• Orientador: Andreas Andreou• Tese: “Address-Event Imaging Algorithms and their TinyOS

implementation for Wireless Sensor Networks”

Thiago Teixeira 1 / 28

Page 3: Internet of Things (IoT)

Mini Biografia

1999 2003 2005 2007 2010

Johns Hopkins University Yale University INRIA

USABrazil

B.S. in Electrical Engineering M.S.E.M.S. Ph.D.

Post. Doc.

M.Phil.

France

B.A. in Mathematics

time

bachelorsmastersdoctorateother

from here on, all degrees are in Electrical Engineering

• Yale: Mestrado, Doutorado (2005–2010)• Embedded Networks & Applications Lab (ENALAB)• Orientador: Andreas Savvides• Dissertacao: “A Sensor-Fusion System to Detect, Track, and Identify

People in Realistic Scenarios”

Thiago Teixeira 1 / 28

Page 4: Internet of Things (IoT)

Mini Biografia

1999 2003 2005 2007 2010

Johns Hopkins University Yale University INRIA

USABrazil

B.S. in Electrical Engineering M.S.E.M.S. Ph.D.

Post. Doc.

M.Phil.

France

B.A. in Mathematics

time

bachelorsmastersdoctorateother

from here on, all degrees are in Electrical Engineering

• INRIA Paris-Rocquencourt: Pos-doutorado (2010–presente)• Architecture Logicielles et Systemes Distribues (ARLES)• Pesquisadora chefe: Valerie Issarny• Foco: Um middleware para fusao automatica de sensores na Internet

das Coisas

Thiago Teixeira 1 / 28

Page 5: Internet of Things (IoT)

Area de Pesquisa

• Antes: Sistemas embarcados e sensores para ambientes inteligentes

• Agora: Middleware (para a IoT)

• Informacoes do mundo fısico serao centrais aos sistemas decomputadores futuros(Hoje: servicos baseados em localizacao, redes sociais, geotagging, ...)

• Ambientes Inteligentes: Ambientes que nao so recebem comandos daspessoas, mas tambem reagem e colaboram com elas

• Aplicacoes:• Tratamentos em casa• Assistencia a autonomia• Saude preventiva• Seguranca no trabalho• Entretenimento• etc.

Thiago Teixeira 2 / 28

Page 6: Internet of Things (IoT)

Requisito: Sensoriamento de Humanos

• O que e Sensoriamento de Humanos?

• Fazer uso de propriedades fısicas...

externalmotion

sound

voice

vibration

gait

weight

attenuation

reflectivity

internal motion

scent

shape

emissivity

Static Traits Dynamic Traits Extrinsic Traits

Intrinsic Traits

borrowedproperties

environm.properties

Thiago Teixeira 3 / 28

Page 7: Internet of Things (IoT)

Requisito: Sensoriamento de Humanos

• O que e Sensoriamento de Humanos?

• Fazer uso de propriedades fısicas...

• ...para, atraves de sensores,...

Intrinsic Traits

Static Traits

EmissivityThermal ImagersReflectivityPhotodetectorsCamerasRanging SensorsShapeWeightPressure SensorsContact Sensors ScentChemosensors Internal MotionDoppler-Shift Sens. GaitCamerasDoppler-Shift SensorsWearable Inertial Sens. Acoustic SensorsVibrationInertial SensorsSeismic SensorsAttenuationTomographic SensorsBreakbeam SensorsEF Sensors Extrinsic Traits

Dynamic TraitsWearable Doppler-Shift Sens.Wearable RFIDWearable Ranging SensorsStatic TraitsWearable Landmark Sensors Dynamic Traits

External MotionMotion SensorsWearable Inertial Sens.CamerasPressure SensorsRanging SensorsTomographic SensorsDoppler-Shift SensorsThermal ImagersThiago Teixeira 3 / 28

Page 8: Internet of Things (IoT)

Requisito: Sensoriamento de Humanos

• O que e Sensoriamento de Humanos?

• Fazer uso de propriedades fısicas...

• ...para, atraves de sensores,...

• ...detectar parametros fundamentais

Physiological Properties

Temperature

Blood Pressure

Heart rate

Skin color

etc...

Weight

Observable Properties

Spatio-Temporal Properties

Presence

Location

Count

Track

Identity

Behavioral Properties

Pose

Action

Activity

Behavior

Group Behavior

Unobservable Properties

Thoughts IdeasIntentions etc...

Thiago Teixeira 3 / 28

Page 9: Internet of Things (IoT)

O que se pode fazer com esses parametros?

• Exemplo: Posicao de um paciente dentro de casa1

1Lymberopoulos, Teixeira, Savvides. “Detecting patterns for assisted living: A case study.”, SensorComm2007

Thiago Teixeira 4 / 28

Page 10: Internet of Things (IoT)

O que se pode fazer com esses parametros?

• Exemplo: Posicao de um paciente dentro de casa1

• ...de manha

02:35:60

04:10:70

00:01:70

02:81:70

04:62:70

00:53:70

02:34:70

fridgesink

stoveback door

kitchen tablebath downstairs

basementcouch 2couch 3

front doorstairs bottom

stairs topbath upstairs

back bedroomfront bedroom

Morning Routine

Waking up, using bathroom, going

downstairs

Preparing and eating breakfast

Leaving house

1Lymberopoulos, Teixeira, Savvides. “Detecting patterns for assisted living: A case study.”, SensorComm2007

Thiago Teixeira 4 / 28

Page 11: Internet of Things (IoT)

O que se pode fazer com esses parametros?

• Exemplo: Posicao de um paciente dentro de casa1

• ...ou no fim-de-semana

1Lymberopoulos, Teixeira, Savvides. “Detecting patterns for assisted living: A case study.”, SensorComm2007

Thiago Teixeira 4 / 28

Page 12: Internet of Things (IoT)

O que se pode fazer com esses parametros?

• Exemplo: Posicao de um paciente dentro de casa1

• ...ou varias semanas

• Podemos descobrir se o paciente reagiu positivamente a um novomedicamento?

1Lymberopoulos, Teixeira, Savvides. “Detecting patterns for assisted living: A case study.”, SensorComm2007

Thiago Teixeira 4 / 28

Page 13: Internet of Things (IoT)

Desafios do Sensoriamento de Humanos

• Desafios fundamentais• Ruıdo• Variacoes ambientais• Similaridade com o sinal de fundo• Variabilidade na aparencia• Imprevisibilidade de comportamento• Similaridade entre pessoas

• Desafios praticos• Privacidade: sensores extraem informacoes superfluas• Por si so, toda modalidade de sensor e insuficiente

Thiago Teixeira 5 / 28

Page 14: Internet of Things (IoT)

Comparacao entre Modalidades de Sensores

⇒ E necessario fazer a fusao de diversos sensores

Thiago Teixeira 6 / 28

Page 15: Internet of Things (IoT)

Dissertacao: Extraicao das 5 PropriedadesEspaco-Temporais

TRUE 3

presence count location track identity

information

ground truth

Contribuicoes:1. Metodo para Detectar, Contar, e Localizar pessoas sem uso de “fotos”

2. Fusao de Sensores para Rastrear e Identificar pessoas

Thiago Teixeira 7 / 28

Page 16: Internet of Things (IoT)

Solucao, parte 1: Deteccao, Contagem, Localizacaoatraves de Cameras Cegas

• Cameras bio-mimeticas, incapazes de tirar fotos2

• Cada pixel e um detector de padroes• Cada pixel pulsa ao detectar movimento• Sem imagens a qualquer nıvel (cameras cegas)

• Estimador de maxima verossimilhanca⇒ Coordenadas de cada pessoa

• Leve, e de facil uso

x

y

likelihoodhistogram

pixels

location likelihood mapping

local maximum

detectedperson

(etc...)

2Teixeira et al., “Address-event imagers for sensor networks: Evaluation and modeling”, IEEE/ACM IPSN2006Thiago Teixeira 8 / 28

Page 17: Internet of Things (IoT)

Solucao, parte 2: Rastreamento e Identificacao atraves daFusao de Sensores3

• Cameras: detectar, contar e localizar anonimamente

• Telefones: rastrear e identificar pessoas

existingcameras

mobile phones

coverage gapwireless

access point

3Teixeira et al. “Tasking Networked CCTV Cameras and Mobile Phones to Identify and Localize MultiplePeople”, ACM UbiComp 2010

Thiago Teixeira 9 / 28

Page 18: Internet of Things (IoT)

Solucao, parte 2: Rastreamento e Identificacao atraves daFusao de Sensores3

• Cameras: detectar, contar e localizar anonimamente

• Telefones: rastrear e identificar pessoas

motion

location

motion

location

motion

location

time k-2 time k-1 time k

3Teixeira et al. “Tasking Networked CCTV Cameras and Mobile Phones to Identify and Localize MultiplePeople”, ACM UbiComp 2010

Thiago Teixeira 9 / 28

Page 19: Internet of Things (IoT)

Fusao usando HMM, Identificacao usando AGB

yk3

hidden state

locationdetectionsfrom infrastructuresensors

observations

correspondence between x's and y's unknown

yk1 yk2

John Paul George

xk2 xk3xk1

? ?

Thiago Teixeira 10 / 28

Page 20: Internet of Things (IoT)

Fusao usando HMM, Identificacao usando AGB

yk3

hidden state

locationdetectionsfrom infrastructuresensors

observations

correspondence between x's and y's unknown

yk1 yk2

John Paul George

xk2 xk3xk1

? ?

recover identity associations usingthe z's from wearable sensors

xk1

zk1

yk1

xxk2

zk2

yk2

xk3

zk3

yk3

John Paul George

inertialmeasurementsfrom wearablesensors

Thiago Teixeira 10 / 28

Page 21: Internet of Things (IoT)

Fusao usando HMM, Identificacao usando AGB

yk3

hidden state

locationdetectionsfrom infrastructuresensors

observations

correspondence between x's and y's unknown

yk1 yk2

John Paul George

xk2 xk3xk1

? ?

recover identity associations usingthe z's from wearable sensors

xk1

zk1

yk1

xxk2

zk2

yk2

xk3

zk3

yk3

John Paul George

inertialmeasurementsfrom wearablesensors

• O problema se reduz a umAcoplamento de GrafosBipartidos (AGB)

zk1 yk1

zk2 yk2

zk3 yk3

bipartite graph matching recovers

associations

Thiago Teixeira 10 / 28

Page 22: Internet of Things (IoT)

Fusao usando HMM, Identificacao usando AGB

yk3

hidden state

locationdetectionsfrom infrastructuresensors

observations

correspondence between x's and y's unknown

yk1 yk2

John Paul George

xk2 xk3xk1

? ?

xk1

zk1

yk1

xxk2

zk2

yk2

xk3

zk3

yk3

John Paul George

Each person corresponds toa HMM

xk-11 xxk-12 xk-13

xk-21 xxk-22 xk-23zk-23

yk-22

zk-13

yk-11

• O problema se reduz a umAcoplamento de GrafosBipartidos (AGB)

• Para os pesos, usar Modelo Oculto de Markov (MOM)• Peso = verossimilhanca de que y and z originaram do mesmo x

Thiago Teixeira 10 / 28

Page 23: Internet of Things (IoT)

O que isto quer dizer, matematicamente?

• Agrupar deteccoes em hipoteses de rastros:

θhk = {yj11 , yj22 , · · · , y

jkk }

• Calcular verossimilhanca de cada hipotese (usando MOM):

L(θhk , zi1:k) = max

xik

P (xik|xik−1)P (yjkk |x

ik)P (z

ik|xik)P (xi1:k−1, θ

hk−1, w

i1:k−1)

• Finalmente, identificar a melhor combinacao de hipoteses (usandoAGB):

L(θ1k, z1k) L(θ2k, z

1k) · · · L(θhk , z

1k)

L(θ1k, z2k) L(θ2k, z

2k) · · · L(θhk , z

2k)

......

. . ....

L(θ1k, zik) L(θ2k, z

ik) · · · L(θhk , z

ik)

Thiago Teixeira 11 / 28

Page 24: Internet of Things (IoT)

Resultados

• Exemplo de simulacao, com 3 pessoas em uma area de 10m× 10m:

0 2 4 6 8 10 0

5

1010

20

30

40

50tim

e (s

)

simulation area in meters

stopping

proximityambiguities

0 2 4 6 8 10 0

5

1010

20

30

40

50

time

(s)

simulation area in meters

stopping resolved

ambiguities resolved

initiallyincorrectoutput

resolved

• Multiple-Object TrackingAccuracy (MOTA):

• Simulacoes (2–10pessoas)

• Experimentos (2–4pessoas, 4 cameras)

0 2 4 6 8 10 120.5

0.6

0.7

0.8

0.9

1

Identification Accuracy

mean track length (s)

accu

racy

(MO

TA)

simulation of ideal sensors (mean)

simulation of non-ideal sensors (mean)

simulation of motion camera (mean)

experiment with motion camera (mean)

Thiago Teixeira 12 / 28

Page 25: Internet of Things (IoT)

Ferramentas• BehaviorScope Control Center / PySOS:

Thiago Teixeira 13 / 28

Page 26: Internet of Things (IoT)

Ferramentas

• BehaviorScope Control Center / PySOS:

Thiago Teixeira 13 / 28

Page 27: Internet of Things (IoT)

Portal• BehaviorScope Web Portal:

Thiago Teixeira 14 / 28

Page 28: Internet of Things (IoT)

Portal• BehaviorScope Web Portal:

Thiago Teixeira 14 / 28

Page 29: Internet of Things (IoT)

E, agora sim, chegamos a Internet das Coisas

• O que sao coisas? Sao ao mesmo tempo:• Objetos (do mundo real) com sensores e atuadores• Servicos de software que extraem/inserem informacoes no mundo real

• Podem ser acessadas como servicos quaisquer

• Entao o que muda?

Thiago Teixeira 15 / 28

Page 30: Internet of Things (IoT)

E, agora sim, chegamos a Internet das Coisas

• O que sao coisas? Sao ao mesmo tempo:• Objetos (do mundo real) com sensores e atuadores• Servicos de software que extraem/inserem informacoes no mundo real

• Podem ser acessadas como servicos quaisquer

• Entao o que muda?

Thiago Teixeira 15 / 28

Page 31: Internet of Things (IoT)

E, agora sim, chegamos a Internet das Coisas

• O que sao coisas? Sao ao mesmo tempo:• Objetos (do mundo real) com sensores e atuadores• Servicos de software que extraem/inserem informacoes no mundo real

• Podem ser acessadas como servicos quaisquer

• Entao o que muda?

Thiago Teixeira 15 / 28

Page 32: Internet of Things (IoT)

Prova no. 1: Informacoes de/para Humanos

• Considere a pagina mais editada da Wikipedia45:

• Editada 44320 vezes ≈ 12.8 edicoes por dia

• Pagina media na Wikipedia: 19.21 edicoes no total

• So a ultima versao e acessada → So um “ponto” da serie e essencial4http://en.wikipedia.org/wiki/Wikipedia:Database_reports/Pages_with_the_most_revisions5Fonte, WikiDashboard: http://wikidashboard.appspot.com

Thiago Teixeira 16 / 28

Page 33: Internet of Things (IoT)

Prova no. 2: Informacoes do Mundo Fısico

• Compare com a posicao de uma pessoa em casa durante 30 dias:

• Dados acima sao de 6 sensores somente!

• E ainda assim, sao 41700 pontos por dia!

• A informacao relevante se extende pelo tempo e pelo espaco!

Thiago Teixeira 17 / 28

Page 34: Internet of Things (IoT)

Desafios da Internet das Coisas6

• Escala Massiva — bilhoes de coisas

• Profunda Heterogeneidade— modelos diferentes, variabilidade de materiais, etc.

• Topologia desconhecida

• Disponibilidade desconhecida de dados

• Metadados incompletos ou erroneos

• Conflitos multi-agente

• Estes desafios ja se revelam hoje — porem em escalas muito menores!

6Teixeira et al., ServiceWave 2011

Thiago Teixeira 18 / 28

Page 35: Internet of Things (IoT)

Desafios da Internet das Coisas6

• Escala Massiva — bilhoes de coisas

• Profunda Heterogeneidade— modelos diferentes, variabilidade de materiais, etc.

• Topologia desconhecida

• Disponibilidade desconhecida de dados

• Metadados incompletos ou erroneos

• Conflitos multi-agente

• Estes desafios ja se revelam hoje — porem em escalas muito menores!

6Teixeira et al., ServiceWave 2011

Thiago Teixeira 18 / 28

Page 36: Internet of Things (IoT)

Salvos pela Fısica!

• A IoT e fısica, e propriedades do mundo real sao altamentecorrelacionadas, em grande parte contınuas no espaco/tempo, emuitas vezes previsıveis

• Armas em nosso arsenal:• Aproximacoes, estimacoes• Modelos probabilısticos• Composicoes

⇒ Ou seja, tudo o que ja e feito hoje por experts

• Mas a medida que a rede cresce, sera impossıvel contar com ainterferencia manual de experts!

Como podemos faze-lo automaticamente?

Thiago Teixeira 19 / 28

Page 37: Internet of Things (IoT)

Um Middleware para a Internet das Coisas

estimation ontology

INTERNET

expansion

mapping

optimization

execution

DISCOVERYsensor

actuator

processor

processor

sensor

actuator

sensor

domain ontologyapplicationrequest

result

device ontology

KNOWLEDGE BASECOMPOSITION & ESTIMATION

IoT MIDDLEWARE

• Tres blocos principais1. Descoberta2. Composicao e Estimacao3. Base de Conhecimento (ontologias)

Thiago Teixeira 20 / 28

Page 38: Internet of Things (IoT)

Um Middleware para a Internet das Coisas

estimation ontology

INTERNET

expansion

mapping

optimization

execution

DISCOVERYsensor

actuator

processor

processor

sensor

actuator

sensor

domain ontologyapplicationrequest

result

device ontology

KNOWLEDGE BASECOMPOSITION & ESTIMATION

IoT MIDDLEWARE

• Tres ideias principais1. Descoberta probabilıstica2. Composicao aproximada3. Estimacao automatica

Thiago Teixeira 20 / 28

Page 39: Internet of Things (IoT)

A Base de Conhecimentos

• Composta de tres ontologias:• Ontologia do Domınio

Descreve conceitos fısicos• Ontologia de Dispositivos

Descreve sensores e atuadores• Ontologia de Estimacao

Descreve modelos probabilısticos, etc.

Thiago Teixeira 21 / 28

Page 40: Internet of Things (IoT)

Composicao de Coisas

Thiago Teixeira 22 / 28

Page 41: Internet of Things (IoT)

Composicao Aproximada de Coisas

• Espaco do problema e grande demais⇒ Composicao otimizada e exata e impraticavel

• Solucao: Composicao aproximada• Reduzir as respostas dos blocos de expansao e mapeamento

estimation ontology

INTERNET

expansion

mapping

optimization

execution

DISCOVERYsensor

actuator

processor

processor

sensor

actuator

sensor

domain ontologyapplicationrequest

result

device ontology

KNOWLEDGE BASECOMPOSITION & ESTIMATION

IoT MIDDLEWARE

Thiago Teixeira 23 / 28

Page 42: Internet of Things (IoT)

Descoberta Probabilıstica

• Como descobrir coisas dentre bilhoes distribuıdas pelo mundo, comrestricoes de memoria, processamento, e tempo?

• Solucao: Incorporar aproximacoes ao processo de descoberta• Tanto no registro quanto na procura

• Exemplo de procura probabilıstica:

Thiago Teixeira 24 / 28

Page 43: Internet of Things (IoT)

Descoberta Probabilıstica

• Como descobrir coisas dentre bilhoes distribuıdas pelo mundo, comrestricoes de memoria, processamento, e tempo?

• Solucao: Incorporar aproximacoes ao processo de descoberta• Tanto no registro quanto na procura

• Exemplo de procura probabilıstica:

Thiago Teixeira 24 / 28

Page 44: Internet of Things (IoT)

Descoberta Probabilıstica

• Como descobrir coisas dentre bilhoes distribuıdas pelo mundo, comrestricoes de memoria, processamento, e tempo?

• Solucao: Incorporar aproximacoes ao processo de descoberta• Tanto no registro quanto na procura

• Exemplo de procura probabilıstica:

Thiago Teixeira 24 / 28

Page 45: Internet of Things (IoT)

Descoberta Probabilıstica

• Como descobrir coisas dentre bilhoes distribuıdas pelo mundo, comrestricoes de memoria, processamento, e tempo?

• Solucao: Incorporar aproximacoes ao processo de descoberta• Tanto no registro quanto na procura

• Exemplo de procura probabilıstica:

Thiago Teixeira 24 / 28

Page 46: Internet of Things (IoT)

Estimativa Automatica

• O que fazer quando o dado que se procura nao esta disponıvel (ounao foi nem coletado)?

• Solucao: Estimar!

Thiago Teixeira 25 / 28

Page 47: Internet of Things (IoT)

Estimativa Automatica

• O que fazer quando o dado que se procura nao esta disponıvel (ounao foi nem coletado)?

• Solucao: Estimar!

• Exemplo de estimativa temporal:

Thiago Teixeira 25 / 28

Page 48: Internet of Things (IoT)

Estimativa Automatica

• O que fazer quando o dado que se procura nao esta disponıvel (ounao foi nem coletado)?

• Solucao: Estimar!

• Exemplo de estimativa temporal:

Thiago Teixeira 25 / 28

Page 49: Internet of Things (IoT)

Estimativa Automatica

• O que fazer quando o dado que se procura nao esta disponıvel (ounao foi nem coletado)?

• Solucao: Estimar!

• Exemplo de estimativa temporal:

Thiago Teixeira 25 / 28

Page 50: Internet of Things (IoT)

Estimativa Automatica

• O que fazer quando o dado que se procura nao esta disponıvel (ounao foi nem coletado)?

• Solucao: Estimar!

• Exemplo de estimativa espacial:

Thiago Teixeira 25 / 28

Page 51: Internet of Things (IoT)

Estimativa Automatica

• O que fazer quando o dado que se procura nao esta disponıvel (ounao foi nem coletado)?

• Solucao: Estimar!

• Exemplo de estimativa espacial:

Thiago Teixeira 25 / 28

Page 52: Internet of Things (IoT)

Alguns Pontos Importantes

• As solucoes propostas so funcionam porque as propriedades do mundoreal sao correlacionadas, contınuas, e previsıveis

• Servicos puramente em software sao apenas coisas simplificadas:Por isso sao suportados automaticamente pela middleware

• Outros desafios mencionados (metadados incompletos ou erroneos, econflitos multi-agente) tambem podem ser solucionados usandomodelos matematicosMas nos deixamos este trabalho para o futuro

Thiago Teixeira 26 / 28

Page 53: Internet of Things (IoT)

Concluindo

• A Internet das Coisas requer novos modos de interacao

• Sem um middleware inteligente, somente experts poderao utilizar aIoT ao maximo

• Boa notıcia:• A robotica, a teoria da estimativa, a aprendizagem de maquina, etc.,

nos mostram o caminho⇒ Agora so falta automatizar! :)

Thiago Teixeira 27 / 28

Page 54: Internet of Things (IoT)

Obrigado!

Perguntas?

sıtio

http://thiagot.com

contato:

[email protected]

Thiago Teixeira 28 / 28