internet of things (iot)
DESCRIPTION
As últimas pesquisas na área de Internet da Coisas (Internet of Things) - por Thiago Teixeira - INRIA - FrançaTRANSCRIPT
Construindo a Internet das Coisas
Thiago Teixeira
Grupo ARLES, INRIA Paris-Rocquencourt
August 22, 2011
Mini Biografia
1999 2003 2005 2007 2010
Johns Hopkins University Yale University INRIA
USABrazil
B.S. in Electrical Engineering M.S.E.M.S. Ph.D.
Post. Doc.
M.Phil.
France
B.A. in Mathematics
time
bachelorsmastersdoctorateother
from here on, all degrees are in Electrical Engineering
• Johns Hopkins: Graduacao, Mestrado (1999–2005)• Sensory Comm. & Microsystems Lab• Orientador: Andreas Andreou• Tese: “Address-Event Imaging Algorithms and their TinyOS
implementation for Wireless Sensor Networks”
Thiago Teixeira 1 / 28
Mini Biografia
1999 2003 2005 2007 2010
Johns Hopkins University Yale University INRIA
USABrazil
B.S. in Electrical Engineering M.S.E.M.S. Ph.D.
Post. Doc.
M.Phil.
France
B.A. in Mathematics
time
bachelorsmastersdoctorateother
from here on, all degrees are in Electrical Engineering
• Yale: Mestrado, Doutorado (2005–2010)• Embedded Networks & Applications Lab (ENALAB)• Orientador: Andreas Savvides• Dissertacao: “A Sensor-Fusion System to Detect, Track, and Identify
People in Realistic Scenarios”
Thiago Teixeira 1 / 28
Mini Biografia
1999 2003 2005 2007 2010
Johns Hopkins University Yale University INRIA
USABrazil
B.S. in Electrical Engineering M.S.E.M.S. Ph.D.
Post. Doc.
M.Phil.
France
B.A. in Mathematics
time
bachelorsmastersdoctorateother
from here on, all degrees are in Electrical Engineering
• INRIA Paris-Rocquencourt: Pos-doutorado (2010–presente)• Architecture Logicielles et Systemes Distribues (ARLES)• Pesquisadora chefe: Valerie Issarny• Foco: Um middleware para fusao automatica de sensores na Internet
das Coisas
Thiago Teixeira 1 / 28
Area de Pesquisa
• Antes: Sistemas embarcados e sensores para ambientes inteligentes
• Agora: Middleware (para a IoT)
• Informacoes do mundo fısico serao centrais aos sistemas decomputadores futuros(Hoje: servicos baseados em localizacao, redes sociais, geotagging, ...)
• Ambientes Inteligentes: Ambientes que nao so recebem comandos daspessoas, mas tambem reagem e colaboram com elas
• Aplicacoes:• Tratamentos em casa• Assistencia a autonomia• Saude preventiva• Seguranca no trabalho• Entretenimento• etc.
Thiago Teixeira 2 / 28
Requisito: Sensoriamento de Humanos
• O que e Sensoriamento de Humanos?
• Fazer uso de propriedades fısicas...
externalmotion
sound
voice
vibration
gait
weight
attenuation
reflectivity
internal motion
scent
shape
emissivity
Static Traits Dynamic Traits Extrinsic Traits
Intrinsic Traits
borrowedproperties
environm.properties
Thiago Teixeira 3 / 28
Requisito: Sensoriamento de Humanos
• O que e Sensoriamento de Humanos?
• Fazer uso de propriedades fısicas...
• ...para, atraves de sensores,...
Intrinsic Traits
Static Traits
EmissivityThermal ImagersReflectivityPhotodetectorsCamerasRanging SensorsShapeWeightPressure SensorsContact Sensors ScentChemosensors Internal MotionDoppler-Shift Sens. GaitCamerasDoppler-Shift SensorsWearable Inertial Sens. Acoustic SensorsVibrationInertial SensorsSeismic SensorsAttenuationTomographic SensorsBreakbeam SensorsEF Sensors Extrinsic Traits
Dynamic TraitsWearable Doppler-Shift Sens.Wearable RFIDWearable Ranging SensorsStatic TraitsWearable Landmark Sensors Dynamic Traits
External MotionMotion SensorsWearable Inertial Sens.CamerasPressure SensorsRanging SensorsTomographic SensorsDoppler-Shift SensorsThermal ImagersThiago Teixeira 3 / 28
Requisito: Sensoriamento de Humanos
• O que e Sensoriamento de Humanos?
• Fazer uso de propriedades fısicas...
• ...para, atraves de sensores,...
• ...detectar parametros fundamentais
Physiological Properties
Temperature
Blood Pressure
Heart rate
Skin color
etc...
Weight
Observable Properties
Spatio-Temporal Properties
Presence
Location
Count
Track
Identity
Behavioral Properties
Pose
Action
Activity
Behavior
Group Behavior
Unobservable Properties
Thoughts IdeasIntentions etc...
Thiago Teixeira 3 / 28
O que se pode fazer com esses parametros?
• Exemplo: Posicao de um paciente dentro de casa1
1Lymberopoulos, Teixeira, Savvides. “Detecting patterns for assisted living: A case study.”, SensorComm2007
Thiago Teixeira 4 / 28
O que se pode fazer com esses parametros?
• Exemplo: Posicao de um paciente dentro de casa1
• ...de manha
02:35:60
04:10:70
00:01:70
02:81:70
04:62:70
00:53:70
02:34:70
fridgesink
stoveback door
kitchen tablebath downstairs
basementcouch 2couch 3
front doorstairs bottom
stairs topbath upstairs
back bedroomfront bedroom
Morning Routine
Waking up, using bathroom, going
downstairs
Preparing and eating breakfast
Leaving house
1Lymberopoulos, Teixeira, Savvides. “Detecting patterns for assisted living: A case study.”, SensorComm2007
Thiago Teixeira 4 / 28
O que se pode fazer com esses parametros?
• Exemplo: Posicao de um paciente dentro de casa1
• ...ou no fim-de-semana
1Lymberopoulos, Teixeira, Savvides. “Detecting patterns for assisted living: A case study.”, SensorComm2007
Thiago Teixeira 4 / 28
O que se pode fazer com esses parametros?
• Exemplo: Posicao de um paciente dentro de casa1
• ...ou varias semanas
• Podemos descobrir se o paciente reagiu positivamente a um novomedicamento?
1Lymberopoulos, Teixeira, Savvides. “Detecting patterns for assisted living: A case study.”, SensorComm2007
Thiago Teixeira 4 / 28
Desafios do Sensoriamento de Humanos
• Desafios fundamentais• Ruıdo• Variacoes ambientais• Similaridade com o sinal de fundo• Variabilidade na aparencia• Imprevisibilidade de comportamento• Similaridade entre pessoas
• Desafios praticos• Privacidade: sensores extraem informacoes superfluas• Por si so, toda modalidade de sensor e insuficiente
Thiago Teixeira 5 / 28
Comparacao entre Modalidades de Sensores
⇒ E necessario fazer a fusao de diversos sensores
Thiago Teixeira 6 / 28
Dissertacao: Extraicao das 5 PropriedadesEspaco-Temporais
TRUE 3
presence count location track identity
information
ground truth
Contribuicoes:1. Metodo para Detectar, Contar, e Localizar pessoas sem uso de “fotos”
2. Fusao de Sensores para Rastrear e Identificar pessoas
Thiago Teixeira 7 / 28
Solucao, parte 1: Deteccao, Contagem, Localizacaoatraves de Cameras Cegas
• Cameras bio-mimeticas, incapazes de tirar fotos2
• Cada pixel e um detector de padroes• Cada pixel pulsa ao detectar movimento• Sem imagens a qualquer nıvel (cameras cegas)
• Estimador de maxima verossimilhanca⇒ Coordenadas de cada pessoa
• Leve, e de facil uso
x
y
likelihoodhistogram
pixels
location likelihood mapping
local maximum
detectedperson
(etc...)
2Teixeira et al., “Address-event imagers for sensor networks: Evaluation and modeling”, IEEE/ACM IPSN2006Thiago Teixeira 8 / 28
Solucao, parte 2: Rastreamento e Identificacao atraves daFusao de Sensores3
• Cameras: detectar, contar e localizar anonimamente
• Telefones: rastrear e identificar pessoas
existingcameras
mobile phones
coverage gapwireless
access point
3Teixeira et al. “Tasking Networked CCTV Cameras and Mobile Phones to Identify and Localize MultiplePeople”, ACM UbiComp 2010
Thiago Teixeira 9 / 28
Solucao, parte 2: Rastreamento e Identificacao atraves daFusao de Sensores3
• Cameras: detectar, contar e localizar anonimamente
• Telefones: rastrear e identificar pessoas
motion
location
motion
location
motion
location
time k-2 time k-1 time k
3Teixeira et al. “Tasking Networked CCTV Cameras and Mobile Phones to Identify and Localize MultiplePeople”, ACM UbiComp 2010
Thiago Teixeira 9 / 28
Fusao usando HMM, Identificacao usando AGB
yk3
hidden state
locationdetectionsfrom infrastructuresensors
observations
correspondence between x's and y's unknown
yk1 yk2
John Paul George
xk2 xk3xk1
? ?
Thiago Teixeira 10 / 28
Fusao usando HMM, Identificacao usando AGB
yk3
hidden state
locationdetectionsfrom infrastructuresensors
observations
correspondence between x's and y's unknown
yk1 yk2
John Paul George
xk2 xk3xk1
? ?
recover identity associations usingthe z's from wearable sensors
xk1
zk1
yk1
xxk2
zk2
yk2
xk3
zk3
yk3
John Paul George
inertialmeasurementsfrom wearablesensors
Thiago Teixeira 10 / 28
Fusao usando HMM, Identificacao usando AGB
yk3
hidden state
locationdetectionsfrom infrastructuresensors
observations
correspondence between x's and y's unknown
yk1 yk2
John Paul George
xk2 xk3xk1
? ?
recover identity associations usingthe z's from wearable sensors
xk1
zk1
yk1
xxk2
zk2
yk2
xk3
zk3
yk3
John Paul George
inertialmeasurementsfrom wearablesensors
• O problema se reduz a umAcoplamento de GrafosBipartidos (AGB)
zk1 yk1
zk2 yk2
zk3 yk3
bipartite graph matching recovers
associations
Thiago Teixeira 10 / 28
Fusao usando HMM, Identificacao usando AGB
yk3
hidden state
locationdetectionsfrom infrastructuresensors
observations
correspondence between x's and y's unknown
yk1 yk2
John Paul George
xk2 xk3xk1
? ?
xk1
zk1
yk1
xxk2
zk2
yk2
xk3
zk3
yk3
John Paul George
Each person corresponds toa HMM
xk-11 xxk-12 xk-13
xk-21 xxk-22 xk-23zk-23
yk-22
zk-13
yk-11
• O problema se reduz a umAcoplamento de GrafosBipartidos (AGB)
• Para os pesos, usar Modelo Oculto de Markov (MOM)• Peso = verossimilhanca de que y and z originaram do mesmo x
Thiago Teixeira 10 / 28
O que isto quer dizer, matematicamente?
• Agrupar deteccoes em hipoteses de rastros:
θhk = {yj11 , yj22 , · · · , y
jkk }
• Calcular verossimilhanca de cada hipotese (usando MOM):
L(θhk , zi1:k) = max
xik
P (xik|xik−1)P (yjkk |x
ik)P (z
ik|xik)P (xi1:k−1, θ
hk−1, w
i1:k−1)
• Finalmente, identificar a melhor combinacao de hipoteses (usandoAGB):
L(θ1k, z1k) L(θ2k, z
1k) · · · L(θhk , z
1k)
L(θ1k, z2k) L(θ2k, z
2k) · · · L(θhk , z
2k)
......
. . ....
L(θ1k, zik) L(θ2k, z
ik) · · · L(θhk , z
ik)
Thiago Teixeira 11 / 28
Resultados
• Exemplo de simulacao, com 3 pessoas em uma area de 10m× 10m:
0 2 4 6 8 10 0
5
1010
20
30
40
50tim
e (s
)
simulation area in meters
stopping
proximityambiguities
0 2 4 6 8 10 0
5
1010
20
30
40
50
time
(s)
simulation area in meters
stopping resolved
ambiguities resolved
initiallyincorrectoutput
resolved
• Multiple-Object TrackingAccuracy (MOTA):
• Simulacoes (2–10pessoas)
• Experimentos (2–4pessoas, 4 cameras)
0 2 4 6 8 10 120.5
0.6
0.7
0.8
0.9
1
Identification Accuracy
mean track length (s)
accu
racy
(MO
TA)
simulation of ideal sensors (mean)
simulation of non-ideal sensors (mean)
simulation of motion camera (mean)
experiment with motion camera (mean)
Thiago Teixeira 12 / 28
Ferramentas• BehaviorScope Control Center / PySOS:
Thiago Teixeira 13 / 28
Ferramentas
• BehaviorScope Control Center / PySOS:
Thiago Teixeira 13 / 28
Portal• BehaviorScope Web Portal:
Thiago Teixeira 14 / 28
Portal• BehaviorScope Web Portal:
Thiago Teixeira 14 / 28
E, agora sim, chegamos a Internet das Coisas
• O que sao coisas? Sao ao mesmo tempo:• Objetos (do mundo real) com sensores e atuadores• Servicos de software que extraem/inserem informacoes no mundo real
• Podem ser acessadas como servicos quaisquer
• Entao o que muda?
Thiago Teixeira 15 / 28
E, agora sim, chegamos a Internet das Coisas
• O que sao coisas? Sao ao mesmo tempo:• Objetos (do mundo real) com sensores e atuadores• Servicos de software que extraem/inserem informacoes no mundo real
• Podem ser acessadas como servicos quaisquer
• Entao o que muda?
Thiago Teixeira 15 / 28
E, agora sim, chegamos a Internet das Coisas
• O que sao coisas? Sao ao mesmo tempo:• Objetos (do mundo real) com sensores e atuadores• Servicos de software que extraem/inserem informacoes no mundo real
• Podem ser acessadas como servicos quaisquer
• Entao o que muda?
Thiago Teixeira 15 / 28
Prova no. 1: Informacoes de/para Humanos
• Considere a pagina mais editada da Wikipedia45:
• Editada 44320 vezes ≈ 12.8 edicoes por dia
• Pagina media na Wikipedia: 19.21 edicoes no total
• So a ultima versao e acessada → So um “ponto” da serie e essencial4http://en.wikipedia.org/wiki/Wikipedia:Database_reports/Pages_with_the_most_revisions5Fonte, WikiDashboard: http://wikidashboard.appspot.com
Thiago Teixeira 16 / 28
Prova no. 2: Informacoes do Mundo Fısico
• Compare com a posicao de uma pessoa em casa durante 30 dias:
• Dados acima sao de 6 sensores somente!
• E ainda assim, sao 41700 pontos por dia!
• A informacao relevante se extende pelo tempo e pelo espaco!
Thiago Teixeira 17 / 28
Desafios da Internet das Coisas6
• Escala Massiva — bilhoes de coisas
• Profunda Heterogeneidade— modelos diferentes, variabilidade de materiais, etc.
• Topologia desconhecida
• Disponibilidade desconhecida de dados
• Metadados incompletos ou erroneos
• Conflitos multi-agente
• Estes desafios ja se revelam hoje — porem em escalas muito menores!
6Teixeira et al., ServiceWave 2011
Thiago Teixeira 18 / 28
Desafios da Internet das Coisas6
• Escala Massiva — bilhoes de coisas
• Profunda Heterogeneidade— modelos diferentes, variabilidade de materiais, etc.
• Topologia desconhecida
• Disponibilidade desconhecida de dados
• Metadados incompletos ou erroneos
• Conflitos multi-agente
• Estes desafios ja se revelam hoje — porem em escalas muito menores!
6Teixeira et al., ServiceWave 2011
Thiago Teixeira 18 / 28
Salvos pela Fısica!
• A IoT e fısica, e propriedades do mundo real sao altamentecorrelacionadas, em grande parte contınuas no espaco/tempo, emuitas vezes previsıveis
• Armas em nosso arsenal:• Aproximacoes, estimacoes• Modelos probabilısticos• Composicoes
⇒ Ou seja, tudo o que ja e feito hoje por experts
• Mas a medida que a rede cresce, sera impossıvel contar com ainterferencia manual de experts!
Como podemos faze-lo automaticamente?
Thiago Teixeira 19 / 28
Um Middleware para a Internet das Coisas
estimation ontology
INTERNET
expansion
mapping
optimization
execution
DISCOVERYsensor
actuator
processor
processor
sensor
actuator
sensor
domain ontologyapplicationrequest
result
device ontology
KNOWLEDGE BASECOMPOSITION & ESTIMATION
IoT MIDDLEWARE
• Tres blocos principais1. Descoberta2. Composicao e Estimacao3. Base de Conhecimento (ontologias)
Thiago Teixeira 20 / 28
Um Middleware para a Internet das Coisas
estimation ontology
INTERNET
expansion
mapping
optimization
execution
DISCOVERYsensor
actuator
processor
processor
sensor
actuator
sensor
domain ontologyapplicationrequest
result
device ontology
KNOWLEDGE BASECOMPOSITION & ESTIMATION
IoT MIDDLEWARE
• Tres ideias principais1. Descoberta probabilıstica2. Composicao aproximada3. Estimacao automatica
Thiago Teixeira 20 / 28
A Base de Conhecimentos
• Composta de tres ontologias:• Ontologia do Domınio
Descreve conceitos fısicos• Ontologia de Dispositivos
Descreve sensores e atuadores• Ontologia de Estimacao
Descreve modelos probabilısticos, etc.
Thiago Teixeira 21 / 28
Composicao de Coisas
Thiago Teixeira 22 / 28
Composicao Aproximada de Coisas
• Espaco do problema e grande demais⇒ Composicao otimizada e exata e impraticavel
• Solucao: Composicao aproximada• Reduzir as respostas dos blocos de expansao e mapeamento
estimation ontology
INTERNET
expansion
mapping
optimization
execution
DISCOVERYsensor
actuator
processor
processor
sensor
actuator
sensor
domain ontologyapplicationrequest
result
device ontology
KNOWLEDGE BASECOMPOSITION & ESTIMATION
IoT MIDDLEWARE
Thiago Teixeira 23 / 28
Descoberta Probabilıstica
• Como descobrir coisas dentre bilhoes distribuıdas pelo mundo, comrestricoes de memoria, processamento, e tempo?
• Solucao: Incorporar aproximacoes ao processo de descoberta• Tanto no registro quanto na procura
• Exemplo de procura probabilıstica:
Thiago Teixeira 24 / 28
Descoberta Probabilıstica
• Como descobrir coisas dentre bilhoes distribuıdas pelo mundo, comrestricoes de memoria, processamento, e tempo?
• Solucao: Incorporar aproximacoes ao processo de descoberta• Tanto no registro quanto na procura
• Exemplo de procura probabilıstica:
Thiago Teixeira 24 / 28
Descoberta Probabilıstica
• Como descobrir coisas dentre bilhoes distribuıdas pelo mundo, comrestricoes de memoria, processamento, e tempo?
• Solucao: Incorporar aproximacoes ao processo de descoberta• Tanto no registro quanto na procura
• Exemplo de procura probabilıstica:
Thiago Teixeira 24 / 28
Descoberta Probabilıstica
• Como descobrir coisas dentre bilhoes distribuıdas pelo mundo, comrestricoes de memoria, processamento, e tempo?
• Solucao: Incorporar aproximacoes ao processo de descoberta• Tanto no registro quanto na procura
• Exemplo de procura probabilıstica:
Thiago Teixeira 24 / 28
Estimativa Automatica
• O que fazer quando o dado que se procura nao esta disponıvel (ounao foi nem coletado)?
• Solucao: Estimar!
Thiago Teixeira 25 / 28
Estimativa Automatica
• O que fazer quando o dado que se procura nao esta disponıvel (ounao foi nem coletado)?
• Solucao: Estimar!
• Exemplo de estimativa temporal:
Thiago Teixeira 25 / 28
Estimativa Automatica
• O que fazer quando o dado que se procura nao esta disponıvel (ounao foi nem coletado)?
• Solucao: Estimar!
• Exemplo de estimativa temporal:
Thiago Teixeira 25 / 28
Estimativa Automatica
• O que fazer quando o dado que se procura nao esta disponıvel (ounao foi nem coletado)?
• Solucao: Estimar!
• Exemplo de estimativa temporal:
Thiago Teixeira 25 / 28
Estimativa Automatica
• O que fazer quando o dado que se procura nao esta disponıvel (ounao foi nem coletado)?
• Solucao: Estimar!
• Exemplo de estimativa espacial:
Thiago Teixeira 25 / 28
Estimativa Automatica
• O que fazer quando o dado que se procura nao esta disponıvel (ounao foi nem coletado)?
• Solucao: Estimar!
• Exemplo de estimativa espacial:
Thiago Teixeira 25 / 28
Alguns Pontos Importantes
• As solucoes propostas so funcionam porque as propriedades do mundoreal sao correlacionadas, contınuas, e previsıveis
• Servicos puramente em software sao apenas coisas simplificadas:Por isso sao suportados automaticamente pela middleware
• Outros desafios mencionados (metadados incompletos ou erroneos, econflitos multi-agente) tambem podem ser solucionados usandomodelos matematicosMas nos deixamos este trabalho para o futuro
Thiago Teixeira 26 / 28
Concluindo
• A Internet das Coisas requer novos modos de interacao
• Sem um middleware inteligente, somente experts poderao utilizar aIoT ao maximo
• Boa notıcia:• A robotica, a teoria da estimativa, a aprendizagem de maquina, etc.,
nos mostram o caminho⇒ Agora so falta automatizar! :)
Thiago Teixeira 27 / 28
Obrigado!
Perguntas?
sıtio
http://thiagot.com
contato:
Thiago Teixeira 28 / 28