CONTROLE DE MOVIMENTAO PARA FUTEBOL DE ROBS UTILIZANDO MODOS DESLIZANTES

An Unconstrained Dataset for Non-stationary Video Based Fire DetectionCristiano Rafael Steffens, Ricardo Nagel Rodrigues and Silvia Silva da Costa Botelho

Latin American Robotics Symposium (LARS)Federal University of Rio Grande FURGComputational Sciences Center C3

October 2015

Motivation I

Proprietary ground truth data is a barrier to independent evaluation of metrics and algorithmsKrig, 2014

First, let me talk a little about why this dataset was created.At FURG we are working on a surveillance robot. It follows a predetermined path, reconizes and tracks people, car plates, reports diferente kinds of incidentes AND one of its features is the fire detection using color images.It all started with frustration and anger!When I started the bibliography review I came accross many publications that did not provide a source code neither the dataset that has been used to evaluate it.In the same way, the evaluations were also nuclear, ignoring many importante metrics.

It becomes very hard to evaluate a detector using only the recall or precision information.

Motivation II

First publicaly available non-stationary dataset

First publicaly available dataset that is annotated

About

Source: TheBackyardScientist at https://youtu.be/FvLfDpTONNk

A brief overview on the state-of-the-art

Phillips (2002)Chen (2004)Toreyin (2005)elik (2007, 2008, 2010)Li (2011, 2012)Kolesov (2010)Mueller (2013)

The majority of the previous video based fire detections systems is designed to work with stationary videos.

Doing a survey on the research topic, we can quickly identify a pattern among the proposed solutions.

They all combine, in a cascade/sequential mode a aquisition system, a color based pixel wise classification and the pulsation patterns.

Geralmente utilizam-se cmeras fixas em torres de vigilncia a partir das quais obtido um stream de vdeo.

A primeira parte do processo a classificao individual, pixel-a-pixel da imagem definindo regies com a colorao de fogo.

A segunda etapa do processo varia entre os trabalhos estudados, partindo de uma abordagem que avalia apenas a varincia individual de cada pixel conforme proposto em PHILLIPS (2002) at modelos baseados em fluxo ptico conforme proposto por MUELLER (2013).

A brief overview on the state-of-the-art

Borges (2010)Chenebert (2011)

Dentre todas as publicaes revisadas, as que mais se aproximam com os objetivos propostos no nosso trabalho so BORGES (2010) e CHENEBERT (2011).

BORGES cria um modelo de aproximao estatstica. Para a classificao de cor, aplica-se inicialmente um filtro gaussiano cujo desvio padro (tamanho do filtro) obtido a partir da varincia em cada canal. Os valores de pixel, j suavizados, so utilizados para aplicao de um threshold que d maior probabilidade para os pixels no centro da imagem.

A classificao dos pixels pela cor permite definer regies de interesse e extrair caractersticas. Borges propes o uso de informaes da rea, rugosidade do contorno, varincia e inclinao no canal vermelho.

A Classificao utilizando estes atributos dada atravs de um classificador Naive Bayes.

O trabalho foi publicado na IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY.

J o trabalho de CHENEBERT, apresentado na ICIP 2011 tambm se aproxima do trabalho proposto, ao tentar utilizar informaes da textura para a classificao de regies como fogo ou no fogo.

A primeira etapa consiste na classificao dos pixels individualmente utilizando uma equao proposta por Chen(2004), que utiliza thresholds fixos. Para a classificao das regies utiliza-se a extrao de histogramas de 10 bins para os canais Matiz e Saturao do colorspace HSV resultando em 20 atributos.

Ainda para a classificao das texturas os autores utilizam GLCM, tambm conhecidos como descritores de Haralick, extraindo energia, entropia, contraste, homoegeniedade e correlao dos valores de pixel em H e S.

Cada regio ento classificada com base nestes 30 atributos que so testados em um classificador de rvore e em uma rede neural. Os resultados obtidos mostram que o algortmo CART o que fornece os melhores resultados.

Os autores tentaram ainda reduzir o nmeros de atributos, de forma a encontrar os mais discriminantes, mas os rersultados mostraram que no houve uma melhora significativa.

Our contributionAn algorithm to find correspondences between a firedetector output and the annotated fire regions;

Two separated rigorous and precise methods for evaluating any algorithms performance on the proposeddataset. Fire location;Frame-by-frame classification;

C++ source code that implements these procedures.

About the Videos24 videos28k frames (51.37% contain fire)17k annotated regionsCreative Commons 3.0 license

About the VideosVariety of fire sourcesUneven illuminationCamera movementDifferent color accuracy settingsClutterPartial OcclusionMotion blurScale and projectionReflection

About the AnnotationsRectangle that embraces the whole fire regionVery small fire sparkles left outA fire-frame may present one or more annotations

XML files(each video file has its corresponding annotation file)Average flame area is 61512px(aprox. 250250px square) Fire region size/frame size = 8,92%

About the Annotations

Frame-by-frame metricsRecall

Specificity

Precision

Negative Predictive Value

Fall-out

Quando o detector avaliado frame a frame, pode-se avalia-lo da mesma forma que se avalia um classificador binrios.Neste caso, os frames que contm fogo so considerados como 1s e os frames sem fogo so considerados como 0s.

O recall, ou revocao, a frao dos frames de fogo que foram corretamente classificados pelo detector. TPR = TP/PA especifidade a medida anloga ao recall, mas aplicado aos frames que no apresentam fogo. SPC = TN/NA preciso a mtrica que mostra qual o percentual dos frames classificados como fogo pelo detector so realmente fogo. PPV = TP/ (TP+FP)J o valor preditivo negativo, o equivalente preciso para aplicada s sadas negativas do detector. NPV = TN/(TN+FN)J a mtrica fall-out d a razo dos falsos positivos para o total de negativos. FPR = FP/N

Enquanto estas mtricas nos permitem avaliar os resultados do detector individualmente, elas no oferecem medidas combinadas.

Neste sentido, a acurcia pode ser til ao fornecer a proporo dos frames que foram corretamente classificados. No entanto, no uma mtrica balanceada, podendo induzir ao erro, ao desconsiderar a matriz de confuso.A mtrica F1 Score, proposta por Chinchor (1992), a mdia harmnica entre a preciso e o recall. Por este motivo, a F1 Score tende a punir sistemas que que apresentem um desequilbrio entre estas medidas.J o coeficiente de correlao de Matheus a correlao linear entre os resultados esperados e os resultados fornecidos pelo detector. A escala varia de -1 at 1, onde -1 representa correlao negativa, 0 o equivalente uma predio aleatria e 1 representa que os resultados obtidos so exatamente iguais aos esperados.

Frame-by-frame metricsFalse Discovery rate

False Negative rate

Accuracy

F1 Score

Matthews Correlation Coeficient

Enquanto estas mtricas nos permitem avaliar os resultados do detector individualmente, elas no oferecem medidas combinadas.

Neste sentido, a acurcia pode ser til ao fornecer a proporo dos frames que foram corretamente classificados. No entanto, no uma mtrica balanceada, podendo induzir ao erro, ao desconsiderar a matriz de confuso.A mtrica F1 Score, proposta por Chinchor (1992), a mdia harmnica entre a preciso e o recall. Por este motivo, a F1 Score tende a punir sistemas que que apresentem um desequilbrio entre estas medidas.J o coeficiente de correlao de Matheus a correlao linear entre os resultados esperados e os resultados fornecidos pelo detector. A escala varia de -1 at 1, onde -1 representa correlao negativa, 0 o equivalente uma predio aleatria e 1 representa que os resultados obtidos so exatamente iguais aos esperados.

Location-based metricsConsiders 1-N relations;Metrics:Precision

Recall

Mean Similarity

As mtricas frame a frame so, no entanto, incapazes de mensurar adequadamente se o detector encontrou corretamente as regies que apresentam chama na imagem.

Por este motivo utilizaram-se tambm mtricas de avaliao da localizao das chamas detectadas.

Levou-se em considerao que pode existir uma relao 1 para N, onde vrias sadas do detector podem ser associadas uma nica anotao de ground-truth.Neste caso, possvel calcular somente as mtricas que no dependem de valores negativos, o que inclui a preciso, recall e similaridade mdia.

Na avaliao, a funo de similaridade dada pela interseco da rea detectada com a anotao de groundtruth correspondente, dividido pela rea da deteco. Neste caso, sempre que a regio detectada no extrapolar a regio anotada, a similaridade igual a 1.

S = (Dt intersec Gt)/ Dt

Using it!

Frame by frame resultsMetricselik (2010)Zhou (2010)Chenebert (2011)TPR0.7390.9870.990SPC0.3170.0220.724PPV0.6540.6380.857NPV0.4100.5010.979FPR0.6820.9770.275FDR0.3450.3610.142FNR0.2600.0120.009ACC0.5850.6350.890F1 Score0.6940.7750.919MCC0.0600.0360.773

Location Based ResultsMetricselik (2010)Zhou (2010)Chenebert (2011)PPV0.2510.0190.832TPR0.7320.4400.979F1 Score0.3840.0370.902S0.2500.0200.801

An Unconstrained Dataset for Non-stationary Video Based Fire DetectionCristiano Rafael Steffens, Ricardo Nagel Rodrigues and Silvia Silva da Costa Botelho

Latin American Robotics Symposium (LARS)Federal University of Rio Grande FURGComputational Sciences Center C3

October 2015