hochskalierendes video tracking

© 2010 Mayflower GmbH

Video-Tracking mit WebSockets, Node.js, Gearman und Redis

Peter Voringer I 25. November 2010

Video-Tracking mit WebSockets, Node.js, Gearman und Redis I Mayflower GmbH I 29. November 2010 I 2

Architektur - Überblick

Redis

MySQL

Node.js

Apache

Daemon Gearman

Worker

Browser


I Key-Value Speicher

I Hält Daten im Speicher, Option sie persistent wegzuspeichern

I Ähnlich zu z.B. Memcache

I Unterstützt Listen, Sets und sortierte Sets

I Atomare Operation auch für diese Datentypen

Architektur – Redis

Vorführender

Präsentationsnotizen

Letzter Punkt war der Grund für Redis


I Server-Side JavaScript

I Google V8 Engine

I Event-Driven und Non-Blocking

I ECMAScript 5

Architektur – node.js

Vorführender

Präsentationsnotizen

Notification vom OS, bei neuer Connection => Sleep Connection braucht lediglich etwas heap-Speicher Kein Thread pro Connection (2mb thread stack pro Connection) Keine Prozess-Deadlocks, da keine Funktion direkten I/O Zugriff macht


I Job-Server

I Flexibel

I Schnell

I Kein Single-Point-of-Failure

Architektur – Gearman


Architektur – Teil 1

REDIS

MySQL

Node.js

Apache

Daemon Gearman

Worker

Browser


I PHP Skript im Apache generiert einen Token

I Schreibt den Token mit zusätzlichen Informationen (MovieID, UserID, …) in die Datenbank

I Schreibt Token mit aktuellem Timestamp in Redis

I Speichert Token in die Tokenliste in Redis

I Liefert HTML/JavaScript mit Token und Adresse des node.js Servers an den Browser aus




REDIS

[TOKEN] [TIMESTAMP]

TOKENS [TOKEN][TOKEN][TOKEN]

[TOKEN][TOKEN]



REDIS

MySQL

Node.js

Apache

Daemon Gearman

Worker

Browser


I Library• baut WebSocket Verbindung auf oder• lädt IFrame vom node.js Server

I Player sendet Events (pause, resume, …) an LibraryI Timer senden

• Update Event, wenn das Video läuft (250ms)• Keep-Alive Event, wenn das Video nicht läuft (60s)

I Library sendet Event• über WebSocket an node.js• per postMessage an das IFrame, welches es per AJAX an

node.js schicktI Close-Event bei onUnload




Node.jsBrowser

HTTPServer

WebSocketServer

Player

TimerWebSocket

IFrame

Library

token

id

action

position



REDIS

MySQL

Node.js

Apache

Daemon Gearman

Worker

Browser


I Node.js updated Timestamp des Tokens

I Fügt Event der Event-Liste zum Token hinzu




REDIS

[TOKEN] [TIMESTAMP]

TOKENS[TOKEN]

[TOKEN][TOKEN]

[TOKEN][TOKEN]

[EVENT][TOKEN] [EVENT]

[EVENT][EVENT]



REDIS

MySQL

Node.js

Apache

Daemon Gearman

Worker

Browser


I Daemon nimmt ersten Token aus der Token-Liste

I Prüft, ob Timestamp des Tokens älter als 2 Minuten

I Sofern der Token• älter ist, erstelle Gearman Job mit Token• jünger ist, füge Token an die Token-Liste hinten an

I Gearman Server leitet Job an einen Worker weiter




REDIS

MySQL

Node.js

Apache

Daemon Gearman

Worker

Browser


I Worker holt und entfernt aus der Datenbank die Zusatzinformationen zum Token

I Worker holt und entfernt Daten zum Token aus Redis

I Berechnet Kennzahlen mittels der Events

I Schreibt Kennzahlen kumuliert in die Datenbank



Architektur - Skalierbarkeit

REDIS

MySQL

Node.js

Apache

Daemon Gearman

WorkerNode.js

Node.jsREDIS

REDISWorker

Worker

ApacheApache

MySQLMySQL

DaemonDaemon

GearmanGearman

Browser

Titel der Präsentation I Mayflower GmbH I 29. November 2010 I 22

DEMO

Titel der Präsentation I Mayflower GmbH I 29. November 2010 I 23

FRAGEN ?

© 2010 Mayflower GmbH

Peter [email protected]+49 931 35965 1122

Mayflower GmbHPleichertorstr. 297070 Würzburg

Kontakt

Vielen Dank für Ihre Aufmerksamkeit!

mailto:[email protected]�

hochskalierendes video tracking

Technology