präsentation logstash: open source log-management webinar 20.02.2014
DESCRIPTION
Mit Logstash erhält man eine sehr gute Open Source Lösung, wenn es um das archivieren und sammeln von Logfiles geht. Nicht nur Syslog oder klassische Logfiles können abgegriffen werden, sondern auch das Windows Event-Log oder SNMP-Traps. Diese können anschließend in einem intuitiven Webinterface gefiltert und ausgewertet werden.TRANSCRIPT
![Page 1: Präsentation Logstash: Open Source Log-Management Webinar 20.02.2014](https://reader036.vdocuments.us/reader036/viewer/2022062512/55496146b4c905fc4e8b5d3a/html5/thumbnails/1.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
20.02.2014 | WEBINAR
LOGSTASHOPEN SOURCE LOG-
MANAGEMENT
BLERIM SHEQA | CHRISTIAN STEIN | NETWAYS
GMBH
![Page 2: Präsentation Logstash: Open Source Log-Management Webinar 20.02.2014](https://reader036.vdocuments.us/reader036/viewer/2022062512/55496146b4c905fc4e8b5d3a/html5/thumbnails/2.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
VORSTELLUNG MITARBEITER
■ Christian Stein Account Manager Bei NETWAYS seit 2012
■ Blerim Sheqa Systems Engineer Bei NETWAYS seit 2013
![Page 3: Präsentation Logstash: Open Source Log-Management Webinar 20.02.2014](https://reader036.vdocuments.us/reader036/viewer/2022062512/55496146b4c905fc4e8b5d3a/html5/thumbnails/3.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
AGENDA
■ Vorstellung NETWAYS
■ Logstash
■ Logstash Architektur
■ Integration in die IT-Landschaft
■ Live Demo
■ Fragen und Antworten
![Page 4: Präsentation Logstash: Open Source Log-Management Webinar 20.02.2014](https://reader036.vdocuments.us/reader036/viewer/2022062512/55496146b4c905fc4e8b5d3a/html5/thumbnails/4.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
VORSTELLUNG NETWAYS
![Page 5: Präsentation Logstash: Open Source Log-Management Webinar 20.02.2014](https://reader036.vdocuments.us/reader036/viewer/2022062512/55496146b4c905fc4e8b5d3a/html5/thumbnails/5.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
VORSTELLUNG NETWAYS
■ Firmengründung 1995
■ Open Source seit 1997
■ Aktuell 38 Mitarbeiter
■ Spezialisierung in den Bereichen
Open Source Systems Management
und Open Source Datacenter
![Page 6: Präsentation Logstash: Open Source Log-Management Webinar 20.02.2014](https://reader036.vdocuments.us/reader036/viewer/2022062512/55496146b4c905fc4e8b5d3a/html5/thumbnails/6.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
NETWAYS KOMPETENZEN
■ Monitoring
■ Graphing
■ Logmanagement
■ Konfigurationsmanagement
■ Reporting
■ Private Cloud
■ Reporting
■ Backup
■ Projektmanagement
■ Consulting
■ Hosting
■ Managed Services
■ Development
■ Support
■ Betrieb
■ Schulungen
■ Konferenzen
■ Monitoring Hardware
![Page 7: Präsentation Logstash: Open Source Log-Management Webinar 20.02.2014](https://reader036.vdocuments.us/reader036/viewer/2022062512/55496146b4c905fc4e8b5d3a/html5/thumbnails/7.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
NETWAYS PRODUKTE
GRAPHITE
![Page 8: Präsentation Logstash: Open Source Log-Management Webinar 20.02.2014](https://reader036.vdocuments.us/reader036/viewer/2022062512/55496146b4c905fc4e8b5d3a/html5/thumbnails/8.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
NETWAYS KONFERENZEN
CeBIT 2014
■ 10. – 14. März 2014 in Hannover
■ Halle 6, Stand E16 (310)
Open Source Data Center
Conference
■ 09. – 10. April 2014 in Berlin
■ 2 Tracks mit Vorträgen &
Workshops
■ “Simplifying Complex IT
Infrastructures with Open
Source”
![Page 9: Präsentation Logstash: Open Source Log-Management Webinar 20.02.2014](https://reader036.vdocuments.us/reader036/viewer/2022062512/55496146b4c905fc4e8b5d3a/html5/thumbnails/9.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
NETWAYS KONFERENZEN
Puppet Camp
■ 11. April 2014 in Berlin
■ “Current state of Puppet, best
practices and upcoming
features”
■ Open Source Monitoring
Conference
• 18. – 20. November 2014
• 250 Teilnehmer (2013)
• Monitoring Best Practices
![Page 10: Präsentation Logstash: Open Source Log-Management Webinar 20.02.2014](https://reader036.vdocuments.us/reader036/viewer/2022062512/55496146b4c905fc4e8b5d3a/html5/thumbnails/10.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
NETWAYS SCHULUNGEN
![Page 11: Präsentation Logstash: Open Source Log-Management Webinar 20.02.2014](https://reader036.vdocuments.us/reader036/viewer/2022062512/55496146b4c905fc4e8b5d3a/html5/thumbnails/11.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
NETWAYS COMMUNITY
www.netways.org
■ NETWAYS Addons
■ NETWAYS Plugins
www.icinga.org
■ Development
■ Hosting
www.monitoringexchange.org
■ Icinga / Nagios Addons und
Plugins
■ > 2000 Projekte
![Page 12: Präsentation Logstash: Open Source Log-Management Webinar 20.02.2014](https://reader036.vdocuments.us/reader036/viewer/2022062512/55496146b4c905fc4e8b5d3a/html5/thumbnails/12.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
NETWAYS KUNDEN – CONSULTING (AUSZUG)
![Page 13: Präsentation Logstash: Open Source Log-Management Webinar 20.02.2014](https://reader036.vdocuments.us/reader036/viewer/2022062512/55496146b4c905fc4e8b5d3a/html5/thumbnails/13.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
NETWAYS KUNDEN – HOSTING (AUSZUG)
![Page 14: Präsentation Logstash: Open Source Log-Management Webinar 20.02.2014](https://reader036.vdocuments.us/reader036/viewer/2022062512/55496146b4c905fc4e8b5d3a/html5/thumbnails/14.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
UNSERE LEISTUNGEN IM ÜBERBLICK
■ Konzeptionierung und Planung
■ Workshops & Consulting zur Implementierung vor Ort
■ Betrieb Komplette Logmanagementsysteme Teilweise Betriebsunterstützung
■ Entwicklungsleistungen Plugins und Filter Systemintegration
■ Schulungen Standardisierte Schulungsmodule Individuell vor Ort
■ Support Standardverträge Individuelle Supportkonzepte
■ Konferenzen
![Page 15: Präsentation Logstash: Open Source Log-Management Webinar 20.02.2014](https://reader036.vdocuments.us/reader036/viewer/2022062512/55496146b4c905fc4e8b5d3a/html5/thumbnails/15.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
OPEN SOURCE LOGMANAGEMENT
LOGSTASH
![Page 16: Präsentation Logstash: Open Source Log-Management Webinar 20.02.2014](https://reader036.vdocuments.us/reader036/viewer/2022062512/55496146b4c905fc4e8b5d3a/html5/thumbnails/16.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
LOGSTASH
■ Ziele
Logdateien in großen Mengen behandeln
Analyse der Daten
Anbindung an Monitoringsysteme
Dashboards für Visualisierung und Analyse
Weiterleitung der Daten an Drittsyteme
![Page 17: Präsentation Logstash: Open Source Log-Management Webinar 20.02.2014](https://reader036.vdocuments.us/reader036/viewer/2022062512/55496146b4c905fc4e8b5d3a/html5/thumbnails/17.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
PROBLEMSTELLUNG
■ 91.198.2.65 - - [04/Dec/2013:08:53:10 +0100] "POST /_all/_search HTTP/1.1" 200 6666
"https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"
■ 91.198.2.65 - - [04/Dec/2013:08:53:10 +0100] "POST /_all/_search HTTP/1.1" 200 492955
"https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"
■ 91.198.2.65 - logstash [04/Dec/2013:08:53:10 +0100] "GET /app/partials/inspector.html HTTP/1.1" 304 245
"https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"
■ 91.198.2.65 - - [04/Dec/2013:08:53:10 +0100] "POST /_all/_search HTTP/1.1" 200 17140
"https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"
■ 91.198.2.65 - - [04/Dec/2013:08:53:10 +0100] "POST /_all/_search HTTP/1.1" 200 498624
"https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"
■ 91.198.2.65 - logstash [04/Dec/2013:08:53:11 +0100] "GET /app/panels/table/micropanel.html HTTP/1.1" 304 245
"https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"
■ 91.198.2.65 - logstash [04/Dec/2013:08:53:11 +0100] "GET /app/panels/histogram/styleEditor.html HTTP/1.1" 304 245
"https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"
■ 91.198.2.65 - logstash [04/Dec/2013:08:53:11 +0100] "GET /app/panels/table/editor.html HTTP/1.1" 304 245
"https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"
■ 91.198.2.65 - logstash [04/Dec/2013:08:53:11 +0100] "GET /app/panels/histogram/queriesEditor.html HTTP/1.1" 304 245
"https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"
■ 91.198.2.65 - logstash [04/Dec/2013:08:53:11 +0100] "GET /app/panels/histogram/editor.html HTTP/1.1" 304 245
"https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"
■ 91.198.2.65 - logstash [04/Dec/2013:08:53:11 +0100] "GET /app/panels/table/pagination.html HTTP/1.1" 304 245
"https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"
![Page 18: Präsentation Logstash: Open Source Log-Management Webinar 20.02.2014](https://reader036.vdocuments.us/reader036/viewer/2022062512/55496146b4c905fc4e8b5d3a/html5/thumbnails/18.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
VORGEHEN OHNE LOGMANGEMENT
■ Regex Magic
^([\\d.]+) (\\S+) (\\S+) \\[([\\w:/]+\\s[+\\-]\\
d{4})\\] \"(.+?)\" (\\d{3}) (\\d+) \"([^\"]
+)\" \"([^\"]+)\"
■ Pro Logformat eine eigene Regex
■ Aufwendig und zeitintensiv
■ Nur für technisch Versierte
■ Schlecht für die Teamarbeit
![Page 19: Präsentation Logstash: Open Source Log-Management Webinar 20.02.2014](https://reader036.vdocuments.us/reader036/viewer/2022062512/55496146b4c905fc4e8b5d3a/html5/thumbnails/19.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
SORTIERUNG UND VISUALSIERUNG DER DATEN MIT LOGSTASH
![Page 20: Präsentation Logstash: Open Source Log-Management Webinar 20.02.2014](https://reader036.vdocuments.us/reader036/viewer/2022062512/55496146b4c905fc4e8b5d3a/html5/thumbnails/20.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
LOGSTASH ARCHITEKTUR
![Page 21: Präsentation Logstash: Open Source Log-Management Webinar 20.02.2014](https://reader036.vdocuments.us/reader036/viewer/2022062512/55496146b4c905fc4e8b5d3a/html5/thumbnails/21.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
LOGSTASH ARCHITEKTUR
Logstash:Pipe on Steroids
Input
Filter
Output
![Page 22: Präsentation Logstash: Open Source Log-Management Webinar 20.02.2014](https://reader036.vdocuments.us/reader036/viewer/2022062512/55496146b4c905fc4e8b5d3a/html5/thumbnails/22.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
SORTIERUNG DER DATEN
■ Vorher 192.168.1.10 – guest [04/Dec/2013:08:54:23 +0100] "POST /icinga-web/web/api/json
HTTP/1.1" 200 788 "https://icinga-private.demo.netways.de/icinga-web/modules/web/portal" "Mozilla/5.0 (X11; Linux x86_64; rv:22.0) Gecko/20100101 Firefox/22.0"
■ Nachher "http_clientip": "192.168.1.10", "http_ident": "-", "http_auth": "guest", "timestamp": "04/Dec/2013:08:54:23 +0100", "http_verb": "POST", "http_request": "/icinga-web/web/api/json", "http_httpversion": "1.1", "http_response": "200", "http_bytes": "788", "http_referrer":
"https://icinga-private.demo.netways.de/icinga-web/modules/web/portal", "http_agent": "Mozilla/5.0 (X11; Linux x86_64; rv:22.0) Gecko/20100101
Firefox/22.0"
■ Pattern "%{COMBINEDAPACHELOG}"
![Page 23: Präsentation Logstash: Open Source Log-Management Webinar 20.02.2014](https://reader036.vdocuments.us/reader036/viewer/2022062512/55496146b4c905fc4e8b5d3a/html5/thumbnails/23.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
LOGSTASH ARCHITEKTUR
Server
SwitchWebapplikatio
n
• Input• Output
• Key-Value Store
• Puffer
• Input• Filter• Output
• Index• Queries
![Page 24: Präsentation Logstash: Open Source Log-Management Webinar 20.02.2014](https://reader036.vdocuments.us/reader036/viewer/2022062512/55496146b4c905fc4e8b5d3a/html5/thumbnails/24.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
INTEGRATION IN DIE IT-LANDSCHAFT
![Page 25: Präsentation Logstash: Open Source Log-Management Webinar 20.02.2014](https://reader036.vdocuments.us/reader036/viewer/2022062512/55496146b4c905fc4e8b5d3a/html5/thumbnails/25.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
LOGSTASH PLUGINS UND FILTER
■ drupal_dblog■ elasticsearch■ eventlog■ exec■ file■ ganglia■ gelf■ gemfire■ generator■ graphite■ heroku■ imap■ irc■ log4j■ lumberjack■ pipe■ rabbitmq
■ redis■ relp■ s3■ snmptrap■ sqlite■ sqs■ stdin■ stomp■ syslog■ tcp■ twitter■ udp■ unix■ varnishlog■ websocket■ wmi■ xmpp■ zenoss■ zeromq
■ advisor■ alter■ anonymize■ checksum■ cidr■ cipher■ clone■ collate■ csv■ date■ dns■ drop■ environment■ extractnumbers■ gelfify■ geoip■ grep■ grok■ grokdiscovery■ json■ json_encode■ kv
■ metaevent■ metrics■ multiline■ mutate■ noop■ prune■ railsparallel-
request■ range■ ruby■ sleep■ split■ syslog_pri■ translate■ urldecode■ useragent■ uuid■ xml■ zeromq
■ boundary■ circonus■ cloudwatch■ datadog■ datadog_metrics■ elasticsearch■ elasticsearch_htt
p■ elasticsearch_riv
er■ email■ exec■ file■ ganglia■ gelf■ gemfire■ google_cloud_st
orage■ graphite■ graphtastic■ hipchat■ http■ irc■ jira■ juggernaut■ librato■ loggly
■ lumberjack■ metriccatcher■ mongodb■ nagios■ nagios_nsca■ null■ opentsdb■ pagerduty■ pipe■ rabbitmq■ redis■ riak■ riemann■ s3■ sns■ sqs■ statsd■ stdout■ stomp■ syslog■ tcp■ udp■ websocket■ xmpp■ zabbix■ zeromq
Input (36) Filter (40) Output (50)
![Page 26: Präsentation Logstash: Open Source Log-Management Webinar 20.02.2014](https://reader036.vdocuments.us/reader036/viewer/2022062512/55496146b4c905fc4e8b5d3a/html5/thumbnails/26.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
■ Integration in nahezu jede Umgebungen Syslog TCP / UDP Lumberjack fertige Pattern Elasticsearch
■ Skalierbarkeit Auslagerung auf dedizierte Server Multiple Redis-Server Mehrere Logstash-Indexer möglich Elasticsearch ist clusterfähig (Nodes, Shards, Replika)
![Page 27: Präsentation Logstash: Open Source Log-Management Webinar 20.02.2014](https://reader036.vdocuments.us/reader036/viewer/2022062512/55496146b4c905fc4e8b5d3a/html5/thumbnails/27.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
ANWENDUNGSMÖGLICHKEITEN
■ Systemlogs (Problemanalyse)
■ Webserver Access- und Errorlogs
■ Logs der eigenen Applikation (Profiling)
■ Alerts via Icinga, E-Mail, XMPP, …
■ Statistiken (Graphite)
![Page 28: Präsentation Logstash: Open Source Log-Management Webinar 20.02.2014](https://reader036.vdocuments.us/reader036/viewer/2022062512/55496146b4c905fc4e8b5d3a/html5/thumbnails/28.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
LIVE DEMO
![Page 29: Präsentation Logstash: Open Source Log-Management Webinar 20.02.2014](https://reader036.vdocuments.us/reader036/viewer/2022062512/55496146b4c905fc4e8b5d3a/html5/thumbnails/29.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
FRAGEN UND ANTWORTEN
![Page 30: Präsentation Logstash: Open Source Log-Management Webinar 20.02.2014](https://reader036.vdocuments.us/reader036/viewer/2022062512/55496146b4c905fc4e8b5d3a/html5/thumbnails/30.jpg)
www.netways.de // blog.netways.de // @netways
We love Open Source
KONTAKTDATEN
10. – 14. März 2014
Halle 6, Stand E16 (310)
NETWAYS GmbH
Deutschherrnstrasse 15-19
90429 Nürnberg
Tel: +49 911 92885-0
Fax: +49 911 92885-77
E-Mail: [email protected]
Website: www.netways.de
Twitter: twitter.com/netways
Facebook:
facebook.com/netways
Blog: blog.netways.de