domino clustering - admincamp · • domino cluster gibt es seit dem notes server 4.5 von 1996 •...

IBM Domino ClusterAdminCamp 2016 – 19. – 21. September

Domino Clustering ++

Ulf Duvigneau – TimeToAct Hamburg


Über mich

• Lotus Notes Entwicklung seit 1992 mit Version 2

• Lotus Notes Administration seit 1994 mit Version 3(OS2-Server)

• Kunden- und Entwickler-Versteher

• Senior Architekt/AdministratorDomino, Travler, Sametime (Community)

• Arbeitet bei TimeToAct Hamburg


Das Menü

• Cluster Erklärung

• Cluster Historie

• Cluster Vergleich

• Cluster Voraussetzung

• Cluster Einrichtung

• Cluster Mechanismen

• Cluster Pflege

• Cluster 2.0 Lastverteilung

• Cluster Programmierung

• Cluster andere Funktionen

• Cluster nützliche Gedanken

• Cluster Statistik-Werte

• Quellen


Cluster Erklärung

Wikipedia:

„Als Cluster bezeichnet man in der Informatik und Statistik eine Gruppe von Datenobjekten mit ähnlichen Eigenschaften. Die Menge der in einem Datensatz gefundenen Cluster bezeichnet man als Clustering, Verfahren zur Berechnung einer solchen Gruppierung als Clusteranalyse. Nicht zu einem Cluster gehörende

Datenobjekte bezeichnet man als Ausreißer, Outlier oder

Noise.

Die Kernidee eines Clusters ist, dass Objekte im selben Cluster über „ähnliche“ Eigenschaften verfügen und sich von Objekten, die nicht im selben Cluster sind, dadurch unterscheiden.“

https://de.wikipedia.org/wiki/Informatik

https://de.wikipedia.org/wiki/Statistik

https://de.wikipedia.org/wiki/Clusteranalyse

https://de.wikipedia.org/wiki/Ausrei%C3%9Fer


Cluster Erklärung

Ausreißer?

Aber zurück zum Thema


Cluster Erklärung

• Warum eigentlich?• Notes Applikationen sind geschäftskritisch, Mail sowieso und durch

Traveler auch Kontakte und Kalender für die wichtigen Mitarbeiter (C-Klasse) und alle anderen

• Immer weniger Zeit für Wartungsarbeiten

• 24 * 7 * 365

• Hardware ist nicht mehr so teuer. Zumindest günstiger als Adminzeit.

• Service Level Agreements 99+% zu aberwitzigen Intervallen berechnet


Cluster Erklärung

• Gruppe von zwei oder mehr Domino Servern(Empfehlung max. war mal sechs)

• Ausfallsicherheit

• Lastverteilung

• Repliken von Anwendungen (Datenbanken (Kacheln))

• Fortlaufende Synchronisation


Cluster Historie

• Domino Cluster gibt es seit dem Notes Server 4.5 von 1996

• Teil der Lizensierung – kein Extra-Produkt keine Extra Kosten

• Streaming Cluster Replication (Default ab 8.5)• Weg von pro-DB Replikation zur Ereignis-Replikation

• Im Speicher

• CPU Nutzung auf 10% reduziert

• Latenz Reduzierung in Test von 269 Sek. auf 5

• Ab 8.5.2 in der Desktop Policy-Einstellung im Register Mail automatische Umleitung im Failover Fall (Silent)


Cluster Vergleich

• Active Active ClusterOft bei Domino Applikations Server Clustern. Die Kachel entscheidet womit der Anwender arbeitet

• Active Passive Cluster• Domino Mail Cluster – Anwender arbeiten auf Ihrem Mailserver und Partner

übernimmt nur wenn der andere nicht verfügbar oder belegt.

• Ein Clusterserver, der allen DB von anderen Servern der Domäne hat und bei Ausfall eines Serves übernimmt.


Cluster Voraussetzung

• Lizenz

• Domino Enterprise oder Utility Server Installation

• System• Innerhalb einer Domäne (Zugriff ohne Verbindungsdokumente)

• Ein Notes Named Network

• Server ID vom selben Zertifikat erstellt

• Zusätzliche Speicher und Prozessor Anforderungen

• Generelle Performance Überlegungen gelten hier insbesondere (Andy Pollack – Performance in the real world)

• Mehr Prozessor Kraft und Hauptspeicher Kapazität als normaler Server

http://www.admincamp.de/konferenz/ac2014.nsf/bc36cf8d512621e0c1256f870073e627/7fe277cafde40db1c1257bff00507c23/$FILE/T4S8-Performance in the Real World.pdf


Cluster Einrichtung

• Ab Domino Version 8.5.3 / 9.x Cluster Aufbau ohne Server Neustart


Cluster Einrichtung

Server_Cluster_on=1


Cluster Einrichtung

• Eigene IP (über eigene schnelle Netzwerkkarte)• IP in Netzwerkkarte

• Port Cluster im Server-Dokument

• Eintragen in Server Notes.ini (oder besser Konfig Dokument):TCPIP_TcpIPAddress=0,10.76.111.113:1352CLUSTER_TcpIPAddress=0,10.76.11.250:1352Server_Cluster_Default_Port=ClusterIn der Serverstatistik prüfen, on privates Clusternetz vom Cluserreplikator genutzt wird.

• Eigene Netzkarte?Hängt von der Auslastung der Systeme ab, bei Std Gbit Karten und wenig Verkehr nicht notwendig. Eigene IP Und Port zur Verwaltung besser (ohne Kompression/Verschlüsselung)


Cluster Einrichtung

• Notes.ini: Cluster_Replicators=nAnzahl der Clusterreplikatoren, abhängig von Statistiken – zu viel Traffic, Wartezeiten?


Cluster Einrichtung

• Server aus Cluster entfernen


Cluster Mechanismen

• Alles was da ist, wenn der Cluster eingerichtet ist.

• Clusterdirectory (CLDBDIR.NSF)• gepflegt durch Task Cluster Database Directory Manager (CLDBDIR)

• alle Cluster DBs, hier wird geschaut

• Cluster Replication hier abschaltbar pro DB

• Cluster Replication wird durch Events ausgelöst, während normale Replikation durch einen Vergleich entsteht. Der Task CLREPL pushed Änderungen zu den anderen Servern

• Die auszutauschenden Dokumente werden im Speicher Cache gesammelt (Normale Replikation zusätzlich)


Cluster Mechanismen

• Im Notes Daten Verzeichnis Cluster.NCFAktualisierung beim Notes Ende, Der Client weiß, wen er ansprechen muss:Time=15.09.2016 20:32:02 (C125802F:0065CF9C)HanseCom Cluster 1CN=Matisse/O=HanseCom/C=DECN=CEZANNE/O=HanseCom/C=DETime=14.09.2016 16:20:47 (C125802E:004ECE9C)CL_TEST_KONSOLIDIERUNGCN=Barvitius/O=Test- und Konsolidierung/C=DECN=Caspar/O=Test- und Konsolidierung/C=DE(auch auf Server)1) Anderen Server im Cluster ansprechen.2) Anderer Server prüft im Cluster Directory wo andere Replica verfügbar3) Client wird zu höchst verfügbaren Server umgeleitet

• Busytime.nsf > clubusy.nsfWird automatisch konvertiert bei der Cluster Erschaffung.


Cluster Pflege

• Cluster Analyse: Admin Client > Analyse > Cluster Analyse

• Verbindungsprobleme• Ping (Servername und IP Adresse)

• Netstat –ahergestellte Verbindungen und lauschende Ports.

• Telnet <Server> <Port>

• Trace von der Domino Konsole IP Adresse und Servername.

• Server Availybility Index ist nicht korrekt Server meldet sich bei aktiver Lastverteilung als beschäftigt (busy) ab (Threshold), hat aber kaum etwas zu tun.

• Show cluster in der Serverkonsle > SAI

• Failover – Event im Serverprotokoll (log.nsf)


Cluster Pflege

• Show Cluster

• Show AI

• Show Database (Exakte Dokumente Anzahl)


Cluster Pflege

• Tell clrepl quit & load clreplCluster Replikation anhalten und starten.

• Tell clrepl dump >Liste aller DB die geclustert werden. Mit weiteren Angaben. Fehlt hier eine, so muss ggf. das Clusterdirectory (CLDBDIR.NSF)neu erstellt werden.

• Tell clrepl logProtokoll in log.nsf unter Replikation.

• TRACEAuf Server Name und IP

• Repl <Zielserver> <DB oder Quellverzeichnis>Vorher Rep-Protokoll löschen


Cluster Pflege

• Admin Client > Server > Leistung > + für jeden Server im Cluster:• Replica.Cluster.SecondsOnQueue <10 gut / >15 schlecht

• Replica.Cluster.WorkQueueDepth <10 gut / >15 schlecht


Cluster Pflege

• Statistik in Adminkonsole oder sh stat replica.cluster*:• Replica.cluster.servers = 1

Der Server sieht einen anderen im Cluster

• Replica.Cluster.Failed = 3097Fehlerhafte Replikationen seit ServerStart

• Replica.Cluster.Retry.Skipped = 870505

• Replica.Cluster.Retry.Waiting = 1Anzahl von Repliken, die auf eine Wiederholung warten

• Replica.Cluster.SecondsOnQueue = 2Dauer bis eine Änderung zur Zeit übertragen wird, soll klein sein.

• Replica.Cluster.WorkQueueDepth.Avg = 10Dauer bis eine Änderung durchschnittlich übertragen wird, Vergleichen!


Cluster Pflege

• Statistik in Adminkonsole oder sh stat server.cluster*:

• Server.Cluster.OpenRequest.ClusterBusyAnfragen an DB wenn Cluster Busy und kein anderer Server konnte antworten. Hohe Zahl > DB zusätzlich auf andere Cluster Server oder Threshold/Max User überdenken

• Server.Cluster.Failover.UnsuccessfulAnzahl vergeblicher Zugriffsversuche auf nicht verfügbare DB phne chance auf anderem Cluster Server

• Server.Cluster.LoadBalance.UnsuccessfulAnzahl vergeblicher Zugriffsversuche im Belegt-Status ohne Weiterleitung auf anderem Cluster Server


Cluster 2.0 Lastverteilung

• Notes.ini/Srv.Konfig.Dok: Server_MaxUsers=Anzahl

• Notes.ini/Srv.Konfig.Dok: Server_Availability_Threshold=XX

• Server Availybility Index SAI% Darstellung wie beschäftigt der Server ist 100 % nichts zu tun0 % HELP!



• Expansion Factor gespeichert in loadmon.ncfXF = Dauer Tasks bei beschäftigte Zeiten /

Dauer Tasks bei ruhigen/schnellsten Zeiten

• Dauert eine Transaktion 64 mal so lange wie normal ist der AI 0% bei einer Transinfo Range von 6 (Default)

• Langsamer Server mit Expansion Faktor 30 und moderne schneller Server mit EF = 300 bedeutet nicht das er langsam ist!

• Wenn aber bereits 64 im Default 0 ist, ist das schlecht für schnelle Server…



• Das Modul LoadMon errechnet auf Basis von 12 Transaktionen die minimalen und die durchschnittlichen Werteden Expansion Faktor aus dem mir Hilfelder Transinfo Range der Server Avialability Index berechnet wird.SAI = 100 * (1 - log (XF) / log (2) / n)

• Ab Domino 8.5 funktioniert das.(Danke Daniel Nashed!)



• PROBLEM: Datenverzeichnisse von Servern werden bei Plattformwechseln mitkopiert

• Daher hat die loadmin.ncf „historische Werte“(links historische, rechts neue Datei)



• Zum Feinjustieren und Aktualisieren der Werte in der loadmon.ncf wird folgendes Verfahren empfohlen:1. notes.ini/konfig.dok: Server_MinPossibleTransTime=1.500

=1,5 MilliSek. Minimum für eine Transaktion

2. notes.ini: Server_MaxPossibleTransTime=20.000.000=20 Sekunden Maximum für eine Transaktion(die min. und max. Werte werden in Mikro-Sekunden angegben)

3. Loadmon.ncf bei runtergefahrenem Server löschen (Alte Werte Siehe Beispiel)

4. Warten bis sich sich belastbare Werte sammeln



• Und nun?

• Expansion Factor = 2 ^ 6 (Transinfo Range Default) = 64

• Statistik Server.ExpansionFactor (Sh AI)beobachten• Zu Zeiten schwerer Serverlast

• Performance prüfen

• Dieser Wert ist N

• 2 ^ ? = N

• Wenn der Expansion Factor dann z.B. 256 ist, könnte der SERVER_TRANSINFO_RANGE auf 8 gesetzt werden 2 ^ 8 = 256 (EF) ~ SAI 0%

• Mit Server_Transinfo_Max und Server_Transinfo_Update_Intervall lassen sich die Anzahl und Längen der Datenerfassung ändern (default 5 x a 15 sec)



• Nachdem die Berechnung des Server Availybility Index SAI nun optimal für die Clustermachinen eingestellt ist, wird auf dieser Basis der Server_Availability_Threshold SAT eingestellt.- Ist der SAI < SAT wechselt der Server in den Belegt (Busy) Status und neue

Anwender werden zu anderen Servern umgeleitet.

- 0 (default) bedeutet das keine Lastverteilung stattfindet

- Beispiel: Der SAI erreicht zu Spitzen-Belastungszeiten einen Wert von 70. Der SAT könnte bei 73 eingestellt werden.

• Alternative Mailserver-Cluster mit 2.000 Anwendern und über Server.Users Spitzenwerte Server_MaxUsers setzen


Cluster 2.0 Fragen

• Fragen bis hierhin?


Cluster 2.0 Failover

• Failover findet statt, wenn …• .. eine Anwendung geöffnet wird und nicht wenn sie offen ist.

(Meine aktuelle Erfahrung ist eine andere)

• Neu nach Notes Client 8.5.2 vermutlich wegen LotusLive

• Während Dokument Bearbeitung!

• Während fast allen Prozessen > Kein Datenbank schließen und neu öffnen mehr notwendig


Cluster Programmierung

• Anwendungen funktionieren nicht per Default im Cluster

• Schlecht: Zugriff auf andere DB (hart verdrahtete Servernamen)

• Formeln @DBColumn / @DBLookup nicht clusterfähig (Zwei Lösungen dazu werden mit der Präsentation als PDF verteilt.)

• Die Methode NotesDatabase.open austauschen mit .openWithFailover

• Agenten (wo laufen sie? Konflikte?)

• Periodische Agenten mit Konfig-Dokument in welcher Reihenfolge sie wo laufen … tricky – manuell?


Cluster Programmierung

• Suche nach nicht clusterfähigen Formeln/Script/Servernamen im DB Design? Designer Client > DB öffnen > Menü Datei > Anwendung > Gestaltungsübersicht (früher Synopse)


Cluster andere Funktionen

• Internet Cluster Manager ICM für HTTP/HTTPS besser Proxy davor, da ICM nur redirect macht und Proxy Kommunikation regelt

• Lotus Traveler – Eigene High Availability Lösung durch DB2

• iNotes: ICM, Load balancer, Redirect DB und Agenten (Quelle)


Cluster nützliche Gedanken

• LocalDomainServers Manager „mit alles“

• Mailserver – Lastverteilung durch Verteilung der Anwender

• Wer traut seinem DNS? > Verbindungsdokumente mit IP Adressen

• Im Cluster soll immer auch periodische Replikation aktiv sein (Ausfälle – Hauptspeicher, z.B. stündlich)

• Cluster Replikator ignoriert Replikationsformeln und DeletionStubs (Leserfelder ohne Server?)

• Prüfung Dokumentzahlen > Rep.Log löschen und neue replizieren> Show Database

• DB-Größen können unterschiedlich sein (View-Indexe, DeletionStub Zeiten, Platz von gelöschten Dokumenten)

• Serverumzug durch Cluster-Bildung und Belegt-Modus



• Wartungsarbeiten durch „Belegt“-Zustand

• Ressourcendatenbanken sollten im Cluster nur auf zwei Servern als Replik sein.

• Busytime.nsf wird im Cluster zur Clubusy.nsf

• Ungelesenen Markierungen können unterschiedlich behandelt werden

• Cluster_admin_on=1auch auf Nicht-Cluster nützliche Kopier-Befehle

• Straming Cluster Repl.Änderungen sofort an alle Cluster Partner im Speicher, läuft seit 8.02 FP1

• Cluster Replicator prüft vor Repl. ob DAOS Datei schon da.

https://www-10.lotus.com/ldd/dominowiki.nsf/dx/cluster_admin_on



• Abwesenheitsagent ist Service vom Router ~ geclustert

• Wenn ein Server „hängt“ wird kein automatisches Failover ausgeführt• Hier ist ein schneller Admin gefragt

• Admin Konsole: Set config Server_restricted=2

• Drop all

• Schauen was los ist – oft Domino oder sogar Server komplett neu starten

• NSD prüfen

• Schauen ob der Server wieder gut hochläuft (Konsole)

• Admin Konsole: Set config Server_restricted=0

• Server_Cluster_Auxiliary_Ports=* falls Cluster-Port ausfällt

• Server_restricted 0 – 1 – 2 - 3 – 4 2 und 4 bleibt nach Reboot, 3 und 4 auch andere Server



• Managed Replicas (Desktop Policy) z.B. Mail beschleunigen den Mailzugriff und entlasten den Server

• Seit 8.5.2 lässt sich über eine Policy einstellen, dass die Kachel nach einem Failover auf den zuletzt benutzten Server gestellt wird

• Ein Server kann nur Mitglied eines Clusters sein.

• debug_loadmon=1• Aktiviertes LoadMon Debugging, und schreibt zusätzliche Einträge in die

server console z.B. “Loadmon: Domino AI = 25, XF = 64”

• Erweitert die Statistiken um 46 weitere Einträge (server.loadmon.*)


Cluster Statistik-Werte

Anders als die Statistiken "AvailabilityIndex", "AvailabilityThreshold" und "ExpansionFactor" weisen alle Namen von Statistiken des Domino-Cluster-Managers das Präfix "Server.Cluster" auf, das bei den Namen in dieser Tabelle nicht angegeben ist. "AvailabilityIndex", "AvailabilityThreshold" und "ExpansionFactor" enthalten das Präfix "Server".

Member Zeigt die Namen und Verfügbarkeitsindizes der Server im Cluster an.

AvailabilityIndex Ein Maßstab für die Verfügbarkeit eines Servers. 0 (null) gibt an, dass keine Ressourcen verfügbar sind, 100 steht für volle Serververfügbarkeit.

AvailabilityThreshold Der aktuelle Verfügbarkeitsschwellenwert des Servers. Wenn der Verfügbarkeitsindex kleiner oder gleich dem Verfügbarkeitsschwellenwert ist, wird der Server auf den Status "Belegt" gesetzt.

ExpansionFactor Der aktuelle Erweiterungsfaktor. Anhand dieses Wertes wird der Verfügbarkeitsindex berechnet. Ein Wert von 1 bedeutet, dass der Server Transaktionen innerhalb der minimalen Zeitspanne für diesen Server ausführt. Ein Wert von 64 bedeutet, dass die Ausführung 64-mal so lange dauert wie die minimale Zeitspanne. Standardmäßig steht ein Erweiterungsfaktor von 64 für einen voll ausgelasteten Server und ergibt einen Verfügbarkeitsindex von 0 (null). Anhand der NOTES.INI-Einstellung Server_Transinfo_Range können Sie den Erweiterungsfaktorwert ändern, der für einen voll ausgelasteten Server steht.



OpenRedirects.Failover.Successful Gibt an, wie oft insgesamt der Server einen Client erfolgreich zu einem anderen Clustermitglied umleitet, wenn der Client eine Datenbank nicht anhand der Replik-ID öffnen kann.

OpenRedirects.Failover.Unsuccessful Gibt an, wie oft insgesamt der Server einen Client nicht zu einem anderen Clustermitglied umleiten kann, wenn der Client eine Datenbank nicht anhand der Replik-ID öffnen kann.

OpenRedirects.FailoverByPath.Successful Gibt an, wie oft insgesamt der Server einen Client erfolgreich zu einem anderen Clustermitglied umleitet, wenn der Client eine Datenbank nicht anhand des Pfadnamens öffnen kann.

OpenRedirects.FailoverByPath.Unsuccessful Gibt an, wie oft insgesamt der Server einen Client nicht zu einem anderen Clustermitglied umleiten kann, wenn der Client eine Datenbank nicht anhand des Pfadnamens öffnen kann.

OpenRedirects.LoadBalance.Successful Gibt an, wie oft insgesamt der Server einen Client erfolgreich zu einem anderen Clustermitglied umleitet, wenn der Client versucht, eine Datenbank anhand der Replik-ID zu öffnen, während der Server belegt ist.



OpenRedirects.LoadBalance.Unsuccessful Gibt an, wie oft insgesamt der Server einen Client nicht zu einem anderen Clustermitglied umleiten kann, wenn der Client versucht, eine Datenbank anhand der Replik-ID zu öffnen, während der Server belegt ist.

OpenRedirects.LoadBalanceByPath.Unsuccessful Gibt an, wie oft insgesamt der Server einen Client nicht zu einem anderen Clustermitglied umleiten kann, wenn der Client versucht, eine Datenbank anhand des Pfadnamens zu öffnen, während der Server belegt ist.

OpenRedirects.LoadBalanceByPath.Successful Gibt an, wie oft insgesamt der Server einen Client erfolgreich zu einem anderen Clustermitglied umleitet, wenn der Client versucht, eine Datenbank anhand des Pfadnamens zu öffnen, während der Server belegt ist.

OpenRequest.ClusterBusy Gesamtzahl der Client-Anforderungen, während alle Server belegt sind.



OpenRequest.DatabaseOutOfService Gesamtzahl der Versuche eines Clients, eine auf dem Server als "Außer Betrieb" gekennzeichnete Datenbank zu öffnen.

OpenRequest.LoadBalanced Gesamtzahl der Versuche eines Clients, eine Datenbank auf dem Server zu öffnen, während der Server belegt ist.

PortName Vorgabeport für den Netzwerkdatenverkehr innerhalb von Clustern oder ein Sternchen, wenn kein Port vorgegeben ist und jeder verfügbare aktive Port verwendet werden kann.

ProbeCount Gesamtzahl der von einem Server durchgeführten Überprüfungen anderer Clustermitglieder.

ProbeError Gesamtzahl der gemeldeten Fehler bei der Überprüfung eines anderen Servers durch den Server.

ProbeTimeout(mins) Das Intervall, in dem eine clusterinterne Überprüfung erfolgt. Diese Statistik ist im Cluster-Statistikbericht nicht enthalten, kann aber mit dem Befehl "Show Stat" angezeigt werden. Sie können sie außerdem der Maske für den Cluster-Statistikbericht hinzufügen.


Cluster 2.0

• Vielen Dank!


• Notes 9.01 Admin Hilfe

• Daniel Nashed „Domino Clustering “ – Admincamp 2014

• Daniel Nashed „SAI finaly fixed in Domino 8.5 “

• Paul Mooney: „Server Availability Index (SAI) and Optimizing Domino Clusters“

• Susan Bulloch: „Clustering for Disaster Recovery“, 2009

• Admin Hilfe (Notes Anwendung)

• Rob Stehen „Basic Domino Cluster Troubleshooting“, Aug. 2016

• Achieving High Availybility in iNotes, Mai 2010

• Detlev Pöttgen : „Traveler hochverfügbar betreiben“, Admincamp 2014

http://blog.nashcom.de/nashcomblog.nsf/dx/sai-finally-fixed-in-domino-8.5-.htm

https://www.youtube.com/watch?v=_TXwyasbSEw

http://www.ibm.com/developerworks/lotus/library/inotes-avail/

http://www.admincamp.de/konferenz/ac2014.nsf/bc36cf8d512621e0c1256f870073e627/2c217cdc9a7122ebc1257bff00507c29/$FILE/T2S5-HA-9-0-1-v1-0.pdf

domino clustering - admincamp · • domino cluster gibt es seit dem notes server 4.5 von 1996 •...

Documents