ki in medizin und automotive - embedded testing · künstliche intelligenz in medizin und...
TRANSCRIPT
Künstliche Intelligenz in
Medizin und Automotive
Effektive Strategien zur Sicherheitsargumentation
Safety & Security
München, 01.07.2019
Tim Jones
Senior Safety Consultant
Florian Bogenberger
Managing Safety Consultant
2
Who is exida?
Excellence
▪ Focus on Safety & Security
▪ Knowledge in many Industries
▪ app. 150 Partners and employees with a
cumulative experience of several hundred
years in safety and dependability
▪ Many books & publications
Patents with customers
Independent and neutral
▪ We are privately owned
▪ We have no OEM / vendor bias
International customer base
▪ Our client base is international
▪ We cover the full supply-chain,
end-users, OEM’s, vendors, engineering contractors
Jul 01, 2019 Copyright © exida.com 2000-2019
exida.com
LLC (USA)
exida.com
Asia Pacific
exida.com
GmbH (Germany)
exida.com
Israel Ltd.
Medical
IC Industry
Who is exida?
Automotive, Medical, Semiconductor, Automation & Process Industry
Independent, International
In Depth Technical Consultancy & Solutions -System, HW, SW
Leading Edge Technologies– Artificial Intelligence
– Autonomous Driving, E-Drive
– Agile Development, SCRUM
– ICs
– …
Safety & Security Concepts, Architecture & Design
Safety Analyses, Cybersecurity Analyses, Assessments, FMEA, FTA
Trainings & Workshops, Process Definition, Safety Management
Jul 01, 2019 Copyright © exida.com 2000-2019 3
Process Industry
Automotive
Automation
Einordnung
AI
Machine Learning
Neural Networks
Deep Learning
Jul 01, 2019 Copyright © exida.com 2000-2019 4
Artificial Intelligence Index – 2018 annual report
Agenda
1. Künstliche Intelligenz – Ein Einblick
2. Dependability – KI – Sicherheitsnachweis
3. Beispiele für Sicherheitsargumentationen
4. Schlüsselaspekte
Jul 01, 2019 Copyright © exida.com 2000-2019 5
KI – So einfach… – So komplex…
Jul 01, 2019 Copyright © exida.com 2000-2019 6
There are two ways of constructing a software design: One way is to make it so
simple that there are obviously no deficiencies, and the other way is to
make it so complicated that there are no obvious deficiencies. The first
method is far more difficult.C.A.R. Hoare
http://yann.lecun.com/exdb/mnist/
Wie wir wahrnehmen und lernen…
Jul 01, 2019 Copyright © exida.com 2000-2019 7
…wie ein Computer wahrnimmt und lernt
Jul 01, 2019 Copyright © exida.com 2000-2019 8
70 253 198 156 232 229 137 209 141 94 33 207 212 63 172 153 185 144 1
99 94 31 25 109 55 84 171 127 155 64 164 221 11 227 95 76 19 60
191 244 18 151 255 235 218 123 149 126 234 123 31 255 195 253 29 19 108
28 72 73 135 33 132 217 196 187 228 209 43 196 176 32 194 218 88 141
142 227 197 217 172 134 18 154 150 247 1 98 128 30 123 47 129 175 35
158 26 13 189 68 146 235 103 45 174 43 44 128 28 99 118 20 189 58
216 212 44 160 5 88 41 209 207 177 153 233 128 247 133 69 241 56 127
112 207 10 139 204 97 132 14 118 28 249 1 70 212 57 225 235 190 145
91 29 10 233 185 159 199 116 78 97 59 78 227 168 138 151 162 85 112
224 138 106 82 110 77 225 74 250 7 69 158 237 127 181 167 236 72 120
133 175 21 148 128 0 212 28 194 63 149 38 99 170 132 222 73 15 117
7 70 37 163 205 27 78 136 137 182 243 15 235 39 104 228 91 51 32
224 87 155 59 151 205 78 21 29 161 99 11 237 220 230 22 12 24 224
195 116 33 104 26 9 13 179 122 245 229 50 178 56 165 22 140 140 107
16 169 242 98 196 242 237 23 96 170 24 84 4 154 247 26 6 58 255
82 200 114 77 221 94 102 238 122 36 99 219 241 245 197 157 3 211 48
53 176 70 81 123 118 217 57 58 142 24 66 231 99 231 207 26 251 174
194 181 240 105 242 60 150 11 250 139 101 105 138 233 53 135 139 249 219
232 97 189 96 186 74 39 117 104 96 65 254 197 76 87 195 143 96 140
182 169 178 55 83 138 49 164 60 230 124 228 155 181 224 176 86 144 205
122 90 25 72 52 37 97 75 50 69 188 195 69 175 155 50 174 46 144
6 46 30 158 208 54 98 62 131 135 178 68 78 139 24 43 212 136 20
34 248 211 213 166 140 193 136 226 149 19 71 124 29 241 158 41 20 124
154 87 48 226 180 179 198 81 2 29 148 204 241 43 229 48 216 214 3
116 183 51 126 238 63 21 218 156 213 41 154 83 34 76 227 252 89 163
135 127 124 78 57 115 12 125 67 252 199 72 53 134 9 30 255 3 160
95 167 161 70 97 134 238 68 122 46 179 49 171 220 3 221 71 178 78
164 202 166 148 47 34 184 240 145 63 195 173 133 170 52 222 117 118 112
40 55 176 22 92 42 104 186 209 106 173 93 10 232 94 84 55 208 38
116 163 234 143 97 94 187 97 150 143 112 76 152 221 184 227 100 139 169
27 36 225 212 69 209 26 47 126 4 33 199 31 60 28 246 69 242 71
230 162 155 145 64 100 202 126 29 89 41 220 80 85 157 100 193 248 200
Cyclist
Couch
Car
Zebra
Agenda
1. Künstliche Intelligenz – Ein Einblick
2. Dependability – KI – Sicherheitsnachweis
3. Beispiele für Sicherheitsargumentationen
4. Schlüsselaspekte
Jul 01, 2019 Copyright © exida.com 2000-2019 9
Zuverlässigkeit - Dependability
Jul 01, 2019 Copyright © exida.com 2000-2019 10
Safety
in Use
Security
Functional
Safety
Faults do
not cause a
Hazard
Attacks do not
cause a Hazard
Normal Use*)
does not cause
a Hazard
*) Including forseeable misuse
Wieso ist ein Sicherheitsnachweis für KI schwierig?
Jul 01, 2019 Copyright © exida.com 2000-2019 11
Paradigmen Shift
Jul 01, 2019 Copyright © exida.com 2000-2019 12
Classic Development Neural Networks
Paradigm
Shift
Structure homomorph
to System
Structure disparate
to System
Umgang mit Quasi-Stochastik
Jul 01, 2019 Copyright © exida.com 2000-2019 13
…
printf("hello world\n");…
…Mio LOC… Architecture & Design
…Mio Neuronen…
DER Schlüsselaspekt…
Copyright © exida.com 2000-2019 14Jul 01, 2019
Funktionale Sicherheit sicherheitsbezogener elektrischer / elektronischer / programmierbarer elektronischer Systeme
Road vehicles – Functional safety
Road vehicles -- Safety of the intended functionality
Medizinische elektrische Geräte; Allgemeine Festlegungen für die Sicherheit
Medical device software – software life cycle processes
Autonomous Product Safety Standard (not released, yet)
Proposed Regulatory Framework for Modifications to Artificial Intelligence/Machine Learning (AI/ML)-Based Software as a Medical Device (SaMD) Discussion Paper and Request for Feedback
Jul 01, 2019 Copyright © exida.com 2000-2019 15
Welche Standards helfen mir?
IEC 61508
ISO 26262
ISO/PAS 21448
IEC 62304
UL4600
FDA AI
Discussion
Paper
IEC 60601-1
Agenda
1. Künstliche Intelligenz – Ein Einblick
2. Dependability – KI – Sicherheitsnachweis
3. Beispiele für Sicherheitsargumentationen
4. Schlüsselaspekte
Jul 01, 2019 Copyright © exida.com 2000-2019 16
• EKG-Analyse in Defibrillatoren
• Sprachsteuerung
• Autonomes Fahren
Automatischer Externer Defibrillator
Jul 01, 2019 Copyright © exida.com 2000-2019 17
KEINE
Schockabgabe
Schockabgabe
ECG Figures: PhysioNet; The Creighton University Ventricular Tachyarrhythmia Database
Exemplarische Wirkkette
Jul 01, 2019 Copyright © exida.com 2000-2019 18
Schockabgabe
HV
En
dstu
fe
Vo
r-V
era
rbeitun
gEKG-Analyse
Impedanz-Analyse
Bewegungs-Analyse
Atmungs-Analyse
Master
Slave
User Interface …
DefibrillationsimpulsEKG Input
EKG Analyse - Generalisierung
Jul 01, 2019 Copyright © exida.com 2000-2019 19
Pa
ram
ete
r 1
Parameter 2
Beispiel:
Parameter 1: Frequenz Parameter 2: ∫ | Kurvenabschnitt |
KEINE Schockabgabe
Schockabgabe
Generalisierung beachten!
Trennung von Trainings- und Testdaten
Erklärbarkeit der Ergebnisse
Ausgewählte Aspekte der Sicherheitsargumentation
Produktnorm vorhanden (IEC 60601-2-4): Medizinische elektrische Geräte –Teil 2-4: Besondere Festlegungen für die Sicherheit von Defibrillatoren
Sicherheitsrelevante Fehlerfälle bekannt– Falsch positive Schockabgabe
– Falsch negative Nicht-Schockabgabe
Anforderungen nach IEC 60601-2-4 an Rhythmuserkennungsdetektoren:• Sensitivität > 90%
• Spezifität > 95%
• Trainings- und Testdaten müssen verschieden sein
Anerkannte Datenbank vorhanden: Creighton University VentricularTachyarrhythmia Database– 35 x 8min annotiertes EKG mit Episoden von ventrikulärer Tachykardie,
Kammerflimmern und –flattern
Ergebnisse sind erklärbar
Jul 01, 2019 Copyright © exida.com 2000-2019 20
Agenda
1. Künstliche Intelligenz – Ein Einblick
2. Dependability – KI – Sicherheitsnachweis
3. Beispiele für Sicherheitsargumentationen
4. Schlüsselaspekte
Jul 01, 2019 Copyright © exida.com 2000-2019 21
• EKG-Analyse in Defibrillatoren
• Sprachsteuerung
• Autonomes Fahren
Sprachsteuerung
Exemplarische Anwendungsfälle– Systemsteuerung
• OP-Leuchten
• OP-Robotern
• Bildgebenden Systemen
• …
– Kontrolle von Parametern von Analyseeinheiten• Bildparameter (Helligkeit, Kontrast, Zoom, …)
• Programmparameter
• …
– Smart Hospital Anwendungen• Kommunikation
• “Nachschlagewerk”
• …
Potentielle Risiken– (Schwere) Verletzungen, z.B. Quetschungen
– Blutungen
– Verbindungsabbrüche
– Security Issues
– …
Jul 01, 2019 Copyright © exida.com 2000-2019 22
Exemplarische Wirkkette
Jul 01, 2019 Copyright © exida.com 2000-2019 23
Move Up Interpretation und
Kontextanalyse
Vor-
Vera
rbeitung
Aktu
ato
r
Spracherkennung
(ASR)
Exemplarischer Fehlerbaum
Jul 01, 2019 Copyright © exida.com 2000-2019 24
Potentially
black boxes
Small λ
imaginable
Potentially
black boxes
Infinite State
Space
Exemplarische Wirkkette
Jul 01, 2019 Copyright © exida.com 2000-2019 25
Move Up Interpretation und
Kontextanalyse
Vor-
Vera
rbeitung
Aktu
ato
r
Spracherkennung
(ASR)
Schlüsselwort-
erkennung
Redundante Aktivierungstrigger
Ausgewählte Aspekte der Sicherheitsargumentation
Safety Case als Top Level Arbeitsprodukt – Sicherheitsargumentation in Abstimmung mit
• exida.com
• Benannter Stelle
Use Case Definition
Risikobewertung & Sicherheitskonzept(e)– Ermittlung sicherheitsrelevanter Fehlfunktionen
– Definition Systemarchitektur
– Bestimmung von sicheren Zuständen
– Bestimmung von Akzeptanzkriterien
– Erklärbarkeit der Ergebnisse
– Bewertung von SOUP / COTS
– …
Definition, Erhebung, Maintenance der Datenbasis– Schlüsselworte
– Zu erkennende Kommandos
– Umgebungsgeräusche
– Sprachen, Dialekte, Native / Non-native Speakers
– Annotation der Daten
– Bewusste Auswahl von Performancemetriken
Jul 01, 2019 Copyright © exida.com 2000-2019 26
Agenda
1. Künstliche Intelligenz – Ein Einblick
2. Dependability – KI – Sicherheitsnachweis
3. Beispiele für Sicherheitsargumentationen
4. Schlüsselaspekte
Jul 01, 2019 Copyright © exida.com 2000-2019 27
• EKG-Analyse in Defibrillatoren
• Sprachsteuerung
• Autonomes Fahren
Autonomes Fahren
Jul 01, 2019 Copyright © exida.com 2000-2019 28
Individual Vehicle
Backend Tool Chain
Training/Test
Data Bases
Event Processing,
Anomaly Detection, …
Vehicle Fleet
Uplink
Downlink
Car-to-Car
Car-to-Infrastructure
Riesiger Zustandsraum
Jul 01, 2019 Copyright © exida.com 2000-2019 29
Fail Operational Systeme
Jul 01, 2019 Copyright © exida.com 2000-2019 30
Traditionelle Methoden und Machine Learning sind oft gemischt
Monitor, Rückfallebene & Safety Mechanismus
Systembetrachtung notwendig für Verfügbarkeit der Rückfallebene
Was heißt unsicher in Bezug auf KI?
Jul 01, 2019 Copyright © exida.com 2000-2019 31
Pa
ram
ete
r 1
Parameter 2
?
Uncertainty
Fehlentscheidung
Im Allgemeinen:
Keine Daten vorhanden ≠ Sicherer Bereich
https://codewords.recurse.com/issues/five/why-
do-neural-networks-think-a-panda-is-a-vulture
Ausgewählter Mechanismus - Un-certainty
Jul 01, 2019 Copyright © exida.com 2000-2019 32
Run Label Certainty
1 Cyclist 0,98
2 Cyclist 0,99
3 Cyclist 0,97
… … …
Run Label Certainty
1 Couch 0,58
2 Zebra 0,69
3 Cyclist 0,87
… … …
Apply Dropouts – Re-Calulcate Network – Apply Certainty Threshold
Systematische Fehler ≈> “Quasi-stochastische Fehler”
Ausgewählte Aspekte der Sicherheitsargumentation
Safety Case als Top Level Arbeitsprodukt– Bewertung der gesamten Wirkkette
– Training / Validierung / Test
– Field Monitoring / Anomalie-Detektion (Edge/Corner Cases)
– Change Management - Aging
– Absicherung der Toolkette
– Evaluierung und Bewertung der (Safety-) Performance
Automatisierung als Schlüssel
Absicherung der Datenbasis
Erklärbarkeit der Ergebnisse
Metriken für NNs– Bewusste Auswahl von Performancemetriken
– Strukturelle Coverage
– Uncertainty
Jul 01, 2019 Copyright © exida.com 2000-2019 33
Agenda
1. Künstliche Intelligenz – Ein Einblick
2. Dependability – KI – Sicherheitsnachweis
3. Beispiele für Sicherheitsargumentationen
4. Schlüsselaspekte
Jul 01, 2019 Copyright © exida.com 2000-2019 34
Schlüsselaspekte
Jul 01, 2019 Copyright © exida.com 2000-2019 35
Belastbare Sicherheitsargumentation
durch Traceability
Regulierung auf Stand der Technik erweitern
Neue Kombination bekannter Konzepte
Architektur für KI / ML / NNs
Erklärbarkeit trotz Paradigmen Shift
Quasi-Stochastik übersteigt
menschliches Vermögen
Automatisiertes Field Monitoring und Update
Komplexität ist keine Ausrede!
Many Thanks for Your [email protected]
excellence in dependable automation
Copyright © exida.com 2000-2019 36Jul 01, 2019