Kapitel 1 GenAI Basics

13

1.1 Wie funktionieren LLMs?

14

1.1.1 LLMs als Black Box

15

1.1.2 Primer neuronale Netze

17

1.1.3 Aus Wörtern werden Zahlen

20

1.1.4 Matrizen multiplizieren

23

1.2 LLM-Onboarding - wie kommen LLMs an Wissen?

25

1.2.1 Der Kontext eines Modells

27

1.2.2 Retrieval Argumented Generation (RAG)

27

1.2.3 Finetuning

30

1.3 AI-Agenten

31

1.4 Zusammenfassung

34

1.5 Literatur

35

Kapitel 2 Warum GenAI-Sicherheit so besonders ist

37

2.1 Die klassische IT-Sicherheit

37

2.2 Risiken

39

2.2.1 Was ist ein Risiko?

39

2.2.2 Das Abwägen von Risiken

40

2.2.3 Der Umgang mit Risiken

41

2.2.4 Risiken und GenAI

42

2.3 Unberechenbarkeit und stetige Veränderung

44

2.4 Anweisungen in menschlicher Sprache

45

2.5 Der Mann in der Box

47

2.6 Katz-und-Maus-Spiel

48

2.6.1 Wie gut LLMs zuhören

49

2.6.2 Die Daten, die ich rief

50

2.6.3 Was noch kommt

50

2.7 Literatur

52

Kapitel 3 Anatomie und Angriffsfläche von GenAI-Anwendungen

53

3.1 Nutzer als Angreifer

56

3.2 Nutzer als Angriffsziel

58

3.3 Ein externer Angreifer

60

3.4 LLMs als Angreifer

62

3.5 Zusammenfassung

64

3.6 Literatur

64

Kapitel 4 Sicherheit sollte geplant sein

65

4.1 Threat Modeling

65

4.1.1 Was ist Threat Modeling?

66

4.1.2 Was entwickeln wir?

67

4.1.3 Was kann schiefgehen?

70

4.1.4 Was können wir dagegen tun?

76

4.1.5 Haben wir gute Arbeit geleistet?

79

4.1.6 Grenzen des Threat Modelings

80

4.2 Software Bill of Material (SBOM)

81

4.2.1 Was ist eine SBOM?

82

4.2.2 Was tust du mit einer SBOM?

83

4.3 Architecture Decision Records

86

4.4 Kontinuierliches Dokumentieren

89

4.5 Literatur

91

Kapitel 5 Daten sind das Gold des 21sten Jahrhunderts - und des Angreifers

93

5.1 Mehr zu LLM-Onboarding

93

5.2 Prinzipien zur Auswahl von Daten

95

5.3 Sensible Daten finden

99

5.4 Prozess zur Datenauswahl

101

5.5 Literatur

103

Kapitel 6 Prompt Injections

105

6.1 Was sind Prompt Injections?

105

6.2 Altbekannte Schwachstellen

109

6.3 Jailbreaks

112

6.4 Die Evolution der Prompt Injection

113

6.5 Gegenmaßnahmen

117

6.5.1 Der aktuelle Markt für GenAI-Sicherheitslösungen

117

6.5.2 GenAI und das SOC

119

6.5.3 Berechtigungen und Rollenkonzept

123

6.6 Literatur

126

Kapitel 7 OWASP LLM Top Ten

127

7.1 LLM01: Prompt Injection

128

7.2 LLM02: Sensitive Information Disclosure

128

7.3 LLM03: Supply Chain

129

7.4 LLM04: Data and Model Poisoning

136

7.5 LLM05: Improper Output Handling

139

7.6 LLM06: Excessive Agency

143

7.7 LLM07: System Prompt Leakage

146

7.8 LLM08: Vector and Embedding Weakness

146

7.9 LLM09: Misinformation

148

7.10 LLM10: Unbound Consumption

150

7.10.1 Model Denial of Service (DoS)

150

7.10.2 Model Theft

152

7.11 Insecure Plugin Design

154

7.12 OWASP-Top-Ten-Liste, wie nutzen?

157

7.13 Literatur

158

Kapitel 8 GenAI-Sicherheitstests

159

8.1 Begriffserklärungen

159

8.2 Schwachstellen dokumentieren

162

8.3 Security Scans

166

8.3.1 AI-Model-Scanning

167

8.3.2 AI-Interface-Scanning

170

8.4 GenAI Pentesting und Red Teaming

174

8.4.1 GenAI Pentesting

177

8.4.2 GenAI Red Teaming

180

8.5 Literatur

185

Kapitel 9 GenAI und Cybersecurity

187

9.1 GenAI und Angreifer

188

9.2 GenAI und Verteidiger

192

9.3 Literatur

196