VU#733789: ChatGPT-4o enthält ... Notiz

VU#733789: ChatGPT-4o enthält eine Sicherheitslücke durch Zeit- und Suchfunktionen, die „Time Bandit“ genannt wird.

Eine Jailbreak-Schwachstelle namens „Time Bandit“ wurde in ChatGPT-4o entdeckt. Sie ermöglicht es Angreifern, die Sicherheitsvorkehrungen zu umgehen und die KI zur Bereitstellung unerlaubter oder gefährlicher Inhalte aufzufordern. Die Schwachstelle kann ausgelöst werden, indem die KI mit Fragen zu einem bestimmten Zeitraum in der Geschichte aufgefordert wird, entweder über die Suchfunktion oder durch direkte Aufforderung. Sobald ein historischer Zeitraum festgelegt ist, kann der Angreifer die zeitliche Verwirrung und die prozedurale Mehrdeutigkeit ausnutzen, um die Sicherheitsrichtlinien zu umgehen. Dies kann dazu führen, dass ChatGPT unerlaubte Inhalte generiert, die von einem motivierten Bedrohungsakteur im großen Maßstab für böswillige Zwecke genutzt werden könnten. Die Schwachstelle kann auf zwei Arten ausgenutzt werden: entweder durch direkte Aufforderungen oder durch die Verwendung der Suchfunktion, wobei letztere eine Benutzerauthentifizierung erfordert. Während der Tests konnte das CERT/CC den Jailbreak reproduzieren, aber ChatGPT entfernte die Aufforderung und gab an, dass sie gegen die Nutzungsbedingungen verstößt. ChatGPT beantwortete die entfernte Aufforderung jedoch anschließend, und diese Aktivität wurde mehrmals wiederholt. Der Jailbreak war erfolgreicher, wenn ein Zeitraum innerhalb der 1800er oder 1900er Jahre verwendet wurde. Die Schwachstelle umgeht die Sicherheits- und Schutzrichtlinien von OpenAI und ermöglicht es einem Angreifer, ChatGPT für böswillige Zwecke zu missbrauchen, wie z. B. das Erstellen von Phishing-E-Mails und Malware. OpenAI hat die Schwachstelle inzwischen behoben und erklärt, dass es sich verpflichtet fühlt, seine Modelle sicher zu entwickeln und zu verhindern, dass sie für böswillige Zwecke verwendet werden.