ChatGPT ist ein KI-gestütztes Sprachmodell, das in der Welt der Cybersicherheit ein Diskussionsthema war. Der Chatbot hat das Potenzial, Phishing-E-Mails zu erstellen. Trotz OpenAI Warnungen, dass es zu früh sei, die Technologie in Bereichen mit hohem Risiko anzuwenden, bleiben Bedenken hinsichtlich ihrer Auswirkungen auf die Arbeitsplatzsicherheit von Cybersicherheitsexperten bestehen.
Kaspersky Experten haben ein Experiment durchgeführt, um die Fähigkeit von ChatGPT aufzuzeigen, Phishing-Links zu erkennen. Das Experiment untersuchte auch das während des Trainings erworbene Cybersicherheitswissen von ChatGPT. Die Experten des Unternehmens testeten das gpt-3.5-turbo-Modell, das ChatGPT antreibt, an mehr als 2.000 Links, die von den Anti-Phishing-Technologien von Kaspersky als Phishing eingestuft wurden, und mischten es mit Tausenden von sicheren URLs.
Die Fähigkeit von ChatGPT, Phishing-Mails zu erkennen
Im Experiment variierten die Erkennungsraten je nach verwendetem Prompt. Das Experiment basierte darauf, ChatGPT zwei Fragen zu stellen: „Führt dieser Link zu einer Phishing-Website?“ und „Ist der Besuch dieses Links sicher?“.
Die Ergebnisse zeigten, dass ChatGPT bei der ersten Frage eine Erkennungsrate von 87,2 % und eine Falsch-Positiv-Rate von 23,2 % hatte. Die zweite Frage: „Ist es sicher, diesen Link zu besuchen?“ hatte eine höhere Erkennungsrate von 93,8 %, aber eine höhere Falsch-Positiv-Rate von 64,3 %. Während die Erkennungsrate sehr hoch war, war auch die Falsch-Positiv-Rate zu hoch für jede Art von Produktionsanwendung.
Andere Ergebnisse des Experiments
Die unbefriedigenden Ergebnisse bei der Detektionsaufgabe waren zu erwarten. Da Angreifer laut Studie beliebte Marken in ihren Links erwähnten, um Benutzer glauben zu machen, dass die URL legitim ist und zu einem seriösen Unternehmen gehört, zeigt das KI-Sprachmodell beeindruckende Ergebnisse bei der Identifizierung potenzieller Phishing-Ziele.
Beispielsweise hat ChatGPT erfolgreich ein Ziel aus mehr als der Hälfte der URLs extrahiert, darunter große Technologieportale wie Facebook, TikTok und GoogleMarktplätze wie z Amazonas Und Dampfund zahlreiche Banken aus aller Welt unter anderem – ohne zusätzliches Training.
Das Experiment zeigte auch, dass ChatGPT ernsthafte Probleme haben könnte, wenn es darum geht, seinen Standpunkt bei der Entscheidung zu beweisen, ob der Link bösartig ist. Einige Erklärungen waren korrekt und basierten auf Fakten, während andere bekannte Einschränkungen von Sprachmodellen aufzeigten, einschließlich Halluzinationen und Falschaussagen. Darüber hinaus waren trotz des zuversichtlichen Tons auch mehrere Erklärungen irreführend.
Kaspersky Experten haben ein Experiment durchgeführt, um die Fähigkeit von ChatGPT aufzuzeigen, Phishing-Links zu erkennen. Das Experiment untersuchte auch das während des Trainings erworbene Cybersicherheitswissen von ChatGPT. Die Experten des Unternehmens testeten das gpt-3.5-turbo-Modell, das ChatGPT antreibt, an mehr als 2.000 Links, die von den Anti-Phishing-Technologien von Kaspersky als Phishing eingestuft wurden, und mischten es mit Tausenden von sicheren URLs.
Die Fähigkeit von ChatGPT, Phishing-Mails zu erkennen
Im Experiment variierten die Erkennungsraten je nach verwendetem Prompt. Das Experiment basierte darauf, ChatGPT zwei Fragen zu stellen: „Führt dieser Link zu einer Phishing-Website?“ und „Ist der Besuch dieses Links sicher?“.
Die Ergebnisse zeigten, dass ChatGPT bei der ersten Frage eine Erkennungsrate von 87,2 % und eine Falsch-Positiv-Rate von 23,2 % hatte. Die zweite Frage: „Ist es sicher, diesen Link zu besuchen?“ hatte eine höhere Erkennungsrate von 93,8 %, aber eine höhere Falsch-Positiv-Rate von 64,3 %. Während die Erkennungsrate sehr hoch war, war auch die Falsch-Positiv-Rate zu hoch für jede Art von Produktionsanwendung.
Andere Ergebnisse des Experiments
Die unbefriedigenden Ergebnisse bei der Detektionsaufgabe waren zu erwarten. Da Angreifer laut Studie beliebte Marken in ihren Links erwähnten, um Benutzer glauben zu machen, dass die URL legitim ist und zu einem seriösen Unternehmen gehört, zeigt das KI-Sprachmodell beeindruckende Ergebnisse bei der Identifizierung potenzieller Phishing-Ziele.
Beispielsweise hat ChatGPT erfolgreich ein Ziel aus mehr als der Hälfte der URLs extrahiert, darunter große Technologieportale wie Facebook, TikTok und GoogleMarktplätze wie z Amazonas Und Dampfund zahlreiche Banken aus aller Welt unter anderem – ohne zusätzliches Training.
Das Experiment zeigte auch, dass ChatGPT ernsthafte Probleme haben könnte, wenn es darum geht, seinen Standpunkt bei der Entscheidung zu beweisen, ob der Link bösartig ist. Einige Erklärungen waren korrekt und basierten auf Fakten, während andere bekannte Einschränkungen von Sprachmodellen aufzeigten, einschließlich Halluzinationen und Falschaussagen. Darüber hinaus waren trotz des zuversichtlichen Tons auch mehrere Erklärungen irreführend.