ChatGPT: Was ist das?
OpenAI verfügt über ein Sprachmodell namens GPT-3.5, das maschinelles Lernen verwendet, um Text basierend auf Fragen eines Benutzers zu erstellen und zu generieren. Wenn Sie zum Beispiel fragen möchten, „was ist der Sinn des Lebens“, dann wird Ihnen ChatGPT eine ziemlich detaillierte Erfahrung geben. Viele Beispiele wurden von Benutzern auf Twitter geteilt, die die Leistungsfähigkeit von KI bei der Textgenerierung zeigen. KI-basierte Chatbots sind nicht wirklich neu, aber ChatGPT erledigt eine ziemlich detaillierte Arbeit, als die meisten Leute es gewohnt sind.
Wie funktioniert ChatGPT?
OpenAI hat in einem Blogbeitrag erklärt, wie es ChatGPT zum Laufen gebracht hat. „Wir haben dieses Modell mithilfe von Reinforcement Learning from Human Feedback (RLHF) trainiert, wobei wir dieselben Methoden wie InstructGPT verwendet haben, jedoch mit geringfügigen Unterschieden in der Einrichtung der Datenerfassung.“ OpenAI sagte, dass es ein erstes Modell mit überwachter Feinabstimmung trainiert habe: „menschliche KI-Trainer lieferten Gespräche, in denen sie beide Seiten spielten – den Benutzer und einen KI-Assistenten.“ Darüber hinaus erhielten die Trainer Zugang zu schriftlichen Modellvorschlägen, um ihnen beim Verfassen ihrer Antworten zu helfen.
Um detaillierte Antworten zu erhalten, hat OpenAI ein Belohnungsmodell für Reinforcement Learning erstellt. Es wurden auch Vergleichsdaten gesammelt, die aus zwei oder mehr nach Qualität geordneten Modellantworten bestanden. „Um diese Daten zu sammeln, haben wir Gespräche aufgenommen, die KI-Trainer mit dem Chatbot geführt haben. Wir haben nach dem Zufallsprinzip eine modellhafte Nachricht ausgewählt, mehrere alternative Vervollständigungen getestet und von KI-Trainern bewertet“, erklärte das Unternehmen.
Was können potenzielle Probleme mit ChatGPT sein?
OpenAI sagt, dass es sich bewusst ist, dass es Einschränkungen bei dem Modell gibt. Beispielsweise kann es bestimmte unangemessene Anfragen beantworten, und obwohl OpenAI an der Moderation von Antworten gearbeitet hat, reagiert es manchmal auf schädliche Anweisungen oder zeigt ein voreingenommenes Verhalten. „Wir verwenden die Moderations-API, um bestimmte Arten von unsicheren Inhalten zu warnen oder zu blockieren, aber wir gehen davon aus, dass sie vorerst einige falsch negative und positive Ergebnisse enthalten wird.“
Außerdem gibt es Zeiten, in denen der Chatbot viel zu sehr ins Detail geht. „Das Modell ist oft übermäßig ausführlich und überbeansprucht bestimmte Ausdrücke, wie zum Beispiel die Wiederholung, dass es sich um ein von OpenAI trainiertes Sprachmodell handelt. Diese Probleme ergeben sich aus Verzerrungen in den Trainingsdaten (Trainer bevorzugen längere Antworten, die umfassender aussehen) und bekannten Problemen der Überoptimierung“, erklärte OpenAI in einem Blogbeitrag.