Token sind die grundlegenden Text- oder Codeeinheiten, die eine KI eines großen Sprachmodells (LLM) verwendet, um Sprache zu verarbeiten und zu generieren. Token können Zeichen, Wörter, Unterwörter oder andere Text- oder Codesegmente sein.
Ein vergrößertes Token-Kontextfenster bedeutet, dass Unternehmen jetzt Hunderte von Seiten mit Material zur Verarbeitung und Analyse an Claude übermitteln können. Das bedeutet auch, dass Gespräche mit Claude stunden- oder sogar tagelang dauern können.Im Vergleich dazu liegt die Token-Beschränkung für ChatGPT bei etwa 3.000 Wörtern, heißt es in einem Bericht von The Verge. Es wurde außerdem darauf hingewiesen, dass GPT-4 von OpenAI etwa 8.000 Token verarbeitet und ein limitiertes Modell von GPT-4 bis zu 32.000 Token verarbeiten kann.
Claude las „Der große Gatsby“ in 22 Sekunden
Laut Anthropic wurde der gesamte Text des Romans „Der große Gatsby“ in Claude-Instant geladen, das 72.000 Token unterstützt und eine Zeile geändert hat. Als das Modell gebeten wurde, den Unterschied zwischen dem Originaltext und dem geänderten Text zu erkennen, antwortete es innerhalb von 22 Sekunden mit der richtigen Antwort. Im Vergleich dazu kann die durchschnittliche Person 100.000 Texteinheiten in etwa 5 Stunden lesen (laut einer Studie in Science Direct). Menschen brauchen auch mehr Zeit, um diese Informationen zu verarbeiten, sich zu merken und zu analysieren.Kürzlich hat Anthropic die Regeln für seine Trainingsmethode „Constitutional AI“ festgelegt, die darauf abzielt, Bedenken hinsichtlich Transparenz, Sicherheit und Entscheidungsfindung in KI-Systemen zu verringern.
Ende des Artikels