Künstliche Intelligenz kann jetzt die meisten Absolventen der juristischen Fakultät auf dem übertreffen Anwaltsprüfungdie zermürbende zweitägige Prüfung, die angehende Anwälte bestehen müssen, um in den Vereinigten Staaten als Anwalt zu praktizieren, heißt es in einer neuen Studie, die am Mittwoch veröffentlicht wurde. GPT-4die aufgerüstet KI Modell, das diese Woche von Microsoft unterstützt wurde OpenAIerzielte 297 Punkte bei der Anwaltsprüfung in einem Experiment, das von zwei Juraprofessoren und zwei Mitarbeitern des Legal-Tech-Unternehmens Casetext durchgeführt wurde.
Damit liegt GPT-4 im 90. Perzentil der tatsächlichen Testteilnehmer und reicht aus, um in den meisten Bundesstaaten als Rechtsanwalt zugelassen zu werden, fanden die Forscher heraus. Die Anwaltsprüfung bewertet Wissen und Argumentation und umfasst Aufsätze und Leistungstests, die die juristische Arbeit simulieren sollen, sowie Multiple-Choice-Fragen. „Große Sprachmodelle können den Standard erfüllen, der für menschliche Anwälte in fast allen Gerichtsbarkeiten in den Vereinigten Staaten gilt, indem sie komplexe Aufgaben bewältigen, die tiefgreifendes Rechtswissen, Leseverständnis und Schreibfähigkeit erfordern“, schreiben die Autoren. Vor weniger als vier Monaten kamen zwei der gleichen Forscher zu dem Schluss, dass das frühere große Sprachmodell von OpenAI, ChatGPT, bei der Anwaltsprüfung nicht die erforderliche Punktzahl erreichte, was unterstreicht, wie schnell sich die Technologie verbessert. Das neuere GPT-4 hat fast 76 % der Multiple-Choice-Fragen der Anwaltsprüfung richtig beantwortet, gegenüber etwa 50 % für ChatGPT, und übertraf damit den durchschnittlichen menschlichen Testteilnehmer um mehr als 7 %. Die National Conference of Bar Examiners, die den Multiple-Choice-Bereich entwirft, sagte am Mittwoch in einer Erklärung, dass Anwälte über einzigartige Fähigkeiten verfügen, die durch Ausbildung und Erfahrung erworben wurden, die „KI derzeit nicht erreichen kann“. Der Co-Autor der Studie, Daniel Martin Katz, Professor am Chicago-Kent College of Law, sagte in einem Interview, er sei am meisten überrascht von der Fähigkeit von GPT-4, weitgehend relevante und kohärente Antworten auf Aufsätze und Leistungstests zu erstellen. „Ich habe so viele Leute sagen hören: ‚Nun, es wird vielleicht die Multiple-Choice-Auswahl bekommen, aber es wird niemals die Aufsätze bekommen’“, sagte Katz. Die KI hat auch bei anderen standardisierten Tests, einschließlich dem SAT und dem GRE, gut abgeschnitten, aber die Anwaltsprüfung hat mehr Aufmerksamkeit auf sich gezogen. OpenAI propagierte seine bestandene Punktzahl, als es am Dienstag das neueste Modell ankündigte. Anwaltsprüfungslehrer Sean Silverman führte den Fokus auf die Anwaltsprüfung auf ihre weithin anerkannte Schwierigkeit zurück. Die diesjährige erstmalige Bestehensquote bei der Anwaltsprüfung lag bei 78 % unter den Testteilnehmern, die drei Jahre an der juristischen Fakultät verbracht haben. Silverman sagte, die Leute könnten weniger beeindruckt sein, wenn sie erfahren, dass KI einen Test bestehen kann, der für Highschooler wie den SAT entwickelt wurde, „und nicht den Test, um Anwalt zu werden“.