Ein neues Papier von Forschern der Schweizer Universität EPFL schlägt vor dass zwischen 33 % und 46 % der verteilten Crowdworker beim Mechanical Turk-Dienst von Amazon offenbar bei der Ausführung einer bestimmten ihnen zugewiesenen Aufgabe „geschummelt“ haben, da sie für einen Teil der Arbeit Tools wie ChatGPT verwendet haben. Wenn diese Praxis weit verbreitet ist, könnte sie sich als ziemlich ernstes Problem erweisen.
Amazons mechanischer Türke ist seit langem ein Zufluchtsort für frustrierte Entwickler, die ihre Arbeit von Menschen erledigen lassen wollen. Kurz gesagt handelt es sich um eine Anwendungsprogrammierschnittstelle (API), die Aufgaben an Menschen weiterleitet, die sie ausführen und dann die Ergebnisse zurückgeben. Bei solchen Aufgaben wünscht man sich normalerweise, dass Computer sie besser erledigen könnten. Laut Amazon wäre ein Beispiel für solche Aufgaben: „Zeichnen von Begrenzungsrahmen, um hochwertige Datensätze für Computer-Vision-Modelle zu erstellen, wobei die Aufgabe möglicherweise zu unklar für eine rein mechanische Lösung und zu umfangreich selbst für ein großes Team menschlicher Experten ist.“ ”
Datenwissenschaftler behandeln Datensätze je nach Herkunft unterschiedlich – ob sie von Menschen oder einem großen Sprachmodell (LLM) generiert wurden. Allerdings ist das Problem mit Mechanical Turk hier schlimmer, als es sich anhört: KI ist mittlerweile so günstig verfügbar, dass Produktmanager, die sich für Mechanical Turk anstelle einer maschinengenerierten Lösung entscheiden, darauf vertrauen, dass Menschen etwas besser können als Roboter. Die Vergiftung dieser Datenmenge könnte schwerwiegende Folgen haben.
„Die Unterscheidung zwischen LLMs und von Menschen erstellten Texten ist sowohl für maschinelle Lernmodelle als auch für Menschen schwierig“, sagten die Forscher. Die Forscher entwickelten daher eine Methode, um herauszufinden, ob textbasierte Inhalte von einem Menschen oder einer Maschine erstellt wurden.
Bei dem Test wurden Crowdsourcing-Mitarbeiter gebeten, Forschungszusammenfassungen aus dem New England Journal of Medicine in Zusammenfassungen mit jeweils 100 Wörtern zusammenzufassen. Es ist erwähnenswert, dass dies der Fall ist genau die Art von Aufgabe, für die generative KI-Technologien wie ChatGPT gut geeignet sind.