Glass erfindet die Smartphone-Kamera durch ein Kinoobjektiv der alten Schule neu – Tech

Smartphone-Kameras haben ziemlich gut geworden, aber es wird immer schwieriger, sie zu verbessern, weil wir ziemlich die Grenze dessen erreicht haben, was im Raum eines Kubikzentimeters möglich ist. Glass ist ein Startup, das die Funktionsweise der Kamera grundlegend verändern will, indem es einen viel größeren Sensor und einen optischen Trick aus den Tiefen des Filmemachens verwendet: anamorphotische Objektive.

Es ist vielleicht nicht offensichtlich, dass Kameras nicht besser werden, da wir solche Fortschritte in den letzten Generationen von Telefonen gesehen haben. Aber wir haben sozusagen den gesamten Spielraum in dieser Leitung aufgebraucht.

Um das Bild zu verbessern, benötigen Sie einen größeren Sensor, ein besseres Objektiv oder eine Art Computerzauberei. Leider können Sensoren nicht viel größer werden, da sie größere Objektive benötigen würden, um sie anzupassen. Und Objektive können nicht größer werden, weil im Telefongehäuse einfach kein Platz für sie ist, selbst wenn Sie die Kamera „einklappen“. Inzwischen ist Computerfotografie großartig, aber sie kann nur so viel leisten – ein paar Bilder zu stapeln, um einen besseren Dynamikbereich oder Tiefeninformationen zu erhalten, ist gut, aber Sie erreichen ziemlich schnell einen Punkt, an dem die Rendite abnimmt.

„Früher ging es um den Preis, heute geht es um die Größe“, erklärt Ziv Attar, Mitbegründer und CEO von Glass, der seit über einem Jahrzehnt im Bereich Mobile Imaging arbeitet, unter anderem bei Apple. Der andere Mitbegründer, Tom Bishop, arbeitete ebenfalls bei Apple, die beiden arbeiteten an der Erstellung des Porträtmodus und scheuchten sich wahrscheinlich an den Einschränkungen des traditionellen Kameradesigns.

„Bis vor fünf Jahren haben sie das Objektiv einfach breiter gemacht, dann haben sie angefangen, den Sensor größer zu machen“, sagte Attar. „Dann werfen Sie Algorithmen darauf, um das Rauschen zu reduzieren, aber selbst das stößt an seine Grenzen. ziemlich bald wird es reine Halluzination sein [i.e. AI-generated imagery]. Der Nachtmodus treibt das Belichtungsstapeln auf die Spitze – er geht sehr gut mit dem Mangel an Photonen um, aber wenn Sie hineinzoomen, sieht es sehr seltsam und unecht aus.“

„Der Telefonbildschirm täuscht uns irgendwie“, fuhr er fort. „Wenn Sie eine normale Person ein iPhone 12 und 13 vergleichen lassen, wird sie den Unterschied nicht sehen – aber im Vergleich zu einer Profikamera kann es jeder erkennen. Und wenn man den Unterschied sieht, gibt es viel zu tun.“

Also, was ist das genau für eine Arbeit? Attar hat entschieden, dass von diesen verschiedenen Rätseln das Objektiv das einzige ist, bei dem es Sinn macht, es zu wechseln. Größer geht es zwar nicht – aber nur, wenn Sie ein normales, symmetrisches Objektiv verwenden. Aber warum sollten wir? Sie haben diese Beschränkung vor einem Jahrhundert im Kino aufgegeben.

Anamorphe Entwicklung

Filme waren nicht immer Breitbild. Ursprünglich hatten sie aus offensichtlichen Gründen eher die Form eines 35-mm-Filmrahmens. Wenn Sie die Ober- und Unterseite mattierten, konnten Sie ein Breitbild projizieren, das den Leuten gefiel – aber Sie haben im Grunde nur einen Teil des Films vergrößert, für den Sie im Detail bezahlt haben. Aber eine Technik, die erstmals in den 20er Jahren getestet wurde, löste das Problem bald.

Anamorphotische Linsen quetschen ein breites Sichtfeld von den Seiten, damit es in den Filmrahmen passt, und bei der Projektion mit einem anamorphotischen Projektor wurde der Prozess umgekehrt – das Bild wird wieder auf das gewünschte Seitenverhältnis gestreckt. Es werden ein paar interessante optische Effekte eingeführt, aber … wenn ich sie beschreibe, werden Sie sie nie im Inhalt sehen können, also werde ich darauf verzichten.

Das von Glass vorgeschlagene Linsensystem ist nicht ganz dasselbe, aber es verwendet ähnliche Prinzipien und ungewöhnlich geformte Linsen. Es begann mit der grundlegenden Idee, wie man einen größeren Sensor hinzufügt. Einfach ein größeres Quadrat zu machen, würde ein größeres Objektiv erfordern, was wir nicht können – aber was wäre, wenn Sie den Sensor machen würden länger, wie in einem Rechteck? Nun, Sie würden auch ein längeres, rechteckiges Objektiv benötigen. Die anamorphotische Technik bedeutet, dass Sie ein größeres, aber verzerrtes Bild aufnehmen und projizieren und es dann im Bildprozessor in das richtige Seitenverhältnis konvertieren können. (Der Prozess ist nicht genau analog zur Filmtechnik, aber er verwendet die gleichen Prinzipien.)

Wie viel größer können Sie ein Bild aufnehmen? Nun, die Hauptkamera eines iPhone 13 hat einen Sensor von etwa 7×5 Millimetern, also insgesamt 35 Quadratmillimeter. Der Prototyp von Glass verwendet einen Sensor, der etwa 24 × 8 mm groß ist: etwa 192 Quadratmillimeter, 5-6 mal größer, mit einer entsprechenden Zunahme an Megapixeln. Hier ist eine kleine Tabelle als gelegentliche Referenz:

In Anbetracht der Fanfare, die im Allgemeinen mit der Erhöhung der Sensorgröße eines Telefons um 15 oder 20 einhergeht Prozentdas ist ein enormer Sprung.

Aber Attar erklärte, dass die Art und Weise, wie sie es messen, noch mehr ist. Wenn Sie das Bild auf das richtige Seitenverhältnis erweitern würden, wäre es tatsächlich doppelt so groß: 24 x 16 mm, knapp unter dem APS-C-Standard in DSLRs, aber weit über den ebenfalls üblichen Micro Four Thirds- und 1-Zoll-Sensoren (und hochleistungsfähig ) in spiegellosen Kameras. Das führt zu der Behauptung des Unternehmens, die 11-fache „Bildfläche“ eines iPhones zu haben. Die Auswertung dieser Metriken ist ein nicht trivialer Prozess, für den ich nicht gerüstet bin, aber ehrlich gesagt wäre beides ein bahnbrechendes Upgrade für ein Telefon.

Größer, heller und ein bisschen seltsamer

Dieser Prozess hat Vor- und Nachteile. Der wichtigste ist eine immense Steigerung des Lichtsammel- und Auflösungsvermögens. Mehr Licht bedeutet im Allgemeinen bessere Belichtungen und bessere Aufnahmen unter schwierigen Bedingungen – kein ausgefallener Nachtmodus mit maschinellem Lernen und Mehrfachbelichtung erforderlich, wenn Sie nur … Dinge sehen können. Und es gibt viel, viel mehr Details in Bildern im Vergleich zu denen von gewöhnlichen Smartphones.

Beachten Sie, dass das obige eingeschränkte Beispiel genau das ist – es ist schwierig, Äpfel-zu-Äpfel-Vergleiche durchzuführen, wenn die Brennweiten, die Bildverarbeitung und die Ausgabeauflösung so unterschiedlich sind (ganz zu schweigen von meinem Zuschneiden und Neucodieren), aber zumindest Sie können sehen, dass selbst in dieser nicht optimalen Darstellung viele Details hinzugefügt werden. Die Originalbilder in voller Größe sind hier verfügbar: iPhone, Glass.

Aufgrund des größeren Sensors und der Beschaffenheit des Glases erhalten Sie auch ein natürliches Bokeh oder eine Hintergrundunschärfe. Der Porträtmodus ist natürlich ein Favorit unter Smartphone-Nutzern, aber selbst die besten Methoden zur Simulation von Bokeh sind alles andere als perfekt. Derselbe Effekt, den Apple mit sorgfältig simulierten Objektiven erzielen soll, tritt auf natürliche Weise beim Glass-Prototyp auf, genau wie bei einer größeren Digitalkamera. Und es gibt keine Chance für die Art von seltsamen Fehlern, die Sie in den KI-segmentierten Bildern sehen, die oft Haare und andere Details ausschneiden oder den Tiefeneffekt auf subtilere Weise nicht erreichen.

Während es keinen optischen Zoom geben würde, wies Attar darauf hin, dass Sie durch das Einzoomen durch Zuschneiden (dh Digitalzoom) auf einem Glassystem mehr einzoomen könnten als die meisten optischen Zooms dort draußen, und Sie hätten immer noch mehr Licht und Pixel als das Wettbewerb. Normalerweise bin ich niemand, der die Behauptungen „Digitalzoom ist gut“ leben lässt, aber in diesem Fall macht die schiere Größe des Objektivs und des Sensors das mehr als wett.

Diese Vorteile sind, obwohl kurz gesagt, mehr als beträchtlich. Die Verbesserung von Licht und Details hebt sich von den besten Kameras da draußen ab. (Und während die kleinsten Details auf einem kleinen Bildschirm Ihrer Aufmerksamkeit entgehen können, ist eine schlechte Belichtung bei jeder Größe erkennbar.)

Nachteile haben hauptsächlich mit der Komplexität der Bedienung einer Kamera zu tun, die sich optisch völlig von einer herkömmlichen unterscheidet. Die Mechanismen für den Autofokus sind unterschiedlich (anamorphotischer Fokus ist notorisch komplex) und es gibt viele Verzerrungen und Aberrationen, die korrigiert werden müssen – symmetrische Objektive dieser Größe haben auch Verzerrungen und Verschlechterungen, aber von anderer Art.

„[Distortions] werden alle während des Entwurfs eingeschränkt, sodass wir im Voraus wissen, dass wir sie korrigieren können“, sagte Attar. „Es ist ein iterativer Prozess, aber wir haben die Entwicklung eines benutzerdefinierten, dedizierten Softwaretools gestartet, um Linsenparameter und neuronale Netzwerkvariablen gemeinsam zu optimieren.“ Mit anderen Worten, sie haben nichts entworfen, was sie nicht korrigieren könnten.

Ein Effekt, den ich verwirrend finde, aber vielleicht andere für trivial halten werden, ist die Form des Bokeh. Normalerweise unscharfe Glanzlichter verschwimmen in kleinen durchscheinenden Scheiben, aber im Glass-System lösen sie sich in einem Farbverlauf aus Ovalen und dicken Halbmonden auf.

Für mein neurotisches Auge ist das einfach nicht richtig. Es ist… unnatürlich. Aber ich kann auch kein vignettiertes Bokeh aufgrund französischer Flaggen in Film und Fernsehen bemerken (schlagen Sie es nicht nach – auch das ist überall und Sie können es nicht übersehen). Und überhaupt zeigen anamorphotisch aufgenommene Filme eine ähnliche Bokeh-Verzerrung, also ist es eigentlich ziemlich üblich, nur nicht bei Standbildern und Smartphone-Aufnahmen.

Ich bin davon ausgegangen, dass es Nachteile geben würde, weil das Bild digital gestreckt werden muss – so etwas kann, wenn es schlecht gemacht wird, zu Moiré und anderen unerwünschten Artefakten führen. Aber Attar sagte, es sei bemerkenswert einfach, ein Modell so zu trainieren, dass niemand außer Pixelspähern den Unterschied erkennen kann: „Wir haben Netzwerke darauf trainiert, 1-D-Superauflösung basierend auf Informationen von den anderen Achsen anzuwenden. Nachdem wir unseren Algorithmus angewendet haben, sieht es aus, als käme er von einem vollständigen APS-C-Sensor, in Sichtfeld und Auflösung.“

Das alles muss von Rezensenten und Kameraexperten überprüft werden, wenn es eine Produktionsversion gibt, aber die Theorie scheint solide und die ersten Ergebnisse sind mehr als vielversprechend.

Im Moment ist das Unternehmen von eigenständigen Prototypen zu einem Telefonfaktorgerät der dritten Generation übergegangen, das zeigt, wie die Technologie in so ziemlich jedes Gehäuse auf dem Markt passt. Abgesehen von den optischen Qualitäten ist nichts Exotisches daran, sagte Attar. Obwohl es nicht so billig in der Herstellung sein wird wie die heutigen handelsüblichen Kameras und Bildverarbeitungseinheiten, kann es genauso einfach hergestellt werden. Wie er feststellte, ist der Preis kaum noch eine Option, und wenn ein Unternehmen einen großen Sprung in der Kameraqualität machen kann, kann es einen großen Teil des Marktes erobern.

„Wir müssen einen Telefonhersteller davon überzeugen, die alte Technologie im Grunde aufzugeben“, sagte Attar. „Wir sehen nettes Feedback. Die einzige Herausforderung besteht darin, dies in einer angemessenen Zeit zu tun. Ich sage nicht, dass es kein Risiko gibt. Aber viele von uns hatten gute Jobs bei großen Unternehmen – wir haben unsere ausgefallenen Gehälter nicht bei Apple gelassen, um an irgendeiner BS-Sache zu arbeiten. Wir hatten von Anfang an einen Plan.“

Selbst wenn jetzt eine Vereinbarung mit einem großen Mobilfunkhersteller getroffen würde, würde es anderthalb oder zwei Jahre dauern, bis es auf den Markt kommt. „Aber wir müssen irgendwo anfangen“, schloss er.

Glass hat 2,2 Millionen US-Dollar an Seed-Finanzierung aufgebracht, angeführt von LDV Capital und einer Gruppe von Angel-Investoren. Natürlich soll das nicht die Herstellungskosten decken, aber jetzt, da das Unternehmen das Labor verlässt, braucht es Betriebsmittel, um es zu kommerzialisieren, selbst wenn ein großer Hersteller eine Verpflichtung eingeht. Greg Gilley, ehemaliger Vizepräsident von Apple für Kameras und Fotos, und Ramesh Raskar vom MIT Media Lab kamen als Berater hinzu und vervollständigten ein Team, dem Investoren wahrscheinlich viel Vertrauen entgegenbringen.

Wenn sich der Glass-Ansatz durchsetzt, können Sie damit rechnen, in etwas weniger als zwei Jahren von anderen Unternehmen zu hören, die behaupten, ihn erfunden zu haben.