Was die Texterkennung am Smartphone alles kann
Die Kamera unseres Smartphones kann längst mehr als fotografieren. Sie beherrscht inzwischen das Lesen – oder technischer ausgedrückt: Sie erkennt die Buchstaben in einem Bild. Sie extrahiert den Text und stellt ihn uns für eine Weiterverarbeitung zur Verfügung.
Beim iPhone heisst das Livetext. Apple hat diese Texterkennung vor einem Jahr eingeführt: Sie extrahiert Text entweder aus der Live-Vorschau der Kamera oder aus vorhandenen Fotos. In der Kamera funktioniert es so: Buchstaben im Sucherbild werden mit gelben Eckmarkierungen eingefasst. In der Ecke erscheint ein Bearbeitungsknopf. Wenn Sie den betätigen, friert die Kamera das Bild ein.
In diesem Standbild tippen Sie den Text an. Halten den Finger auf dem Display, bis eine Markierung erscheint. Mit ihrer Hilfe wählen Sie den Text aus. Sie können ihn kopieren, um ihn in einer anderen App zu verwenden. Das iPhone bietet Ihnen auch eine Übersetzung an. Oder Sie führen eine Websuche durch oder aktivieren die Sprachausgabe. Falls Sie Text aus einem vorhandenen Foto abgreifen möchten, wählen Sie es in der Foto-App aus und verfahren wie beschrieben, indem Sie den Text antippen.
Seit dem letzten Update ist Livetext noch besser. Mit iOS 16 kopiert das iPhone Texte auch aus Videos heraus. Dazu brauchen Sie den Clip bloss per Pausetaste an der richtigen Stelle anzuhalten, woraufhin Sie per Finger die Markierung vornehmen. Eine weitere Verbesserung betrifft die Suchfunktion der Foto-App, die nun auch Text innerhalb Ihrer Bilder aufspürt.
Bei Android verwenden Sie Google Lens. Die App ist kostenlos. Sie erkennt im Live-Kamerabild nicht nur Text, sondern auch Objekte, etwa Sehenswürdigkeiten oder Produkte – und es gibt einen Modus für Speisekarten, der uns verrät, welches die beliebtesten Menüs in einem Restaurant sind. Die Google-Fotos-App hat einen Lens-Modus, der Text- und Objekterkennung in den vorhandenen Fotos ausführt und auch eine Suche nach Textinhalten ermöglicht.
Das hat einen Hauch von Science-Fiction. Die Texterkennung ist aber mehr als ein eindrücklicher digitaler Zaubertrick: Wer diese Funktion kennt, muss nie wieder Texte abtippen – ausser solche in Handschriften, denen die Software derzeit nicht gewachsen ist. Die eingebaute Übersetzung ist auf Reisen eine grosse Hilfe zur Beseitigung von Sprachbarrieren. Und ich habe sie bei der Lektüre von fremdsprachigen Büchern, Comics und Magazinen schätzen gelernt: Statt mühsam einzelne Wörter nachzuschlagen, liefert das Smartphone Übersetzungen ganzer Passagen. Die sind zwar oft alles andere als perfekt, helfen dem Verständnis aber auf die Sprünge.
Es gibt weitere Einsatzmöglichkeiten. Für Hyperlinks stellen sowohl das iPhone als auch Google Lens einen Befehl zum Öffnen im Browser bereit. Bei Telefonnummern blendet das iPhone ein Menü ein, über das Sie einen Anruf starten oder einen neuen Kontakt anlegen können. Analog funktioniert es bei einer E-Mail-Adresse, die – falls sie bereits in Ihrem Adressbuch erfasst ist – mit dem zugehörigen Kontakt in Verbindung gebracht wird. Bei Preisangaben in fremden Währungen zeigt die Kamera-App am iPhone einen Knopf an, über den Sie eine Umrechnung in Schweizer Franken vornehmen. Das funktioniert auch mit Masseinheiten, was Ihnen bei exotischen Rezepten fehleranfälliges Kopfrechnen erspart.
Google hilft Schülerinnen und Studenten. In der Lens-App gibt es den «Hausaufgaben»-Modus. Er bietet bei mathematischen Übungen eine Schritt-für-Schritt-Lösung an und sucht zu Gedichten oder anderen Problemstellungen über die Google-Scholar-Suchmaschine nach erklärende Materialien – einfach, indem man mit der Kamera aufs Aufgabenblatt zielt.
Matthias Schüssler ist Digitalredaktor der SonntagsZeitung.