Blindenschrift erkennen, übersetzen und vorlesen
Braille Scanner: iPhone-App übersetzt Brailleschrift in Text
Vor knapp zwei Jahren hat der App-Entwickler Aaron Stephenson damit begonnen das Lesen bzw. Erfühlen von Brailleschrift zu erlernen. Um sich selbst korrigieren zu können, entwickelte der Programmierer eine rudimentäre Braille-Erkennung auf Basis der Apple-FrameWorks CoreML und Vision. Was als Hobby-Projekt für den Eigenbedarf startete, steht als Braille Scanner nun zum kostenlosen Download im App Store beriet und gestattet sehenden Anwendern das automatische Übersetzen von Brailleschrift in lesbaren Text.
Die neue Anwendung arbeitet dabei ähnlich wie die zahlreichen im App Store verfügbaren Dokumenten-Scanner und versucht einzelne Braille-Seiten vor der Kameralinse automatisch zu erkennen und zu erfassen. Anschließend versuchen sich maschinenlernende Algorithmen an der Übersetzung der auf dem Papier erkannten Blindenschrift.
In ihrer aktuellen Ausgabe konzentriert sich der Braille Scanner auf die Übersetzung der erfassten Texte auf Basis des amerikanischen Braille-Standards „Unified English Braille (UEB) Grade 1“. Die Erfassung von deutschen Texten dürfte die integrierte Fehlerkorrektur damit noch aus dem Tritt bringen. Allerdings hat Aaron Stephenson bereits angekündigt zügig weitere Aktualisierungen ausgeben zu wollen, die ergänzende Machine-Learning-Modelle für zusätzliche Braille-Standards mitbringen.
No joke, this is real!!
Very excited to show off my latest passion project!!
Welcome to Braille Scanner.
Braille Scanner allows you to scan braille paper and have it translated to text. It uses CreateML and Vision to do the heavy lifting.
Now available on the App Store.
1/2 pic.twitter.com/nVDpRL3QYO— Aaron Stephenson (@azzoor) March 31, 2022
Aktuell versteht sich die kostenfreie Anwendung auf den automatischen Scan, die anschließende Übersetzung und den Export der überführten Texte. Eine Detail-Ansicht zeigt zudem welche Buchstaben wo auf dem Papier ausgemacht wurden. Auf Wunsch lassen sich die erkannten Texte von der Applikation zudem auch vorlesen.
Zum Thema: Be My Eyes
Der Braille Scanner erinnert uns an die iPhone-App Be My Eyes. Mit dieser können Sehende Blinden bei alltäglichen Herausforderungen helfen und auf Nachfrage kurz ihre Augen leihen. Be My Eyes könnt ihr ebenfalls kostenlos aus dem App Store laden.
Getestet und wieder gelöscht Funktioniert bei Medikamenten überhaupt nicht
Wenn Du Zeit für diesen Kommentar hast, dann hast du ja vielleicht auch Zeit Deinen Eindruck als Feedback kurz an den Entwickler durchzureichen [0], damit zukünftige Versionen hier bessere Ergebnisse liefern.
[0] https://bronron.com/
Muss ich dir voll und ganz Recht geben.
Ohne Feedback kann sich eine App nicht verbessern.
Das ist eine Sache von 2 Minuten das wars dann.
Denn nur so kann man Fehler erkennen und verbessern.
1++++++
@Nicolas:
Gute Antwort.
Leider ist aber im Internet dieses Motzen nur noch an der Tagesordnung.
Alles in der Luft zerreißen ist nämlich auch super einfach…..
Ich habe kein Stück gemotzt oder irgendwas in der Luft zerrissen. Ich habe die App getestet und sie hat nicht funktioniert.
Das man es auch immer gleich alles auf die Goldwaage legen muss
Die App scheint auch englisch zu sein. Ich habe sie jetzt noch nicht probiert. Aber da ich selbst Braille lesen und schreiben kann, ergeben sich da für mich verschiedene Probleme. Da der Entwickler englisch spricht wird die Erkennung schon allein deswegen abweichende Dinge ausgeben, weil die englische und deutsche Vollschrift sich unterscheiden. Deshalb funktioniert es mit den Medikament auch vielleicht nicht. Die Punkte sind oft auf Medikamenten sehr schwach und wer weiß was da sonst noch farblich oder per Schwarzschrift abgebildet ist und somit die Erkennung erschwert.
Ich finde die Idee super und schaue mir das an und gebe dann ggf. Feedback.
Weil es lediglich geprägt ist. Das kann man dann nur erfühlen. Die App kann das natürlich nur übersetzt, ist es farblich abgehoben vom Hintergrund.
Bitte? Braille farblich abgesetzt? Ich habe noch nie farblich abgesetzte Braille-Schrift gesehen. Wofür auch Tinte nutzen, wenn die Schrift nunmal nur erfühlt wird. Sowohl das Beispiel im Video als auch in der App zeigen ein weißes Blatt Papier. Oder habe ich dich falsch verstanden?
Der Kommentar ging vermutich in die Richtung: Die App hat mit der Braille Erkennung auf Medikamenten Probleme, weil dort Schwarzschrift über dem Braille ist.Schließlich hat die App ja keine Tiefen-informationen, die Braille eigentlich ausmachen, und muss mit den reinen Bilddaten arbeiten und sich dort die Braille Punkte raus picken, zuordnen, OCRen, etc.
Ja Björn, die App hat definitiv Probleme bei Medikamentverpackungen, wenn der Braille-Teil nicht auf weißem Grund liegt – was oft der Fall ist. Die Problematik verstehe ich. :)
Be my Eyes: Tolle Erfindung und App. Seit Jahren bin ich für Beeinträchtigte erreichbar (selbst tagsüber im Job) und freue mich helfen zu können.
„Bild deckt auf, satanistische Texte auf Rauhfasertapete“
Endlich hat es ein Ende!
—-
Gute Idee mit der App!
Danke – coole App
Sowas sollte die Apple Kamera App auch können.
Des weiteren sollte man noch anmerken, dass sich die deutsche Blindenschrift von der englischen Blindenschrift unterscheidet. Folglich ist es ganz normal, dass sie auf Medikamentenpackungen nicht funktioniert.beMyEyes ist tatsächlich eine große Hilfe, wenn man etwas sucht oder beispielsweise einen Weg um eine Baustelle sucht.ich
Ich habe die App jetzt mal kurz ausprobiert und sie scannt leider nicht eine einzige meiner Vorlagen. Medikamente funktionieren leider gar nicht. Das Problem liegt nicht unbedingt an der App. Die funktioniert wahrscheinlich schon. Aber nur mit englischen Vollschrift-Texten auf weißem Papier. In den Einstellungen findet sich Grade 1 und 2 für die englische Sprache. Jedoch weicht die deutsche Vollschrift und die gekürzte Vollschrift signifikant von der englischen ab. Man kann in der App jedoch weitere Sprachen anfordern. Der Entwickler wird diese dann vermutlich in späteren Versionen ergänzen. Wenn man die App also benutzt, muss man wissen, welches Punktschriftsystem verwendet wird. Auf Medikamenten wird die gekürzte Vollschrift verwendet. Ein weiteres Problem ist, dass Menschen die Punktschrift nutzen, die Dokumente doppelseitig ausdrucken. Dann wird auf beiden Seiten des Blattes Text versetzt gestanzt, die mit dem Auge auch von beiden Seiten zu sehen sind. Das erschwert die OCR zusätzlich. Außerdem liegen eine Vielzahl von Dokumenten in Kurzschrift vor. Punktschrift-Papier ist relativ dick und teuer. Ein Text der in Schriftgröße 10 Schwarzschrift auf eine A4 Seite passt, benötigt mindestens 3 doppelseitig gedruckte A4-Seiten in Kurzschrift und in Vollschrift vermutlich sogar 4 bis 5.
Aktuell ist die App für einseitige englische Vollschrift-Vorlagen auf weißem Papier sicher geeignet. Probieren konnte ich das leider nicht. Ich schreibe den Entwickler demnächst mal und spreche mit Ihm über seine App. Die Idee finde ich ganz gut. Auch wenn ich selbst keinen Nutzen davon habe. Ein absoluter Pluspunkt der App ist auf jeden Fall, dass sie mit VoiceOver auf dem iPhone super funktioniert und somit auch für Blinde bedienbar ist.