Apple gibt sich für gewöhnlich recht schmalllippig, wenn es sich um künftige Produkte handelt. Einzelne Ausnahme sind die Forschungen der Abteilung der Künstlichen Intelligenz, denn die Wissenschaftler dahinter benötigen konstanten Austausch von Ideen. Diese veröffentlichen sie im Research-Bereich bei Apple, ab und zu tauchen dort auch Beiträge auf, die auch gewöhnliche Sterbliche verstehen können.

Der aktuelle Beitrag "Recognizing People in Photos Through Private On-Device Machine Learning" ist eigentlich selbstbeschreibend: Die Entwickler beschreiben einen Algorithmus, der ab iOS 15 durch die Künstliche Intelligenz auf dem iPhone Menschen auf den Fotos besser erkennen wird. Der Trick dabei ist, dass Künstliche Intelligenz auf den Chip nicht nur das Gesicht als Motiv identifiziert, sondern auch in benachbarten Foto-Bereichen danach sucht, was als Körper identifiziert werden könnte. Sind auf dem Foto neben dem Gesicht bzw. Kopf noch Körperteile zu sehen, kann das neue System diese identifizieren und im Motivausschnitt nach Körperkleidung zu suchen. Die Kombination aus Farben und Texturen dient dem System dazu, die Menschen auf den Fotos zu erkennen, selbst wenn sie sich von der Kamera komplett abgedreht haben, oder stark geneigt nach oben oder nach unten schauen, sodass das Gesicht nur schlecht sichtbar ist. Die Annahme dahinter ist simpel: Trägt ein Model auf dem Foto die gleichen Kleider, handelt es sich mit großer Wahrscheinlichkeit um die gleiche Person.

Im experimentellen Einsatz weist ein solcher Algorithmus weniger falsch-positive Fehler auf, also, wenn etwas Unbelebtes als eine Person identifiziert wird.

Neural Engine auf den A-Chips macht es möglich

Apples Gesichtserkennung funktioniert komplett auf dem Gerät, nichts wird in die Cloud geschickt. Dank neuem Algorithmus nimmt die Gesichtserkennung auf den neuesten iPhones knapp 4 Millisekunden in Anspruch. Für die Bearbeitung ist die Neural Engine verantwortlich, die erlaubt, die Last vom Prozessor und Grafikkarte zu verlagern und gleichzeitig die Bearbeitung beschleunigen. Nach aktuellen Erkenntnissen kann die neue Gesichtserkennung auch in der Kamera-App direkt beim Fotografieren verwendet werden.

Interessanterweise haben die Wissenschaftler bei Apple seinen Algorithmus auch auf den Masken-bedeckten Gesichtern trainiert. Dafür hat man digitale Mund-Schutz-Masken aus unterschiedlichen Stoffen erschaffen und entsprechende Teile der Gesichter damit bedeckt. Das Modell lernt somit, anderen Arealen mehr Gewicht bei der Erkennung zu geben und so die verhüllten Gesichter korrekt zu identifizieren.

Ein Tipp von den Erfindern: Die meisten Berechnungen des Algorithmus finden beim Laden des Smartphones in der Nacht statt, lassen Sie Ihr Handy also ab und zu mal in der Nacht an der Ladedose. Auch viele Synchronisierungen mit iCloud, beispielsweise das Hochladen von iCloud-Fotos, finden unter solchen Umständen statt. (Macwelt)