Als es um die Neuheiten im kommenden iOS 12 auf der Apple-Entwicklerkonferenz WWDC ging, startete Apple direkt mit dem Thema Augmented Reality durch. “AR verändert, wie wir mit der Welt um uns herum interagieren,” so Apple Senior Vice President für die Software Entwicklung Craig Federighi. AR soll als Software-Update eine größere Rolle im kommenden System spielen – und die Chancen, dass vom Start weg eine große Zahl an Anwendern die Features nutzen können ist hoch: Da bei iOS 11 die Hälfte der Nutzer in nur sieben Wochen das Update ausgeführt haben, können Entwickler auch schnelle Erfolge und Verbreitung hoffen, wenn sie bei Software auf die neuen Möglichkeiten wie AR setzen.

Apple betonte, dass 81 Prozent der iOS-Geräte auf dem letzten Release laufen – ein Riesenabstand zu Android, wo die Anwender gerne abwarten und nur 6 Prozent der Nutzer mit dem neuesten System arbeiten. Zudem soll iOS 12 auf allen Geräten laufen, die iOS 11 unterstützen – aber mit deutlich besserer Performance. Damit sind starke Voraussetzungen und eine große User-Basis geschaffen, um mit AR durchzustarten, wo Hardware-hungrige Echtzeit-Berechnungen und 3D-Modelle stark zum Einsatz kommen. Gleichzeitig können AR-Entwickler eine große User-Basis mit ihren Anwendungen erreichen - auch auf älteren iPads und iPhones. „AR ist eine Technologie der Übergänge und bringt Erlebnisse in die reale Welt. AR verändert die Art, wie wir arbeiten und Spaß haben. In iOS 12 möchten wir einen einfachen Weg eröffnen, AR systemweit einzusetzen,“ so Federighi.

iOS 12: AR systemweit und einfach

Die Basis dafür ist ein neues Dateiformat namens USDZ, das auf USD (Universal Scene Description, das „Z“ steht für „ZIP“) basiert, dass Apple zusammen mit den 3D-Experten von Pixar entwickelt hat. USDZ ist wie eine ZIP-Datei gepackt und optimiert fürs Teilen, dabei kompakt und kann 3D-Grafiken in hoher Qualität als Standbilder oder Animationen enthalten. USDZ kann überall im System auftauchen: Im Messenger, Safari, der Dateien-App oder als Anhang in Mail. So können 3D-Objekte in der realen Welt platziert und so einfach wie Grafiken geteilt werden. Die neuen Features nennt Apple „AR Quicklook“ und soll es Entwicklern einfach machen, AR-Erlebnisse mit 3D-Objekten im System bereit zustellen. „Wir wollen, dass Entwickler es einfach haben Inhalte für AR zu erstellen. Deswegen haben wir mit den Marktführern im Kreativbereich zusammen gearbeitet,“ so Federighi. Dabei sei die Zusammenarbeit bei USDZ und AR Kit mit Adobe sehr eng gewesen.

Abhay Parasnis, Executive Vice President und CTO von Adobe übernahm darauf die Bühne, um zu verkünden, dass Apple mit AR Kit die bei weitem stärkste Plattform für AR im Portfolio habe. USDZ sei eine große Sache. Erstmals sei es möglich AR-Erfahrungen über das ganze System zu gestalten. Gleichzeitig kündigte der CTO USDZ-Unterstützung für Creative Cloud an. „Mit Creative Cloud können Entwickler und Designer ihre vertrauten Tools wie Photoshop und Dimension verwenden, um AR-Erlebnisse zu gestalten,“ so Parasnis. Um die einfache Auslieferung ans System kümmere sich dann USDZ.

Project Aero: AR in Adobe-Werkzeugen

Neben dem USDZ-Support in Creative Cloud kündigte Adobe noch ein neues Set an Services und Apps für die schnelle und einfache Entwicklung von AR-Anwendungen an. Dabei können Entwickler Bilder, Text und Videos in ihre AR-Anwendungen einbringen. Die Medien kommen dabei direkt aus Creative Cloud in eine native AR-Umgebung in iOS. Gleichzeitig sei die Entwicklung von AR erstmals nach dem einfachen WYSIWYG-Prinzip („What you see is what you get“) – also visuell, wie Designer gern arbeiten, statt in Coding-Umgebungen arbeiten zu müssen. Die neue AR-Software für Designer trägt den Arbeitstitel Project Aero.

Ein Trailer auf der Adobe-Website zeigt, wie die Zukunft des AR-Designs aussehen wird. Ein Designer bearbeitet 3D-Modelle in Photoshop CC und dem einfachen 3D-Programm Dimension CC. In Dimension CC sichert ein neuer Befehl „Save for Aero“ das Modell als USDZ. Danach kann er sein 3D-Modell direkt auf dem iPad in AR-Kit öffnen und animieren. Beim Abspielen wird es direkt mit der Realität, die aus der iPad-Kamera kommt, kombiniert. Die AR-Applikation – eine virtuelle 3D-Kunstausstellung – kann dann in Xcode noch einmal feingetuned werden – zum Beispiel die Animationsgeschwindigkeit angepasst werden. Dann folgt der Export als USDZ. Die so verpackte, finale Applikation kann das iOS einfach öffnen und per Messenger verschickt vom Empfänger betrachtet werden. Der Trailer zeigt eindrucksvoll wie stark Projekt Aero AR verändern kann – auf Entwickler und Konsumentenseite. Das Gestalten von Projekten und das Konsumieren wird so einfach und intuitiv wie das Gestalten und konsumieren von Videos.

AR endlich vor dem Durchbruch?

Augmented Reality gibt es schon eine ganze Weile und auch Apples AR Kit schon seit iOS 11, das im letzten September in finaler Fassung herauskam. Der große Durchbruch blieb bisher noch aus, daher ist Skepsis nicht unangebracht, warum es diesmal ausgerechnet wegen eines neuen Dateiformats klappen soll. Warum, erklärte der VP AR Mike Rockwell von Apple in einer "Talk Show", die als Livestream von der WWDC übertragen wurde: „AR gibt es schon eine ganze Weile, in Universitäten schon über eine Dekade. Mit AR Kit wurde AR für viele verfügbar. Was aber immer noch eine Herausforderung war, war die Vielzahl von Dateiformaten in der 3D-Welt,“ so Rockwell.

Diesmal sollte mit Hilfe von USDZ AR sehr mächtig, effizient, einfach anzuwenden und kompatibel für die breite Masse werden. „USDZ könnte das PDF von AR werden,“ betont Rockwell. Zudem ist USDZ, auch wenn es von einem Firmenkonsortium kommt, ein offenes Format. Mit an Bord sind auch die Hersteller von allen großen 3D-Tools, die native Unterstützung des Formats in ihren Programmen versprechen. Mit der breiten Unterstützung könnte USDZ tatsächlich zu dem universellen Austauschformat werden und den Weg für spannende Anwendungen ebnen.

Das Potenzial für Augmented Reality ist sicher riesig: Immersive Medien können die reale und digitale Welt zu einer Erfahrung verschmelzen. Damit kann das Menü im Lieblingsrestaurant schon virtuell auf dem Tisch stehen, bevor Sie bestellen. Sie können die Inneneinrichtung vor dem Kauf im Möbelhaus in den eigenen vier Wänden ausprobieren. Filme können mit Schauspielern direkt im Wohnzimmer ablaufen. Mit VR können digitale Erlebnisse sich nicht mehr nur auf den begrenzten Raum in Telefonen, Laptops und TV-Bildschirmen beschränken, sondern mit der Umgebung interagieren.

„So wie sich das Geschichtenerzählen von der Papier- zur digitalen Welt entwickelt hat, wird AR die Lücke zwischen unseren Geräten und Sinnen schließen. Sie treibt die nächste Welle der digitalen Transformation voran und schafft neue Herausforderungen und Chancen,“ heißt es auf der Website von Project Aero. In Hamburg betonte der Visionär und Behance-Gründer Scott Belsky auf dem Event „The Future of Design“ noch einmal mit Nachdruck die Wichtigkeit von AR. „AR wird die Art wie wir leben und Arbeiten komplett verändern,“ ist sich Belsky sicher. Belsky nannte als Beispiel Lernprogramme in der eine virtuelle Person erklären kann wie Dinge funktionieren. „Es ist brandneue Technologie, wir machen mit Project Aero die einfacheren Workflows für Designer verfügbar,“ so Belsky.

News bis virtueller Einkauf

Wie AR-Erfahrungen in der Praxis aussehen können, zeigte Apple schon in der WWDC-Keynote. Die neue App „Measure“ ist eine Art AR-Maßband. Durch Antippen und ziehen entlang von per Kamera aufgenommenen Gegenständen, kann der Anwender Dinge aus der realen Welt abmessen. Measure kann aber auch Formen wie Rechtecke automatisch erkennen und auf einen Blick die Abmessungen zeigen.

Apple zeigte in der Keynote aber auch, wie USDZ einfach als Grafik in News-Artikel eingebunden werden kann. So konnte ein animierter Fisch direkt in einem Web-Artikel wie eine Grafik platziert, aber im Gegensatz zu einem normalen Bild interaktiv gedreht und gezoomt werden. Wie der Online-Einkauf schon bald aussehen kann, zeigte das Demo mit der Fender-Website. Der Kunde kann nicht nur seine Fender Stratocaster mit Farben konfigurieren, sondern auch virtuell in seine Wohnung stellen, mit dem iPad oder iPhone um die Gitarre herumlaufen und sie von allen Seiten betrachten. Die Möglichkeiten sind für alle möglichen Produkte enorm – vom virtuellen Ikea-Katalog mit Einrichtungsberater bis hin zum Tutorial für erklärungsbedürftige Produkte. „Ich bin mir sicher es wird uns überraschen, was dabei heraus kommt,“ prognostizierte Scott Belsky in Hamburg.

Adobe Dimension CC: 3D Visualisierung für alle

Wer VR-Erlebnisse gestalten möchte, muss 3D-Design beherrschen. Die klassischen 3D-Programme schrecken viele Gestalter aufgrund ihrer Komplexität oft ab. Adobe hat mit Dimension CC die richtige Antwort auf Lager. Damit können Designer fotorealistischen Bilder und 3D-Szenen gestalten, ohne 3D-Experte zu sein. Eine integrierte Bibliothek liefert 3D-Objekte und Materialien, Hintergründe stammen aus eigenen Bildern oder dem verknüpften Adobe-Stock-Bilderdienst. 3D-Modelle, Materialien, und Beleuchtungen lassen sich per Drag-and-Drop aus der Bibliothek im linken Bereich einfügen. Danach wählt der Designer ein Hintergrundbild. Dimension erkennt dabei automatisch den Horizont und hilft dann mit verschiedenen Linien beim korrekten Platzieren von Objekten. Das Programm kann sogar bei der korrekten Beleuchtung helfen, indem es das Hintergrundbild analysiert.

Beim Auswählen von Objekten – oft eine große Herausforderung in herkömmlichen 3D-Programmen – hilft einmal mehr die Künstliche Intelligenz der Sensei-Technologie, die Segmente und Kanten im Modell erkennt und darstellt. Das Umformen von Objekten sowie die Änderung von Materialien und Farben ist dank der künstlichen Intelligenz so einfach wie die Benutzung des „Zauberstabs“ in Photoshop. Beim eigentlichen Rendern berechnet Dimension schließlich Beleuchtung und Schatten, um ein fotorealistisches 3D-Modell zu erschaffen. Das Ergebnis können Nutzer in Photoshop importieren und weiter bearbeiten. Dimension war lange als öffentliche Beta unter dem Namen „Project Felix“ im Umlauf. So konnte viel Feedback von den Nutzern einfließen, um die Bedienung weiter zu verbessern und zu vereinfachen. In einer Version kam zum Beispiel auf Wunsch der Anwender eine Bookmark-Funktion dazu. Damit ist es möglich, Betrachtungswinkel der Szene zu speichern und dann mit einem Klick aufzurufen. So kann der Designer schnell zwischen verschiedenen Kameraperspektiven umschalten und experimentieren, ohne jedesmal die Szene neu arrangieren zu müssen .

Adobe Stock: Modelle und Materialien

Ein weiteres Hindernis beim Einstieg ins 3D-Design ist das nicht ganz einfache Modellieren von 3D-Objekten. Auch hier versucht das 3D-Programm Dimension Einsteigern mit der direkten Anbindung an den Marktplatz Adobe Stock zu helfen. Dort gibt es nicht nur Stock-Material für Hintergrundbilder zu lizenzieren, sondern auch fertig verwendbare 3D-Modelle, Lichter und -Materialien. Durch die direkte Anbindung können Designer aus dem Programm nach Materialien suchen und sie in die aktuelle Szene laden. So lassen sich schneller Szenen mit realistisch wirkenden Gegenständen, Lichtern und Reflexionen, die überzeugen und Materialien gestalten, statt sich stundenlang mit Details wie Modellierung und der Gestaltung von Materialien aufhalten zu müssen. (Macwelt)