So installieren Sie die Apple Vision Pro-Entwicklersoftware

Aug 30, 2023

Apple hat am Mittwoch sein visionOS SDK und seine Entwicklertools veröffentlicht, zusammen mit weiteren Informationen zur Entwicklung für Apple Vision Pro. Hier finden Sie eine Übersicht darüber, was es ist, was es kann und wie Sie damit beginnen können.

Apples SDK für Apple Vision Pro ist in der zweiten Xcode-Beta enthalten. Es umfasst Befehlszeilentools für Xcode 15 Beta 2, Schriftartentools für Xcode 15 Beta und die visionOS 1 Beta Simulator Runtime, die als .dmg-Disk-Image-Datei verpackt ist.

Um die neuen SDK- und Xcode-Betadateien zu erhalten, gehen Sie zu Developer.apple.com/download/ und melden Sie sich mit Ihrer Apple-ID an. Diese Tools sind in der neuen kostenlosen Entwicklermitgliedschaft enthalten.

Sie benötigen den Xcode 15 Beta 2-Download, der die Xcode 15 Beta 2-App selbst, macOS 14 Beta 2 und verschiedene Simulatoren enthält. Sie benötigen außerdem die Befehlszeilentools für Xcode 15 Beta 2 und Xcode 15 Beta 2, das auch macOS 14 Beta 2 enthält.

Wenn Sie es noch nicht getan haben, laden Sie unten auf der am 5. Juni veröffentlichten Seite auch die Beta-Version von Font Tools für Xcode 15 herunter.

Überprüfen Sie beim Herunterladen von Xcode 15 Beta 2 unbedingt dievisionOS Beta 1Kontrollkästchen am Ende der Liste, das satte 6,85 GB wiegt:

Beachten Sie, dass Sie in jedem Fall auch die iOS-Download-Komponenten benötigen.

Dies stellt die von Apple immer noch als xrOS 1.0.simruntime bezeichnete Datei in einer .dmg-Datei bereit, die Sie in Xcode importieren, um den visionOS-Simulator zu installieren (mehr dazu weiter unten).

Die Lernkurve für visionOS kann ziemlich steil sein – sie umfasst neben dem bloßen Programmieren auch mehrere Computerdisziplinen. Dazu gehören 3D-Objekt- und Szenendesign, Augmented Reality (AR), Materialien und Oberflächen sowie Beleuchtung und Rendering.

Zusätzlich zu den Xcode-Teilen möchten Sie einige zusätzliche Elemente lernen und erwerben, die vom AR-Ökosystem von Apple verwendet werden:

Die meisten davon sind auf der Entwicklerseite von Apple unter verfügbarDeveloper.apple.com/augmented-reality/

Das SDK beinhaltet auch Reality Composer Pro, der auf der WWDC 23 in den visionOS-Präsentationen versprochen wurde. Reality Composer Pro ist eine App zur Vorbereitung und Vorschau von 3D-Inhalten für visionOS.

Als Teil der SDK-Veröffentlichung hat Apple auch die Betaversion von Reality Converter veröffentlicht, mit der Sie zwischen AR-Dateiformaten wie .obj, .gltf und .usd konvertieren und diese alle in das Standard-USDZ-Format konvertieren können. Sie können auch einige Textureigenschaften in der Reality Converter-Beta ändern.

Auf der AR-Tools-Seite gibt es außerdem einen zusätzlichen .dmg-Download namens USDZ Tools, bei dem es sich um eine Reihe von Python-Skripten für die USD-Konvertierung handelt. Alle AR-Tools von Apple finden Sie auf der AR-Hauptseite unter Developer.apple.com/augmented-reality/tools/

Das AR Quick Look-Plugin finden Sie zusammen mit Beispielen unter Developer.apple.com/augmented-reality/quick-look/.

Wenn dies alles installiert ist, können Sie jetzt auch die 3D-Entwicklungstools von Unity verwenden, um Apple Vision Pro-Apps zu entwickeln. Besuchen Sie die Unity-Website unter unity.com.

Das Entwerfen und Schreiben Ihrer visionOS-App ist nur ein Teil der visionOS-Entwicklung. Der andere Teil besteht darin, 3D-Modelle und Räume zu beherrschen.

Schließlich bezeichnet Apple das Vision Pro als AR-Headset. Auf diese Weise werden Ihre visionOS-Apps dem Benutzer im 3D-Raum auf dem Apple Vision Pro-Gerät präsentiert.

Sie müssen außerdem mit Pixars Universal Scene Description und den USDZ-Dateien vertraut sein, die Beschreibungen von 3D-Objekten enthalten. Es gibt eine Reihe von Ressourcen, um mehr über USDZ-Dateien zu erfahren. Beispielsweise gibt es auf der Entwicklerseite von NVIDIA auch eine gute Diskussion über USD.

In den meisten Fällen müssen Sie Ihre 3D-Inhalte zur Verwendung in visionOS in USDZ konvertieren.

Zusätzlich zu USD möchten Sie auch Industrial Light + Magic's lernenMaterialXStandard – ein universeller Open-Source-Standard für 3D-Objektmaterial, der erstmals 2017 für den Film Star Wars: Das Erwachen der Macht erstellt wurde.

Materialien beziehen sich auf die Oberflächen von 3D-Objekten und darauf, wie diese Oberflächen aussehen. In der realen Welt bedeutet dies, dass Materialien wie Holz, Metall oder Glas simuliert werden.

In visionOS werden vier Präsentationsmodi unterstützt:

Fenster-Apps verhalten sich im Wesentlichen wie iOS- und iPadOS-Apps im Haupt-Shared Space von visionOS, mit der Ausnahme, dass Sie sie zur Seite werfen können – ähnlich wie Sie es in macOS mit Stage Manager können.

Volumes sind im Grunde SwiftUI-Szenen, die in Fenster-Apps eingebettet sind und RealityKit- oder Unity-3D-Objekte in Teilen von Fenstern anzeigen. Benutzer können Fenster und Volumen im Shared Space nach Belieben neu positionieren.

Spaces sind immersive „Full Spaces“, die einer App gewidmet sind und in denen nur der Inhalt einer App angezeigt werden kann. Innerhalb eines Full Space kann eine App Fenster oder 3D-Inhalte anzeigen oder eine ganze 3D-gerenderte Szene wie ein Spiel oder eine Simulation anzeigen und den Benutzer in eine andere Welt eintauchen lassen. Apple nennt dies „Unbounded 3D Content“.

Als Entwickler können Sie in visionOS dem Benutzer erlauben, jederzeit zwischen diesen Zuständen und zurück zu wechseln.

Wir werden uns nicht Schritt für Schritt mit der Installation des visionOS-Simulators in Xcode befassen, da dies bereits auf den Xcode-Entwicklerseiten dokumentiert ist. Zuerst möchten Sie alles aus der oben erwähnten ersten Xcode 15-Beta installieren, insbesondere die Datei Xcode_15_beta_2.xip, eine signierte ZIP-Datei, die die Xcode 15 Beta-App enthält.

Laden Sie nach der Installation der ersten Xcode-Beta die Befehlszeilentools und die zweite Beta herunter und installieren Sie sie.

Sie müssen dies in dieser Reihenfolge tun, da bei Verwendung der Webinstallationsmethode (siehe unten) zuerst die Xcode-Beta-App installiert werden muss, damit sie funktioniert.

Der gesamte Prozess und alle seine Optionen werden auf den Seiten „Xcode-Geräte und Simulatoren“ unter „Installieren und Verwalten von Simulator-Laufzeiten“ beschrieben.

Der Download des visionOS-Simulators ist mit etwa 7 GB beträchtlich.

Es gibt mehrere Möglichkeiten, den Simulator zu installieren:

Bei der ersten Option müssen Sie alle heruntergeladenen Komponenten und Manifestdateien im Ordner „Downloads“ in Ihrem Benutzerordner belassen, da Xcode dort nach ihnen sucht. Wenn der Download abgeschlossen ist, installiert Xcode sie automatisch von diesem Speicherort aus.

Für diese Option ist es wahrscheinlich am besten, Safari zu verwenden. Für diese Option müssen Sie sich mit Ihrer Apple-ID auf der Entwicklerseite anmelden.

Die zweite Option – Installation beim ersten Start – funktioniert nur, wenn Sie Xcode zum ersten Mal bei einer Neuinstallation starten. Sie werden gefragt, welche Simulatoren Sie installieren möchten. Wenn Sie die Betaversion von Xcode 15 auf der Betaversion von macOS 14 ausführen, umfassen diese Optionen den visionOS-Simulator.

Um den Simulator manuell aus Xcode heraus zu installieren, gehen Sie zuEinstellungen->Plattformen . Drücke denErhalten Klicken Sie auf die Schaltfläche neben jedem Simulator, den Sie installieren möchten. Stellen Sie zunächst sicher, dass Sie für jeden Speicherplatz ausreichend Speicherplatz haben.

Um den Simulator über die Befehlszeile im Terminal zu installieren, müssen Sie zunächst Xcode ausführen und bei der ersten Aufforderung die zusätzlichen Xcode-Tools installieren. Dadurch wird ein Befehlszeilentool namens simctl installiert. Weitere Informationen zu simctl erhalten Sie im Terminal, indem Sie Folgendes eingeben:

simctl und drückenZurückkehren.

Sie können die Befehlszeilentools auch installieren, indem Sie das oben erwähnte Paket „Zusätzliche Befehlszeilentools“ herunterladen und ausführenBefehlszeilentools.pkgInstallationsprogramm, das in der .dmg-Datei im Finder enthalten ist.

Die erforderlichen simctl-Befehle sind auf den Xcode-Entwicklerseiten von Apple aufgeführt:

xcode-select -s /Applications/Xcode-beta.app

xcodebuild -runFirstLaunch

xcrun simctl runtime füge „~/Downloads/visionOS_1_beta_Simulator_Runtime.dmg“ hinzu

Beachten Sie, dass für den xcrun simctl runtime add-Befehl die Simulator-.dmg-Datei selbst im Download-Ordner erforderlich ist, um den Simulator zu installieren. Öffnen Sie die .dmg-Datei daher nicht direkt.

Sie können auch einen oder mehrere Simulatoren installieren, indem Sie den einfacheren Befehl xcodebuild und entweder die Option -downloadAllPlatforms oder eine bestimmte Simulatoroption verwenden.

Der iOS-Simulator kann beispielsweise heruntergeladen und installiert werden, indem Sie Folgendes eingeben:

xcodebuild -downloadPlatform iOS

Das visionOS SDK ähnelt den verschiedenen anderen Betriebssystem-Frameworks und Entwicklertools von Apple. Die grundlegenden Teile, die Sie kennen müssen, sind Xcode, SwiftUI, RealityKit, ARKit und TestFlight – sowie einige 3D-Modellierungstools.

Es gibt zwei wichtige 3D-Ansichten, die Sie in visionOS für 3D-Objekte und -Szenen verwenden können: ARView und RealityView (das sich noch in der Betaphase befindet).

Es gibt eine Vielzahl anderer Beta-Objekte, die Sie ausprobieren möchten, darunter Model3d, RealityRenderer, SceneRealityCoordinateSpace und RealityCoordinateSpaceConverting.

Die meisten visionOS-Apps und -Ansichten werden mit SwiftUI- und Swift-Klassen erstellt. Für einige der neueren Objekte gibt es keine Objective-C-Versionen.

In jedem vorhandenen iOS- oder iPadOS-Xcode-Projekt können Sie ein neues visionOS-Ziel zum vorhandenen Projekt hinzufügen oder eine völlig neue App erstellen, indem Sie über die Vorlagenauswahl von Xcode ein neues Xcode-Projekt basierend auf visionOS erstellen.

Gehen Sie dazu in Xcode zuDatei->Neu->Projekt und klicken Sie in der Vorlagenauswahl auf das visionOS-Symbol. KlickenNächste, benennen Sie das Projekt, legen Sie seine Optionen fest und klicken Sie dannNächsteerneut und speichern Sie es durch Klicken auf der FestplatteErstellen.

Sie können ein neues visionOS-Ziel zu Ihrem vorhandenen iOS- oder iPadOS-Xcode-Projekt hinzufügen, indem Sie das Projektsymbol auf der linken Seite des Xcode-Projektfensters und dann das Projekt auswählenNameunter „Projekt“ und dann auswählenDatei->Neu->Zielvon demDateiSpeisekarte:

Wenn die Xcode-Vorlagenauswahl angezeigt wird, wählen Sie ausvisionOS Klicken Sie dazu in der Tab-Leiste oben auf die gleiche Weise, wie Sie es tun würden, wenn Sie ein neues Projekt erstellt hätten. Legen Sie die Details des neuen Ziels im nächsten Blatt fest und klicken Sie dann aufBeendenSchaltfläche – ein neues visionOS-Ziel wird Ihrem vorhandenen Xcode-Projekt hinzugefügt.

Apps, die iOS, iPadOS und visionOS verwenden, können viele, aber nicht alle, der gleichen Technologien nutzen. Um Ihre App auf visionOS zu portieren, müssen Sie sich auf die Überprüfung Ihrer Apps und die Konvertierung inkompatibler Teile in kompatible oder neue visionOS-Technologien konzentrieren.

Wenn Sie beispielsweise Metal in Ihren iOS- oder iPadOS-Apps verwenden, können Sie Metal in visionOS verwenden, jedoch nur im immersiven Modus, da Metal auf der Abtastung von Pixeln basiert und wenn Sie es im Fenstermodus verwenden würden, könnte Metal den Hintergrund des Benutzers abtasten – möglicherweise offenlegend sensible Informationen, wenn Proben aus der Umwelt entnommen werden.

Neben brandneuen visionOS-Apps können auch die meisten iOS- und iPadOS-Apps an visionOS angepasst werden. visionOS wurde auf diese Weise entwickelt, um die Portierung Ihrer vorhandenen Apps zu vereinfachen.

Wenn Sie für Vision Pro mit iOS- oder ARKit-Apps entwickeln, haben Sie mehrere Möglichkeiten: Sie können sehen, ob Ihre App bereits mit visionOS kompatibel ist, Sie können Ihre vorhandene App mit visionOS zum Laufen bringen oder Sie können eine brandneue ARKit-App erstellen, die damit funktioniert visionOS.

In der visionOS-Dokumentation gibt es einen Abschnitt mit dem Titel iOS-Migration und -Kompatibilität. In diesem Abschnitt gibt es drei Unterabschnitte:

Auf der Hauptdokumentationsseite von visionOS von Apple finden Sie die meisten Informationen, die Sie für den Einstieg benötigen. Es gibt auch einen Abschnitt über den Xcode visionOS-Simulator.

In einem zukünftigen Artikel werden wir tiefer auf die technischen Aspekte der Erstellung von visionOS-Apps eingehen.

Apple kündigte außerdem an, in mehreren Großstädten auf der ganzen Welt Entwicklerlabore zu eröffnen, in denen Entwickler ihre Apps auf Prototypen der Vision Pro-Hardware auf Kompatibilität und Robustheit testen können. Und im Juli können sich Entwickler für den Kauf von Entwickler-Kits bewerben, die die Hardware enthalten.

Im Laufe der nächsten neun Monate – und vielleicht auch länger, abhängig vom tatsächlichen Veröffentlichungsdatum – werden wir uns eingehender mit der Portierung und Erstellung von Apps für visionOS und der Bedeutung der Plattform für alltägliche Benutzer befassen. Derzeit enthält die umfangreiche Entwicklerdokumentation von Apple jedoch eine Menge neues Lernmaterial.

Schließlich gibt es einen Grund, warum Apple die Hardware auf der WWDC 2023 für eine Veröffentlichung im Jahr 2024 angekündigt hat.

Chip ist seit 30 Jahren ein Veteran der Apple-Branche, Autor von 18 kommerziellen Mac-Softwareprodukten und ehemaliger Mitarbeiter von Apple und Sony.