【iOS ARKit】ARWorldMap

news2025/7/10 19:52:58

      ARWorldMap 用于存储 ARSession 检测扫描到的空间信息数据，包括地标（Landmark）、特征点（Feature Point）、平面（Plane）等，以及使用者的操作信息，如使用者添加的 ARAnchor 和开发者自定义的一些信息。ARWorldMap 可以看作 ARSession 运行时的一次状态快照。

      在技术上，每个具备世界跟踪的 ARSession 都会时刻维护一个内部的世界地图（internal world map），ARKit 正是利用这个地图定位跟踪用户设备的姿态，利用 getCurrent WorldMap（completionHandler：）方法获取的 ARWroldMap只是特定时刻内部世界地图的一个快照。    

ARWorldMap 概述

     持久化地存储应用进程数据，ARKit 提供了 ARWorldMap 功能，ARWorldMap 本质是将 AR 场景状态信息转换为可存储可传输的形式（即序列化）保存到文件系统或者数据库中，当使用者再次加载这些景状态信息后即可恢复应用进程。ARWorldMap 不仅保存了应用进程状态信息，还保存了场景特征点云息，在使用者再次加载这些状态数据后，ARKit 可通过保存的特征点云信息与当前用户摄像头获取的特点云信息进行对比匹配从而更新当前用户的坐标，确保两个坐标系的匹配。

存储与加载 ARWorldMap

     存储 ARWorldMap最重要的是从 ARSession 中获取场景的 ARWorldMap 并序列化之，然后保件系统中。加载 ARWorldMap 则首先要从文件系统中获取ARWorldMap 并反序列化之，然后利用这个ARWorldMap 重启 ARSession。存储与加载 ARWorldMap 完整代码如下所示，稍后我们将对代码中所用技术进行详细解析。

//
//  ARWorldMapSaveAndLoad.swift
//  ARKitDeamo
//
//  Created by zhaoquan du on 2024/2/20.
//

import SwiftUI
import ARKit
import RealityKit
import Combine

struct ARWorldMapSaveAndLoad: View {
    var viewModel: ViewModel = ViewModel()
    
    var body: some View {
        ARWorldMapSaveAndLoadContainer(viewModel: viewModel)
            .overlay(
                VStack{
                    Spacer()
                    
                    HStack{
                        Button(action: {loadWorldMap()}) {
                            Text("加载信息")
                                .frame(width:150,height:50)
                                .font(.system(size: 17))
                                .foregroundColor(.black)
                                .background(Color.white)
                            
                                .opacity(0.6)
                        }
                        .cornerRadius(10)
                        
                        Button(action: {saveWorldMap()}) {
                            Text("保存信息")
                                .frame(width:150,height:50)
                                .font(.system(size: 17))
                                .foregroundColor(.black)
                                .background(Color.white)
                            
                                .opacity(0.6)
                        }
                        .cornerRadius(10)
                    }
                    Spacer().frame(height: 40)
                }
            ).edgesIgnoringSafeArea(.all).navigationTitle("保存与加载ARWorldMap")
    }
    var mapSaveURL: URL = {
        do {
            return try FileManager.default
                .url(for: .documentDirectory,
                     in: .userDomainMask,
                     appropriateFor: nil,
                     create: true)
                .appendingPathComponent("arworldmap.arexperience")
        } catch {
            fatalError("获取路径出错: \(error.localizedDescription)")
        }
    }()

    func saveWorldMap() {
        print("save:\(String(describing: viewModel.arView))")
        
        self.viewModel.arView?.session.getCurrentWorldMap(completionHandler: { loadWorld, error in
            guard let worldMap = loadWorld else {
                print("当前无法获取ARWorldMap:\(error!.localizedDescription)")
                return
            }
           
            do {
                let data = try NSKeyedArchiver.archivedData(withRootObject: worldMap, requiringSecureCoding: true)
                try data.write(to: mapSaveURL, options: [.atomic])
                print("ARWorldMap保存成功")
            } catch {
                fatalError("无法保存ARWorldMap: \(error.localizedDescription)")
            }
        })
    }
    func loadWorldMap() {
        print("load:\(String(describing: viewModel.arView))")
        guard let data = try? Data(contentsOf: mapSaveURL) else {
            print("load world map faile")
            return
        }
        var worldMap: ARWorldMap?
        do {
            worldMap = try NSKeyedUnarchiver.unarchivedObject(ofClass: ARWorldMap.self, from: data)
        } catch let error {
            print("ARWorldMap文件格式不正确:\(error)")
        }
        guard let worldMap = worldMap else {
            print("无法解压ARWorldMap")
            return
        }
        let config = ARWorldTrackingConfiguration()
        config.planeDetection = .horizontal
        config.initialWorldMap = worldMap
        
        self.viewModel.arView?.session.run(config,options: [.resetTracking, .removeExistingAnchors])
             
    }
    
    class ViewModel: NSObject,ARSessionDelegate{
        var arView: ARView? = nil
        
      
        var planeEntity : ModelEntity? = nil
        var raycastResult : ARRaycastResult?
        var isPlaced = false
        var robotAnchor: AnchorEntity?
        let robotAnchorName = "drummerRobot"
        var planeAnchor = AnchorEntity()
        
        func createPlane()  {
           
            guard let arView = arView else {
                return
            }
          
            if let an = arView.scene.anchors.first(where: { an in
                an.name == "setModelPlane"
            }){
                arView.scene.anchors.remove(an)
            }
            do {
                let planeMesh = MeshResource.generatePlane(width: 0.15, depth: 0.15)
                var planeMaterial = SimpleMaterial(color: SimpleMaterial.Color.red, isMetallic: false)
                planeMaterial.color =  try SimpleMaterial.BaseColor(tint:UIColor.yellow.withAlphaComponent(0.9999), texture: MaterialParameters.Texture(TextureResource.load(named: "AR_Placement_Indicator")))
                planeEntity = ModelEntity(mesh: planeMesh, materials: [planeMaterial])
                
                planeAnchor = AnchorEntity(plane: .horizontal)
                planeAnchor.addChild(planeEntity!)
                planeAnchor.name = "setModelPlane"
                
                arView.scene.addAnchor(planeAnchor)
            } catch let error {
                print("加载文件失败:\(error)")
            }
        }
        
        func setupGesture(){
            
            let tap = UITapGestureRecognizer(target: self, action: #selector(handleTap))
            self.arView?.addGestureRecognizer(tap)
        }
        @objc func handleTap(sender: UITapGestureRecognizer){
            sender.isEnabled = false
            sender.removeTarget(nil, action: nil)
            isPlaced = true
            let anchor = ARAnchor(name: robotAnchorName, transform: raycastResult?.worldTransform ?? simd_float4x4())
            self.arView?.session.add(anchor: anchor)
            
            robotAnchor = AnchorEntity(anchor: anchor)
            
            
            do {
                let robot =  try ModelEntity.load(named: "toy_drummer")
                robotAnchor?.addChild(robot)
                robot.scale = [0.01,0.01,0.01]
                self.arView?.scene.addAnchor(robotAnchor!)
                print("Total animation count : \(robot.availableAnimations.count)")
                robot.playAnimation(robot.availableAnimations[0].repeat())
            } catch {
                print("找不到USDZ文件")
            }
            
//            var cancellable: Cancellable?
//            cancellable = ModelEntity.loadModelAsync(named: "toy_drummer.usdz")
//                .sink(receiveCompletion: { error in
//                    print("laod error:\(error)")
//                    cancellable?.cancel()
//                }, receiveValue: {[weak self] model in
//                    guard let robotAnchor = self?.robotAnchor else {
//                        return
//                    }
//                    robotAnchor.addChild(model)
//                    model.scale = [0.01,0.01,0.01]
//                    self?.arView?.scene.addAnchor(robotAnchor)
//                    //用异步方法加载模型开启骨骼动画会crash，不知到是啥原因
//                    //model.playAnimation(model.availableAnimations[0].repeat())
//                    cancellable?.cancel()
//                })
            planeEntity?.removeFromParent()
            planeEntity = nil
        }
        
        func session(_ session: ARSession, didUpdate frame: ARFrame) {
            guard !isPlaced, let arView = arView else{
                return
            }
            //射线检测
            guard let result = arView.raycast(from: arView.center, allowing: .estimatedPlane, alignment: .horizontal).first else {
                return
            }
            raycastResult = result
            planeEntity?.setTransformMatrix(result.worldTransform, relativeTo: nil)
        }
        
        func session(_ session: ARSession, didAdd anchors: [ARAnchor]) {
            guard !anchors.isEmpty,robotAnchor == nil else {
               
                return
            }
            var panchor: ARAnchor? = nil
            for anchor in anchors {
                if anchor.name == robotAnchorName {
                    panchor = anchor
                    break
                }
            }
            guard let pAnchor = panchor else {
                return
            }
            //放置虚拟元素
            robotAnchor = AnchorEntity(anchor: pAnchor)
            do {
                let robot =  try ModelEntity.load(named: "toy_drummer")
                robotAnchor?.addChild(robot)
                robot.scale = [0.01,0.01,0.01]
                self.arView?.scene.addAnchor(robotAnchor!)
                print("Total animation count : \(robot.availableAnimations.count)")
                robot.playAnimation(robot.availableAnimations[0].repeat())
            } catch {
                print("找不到USDZ文件")
            }
            isPlaced = true
            planeEntity?.removeFromParent()
            planeEntity = nil
            print("加载模型成功")
        }
        
    }
}

struct ARWorldMapSaveAndLoadContainer: UIViewRepresentable {
    var viewModel: ARWorldMapSaveAndLoad.ViewModel
    
    func makeUIView(context: Context) -> some ARView {
        let arView = ARView(frame: .zero)
       
        
        return arView
    }
    
    func updateUIView(_ uiView: UIViewType, context: Context) {
        
        let config = ARWorldTrackingConfiguration()
        config.planeDetection = .horizontal
        uiView.session.run(config)
        
        viewModel.arView = uiView
        uiView.session.delegate = viewModel
        
        viewModel.createPlane()
        viewModel.setupGesture()
        
    }
    
}
#Preview {
    ARWorldMapSaveAndLoad()
}

代码实现的功能如下：

（1）进行平面检测，在检测到可用平面时实例化一个指示图标用于指示放置位置。

（2）添加屏幕单击手势，在平面可用时通过单击屏幕会在指示图标位置放置虛拟机器人模型。

（3） 当用户单击“保存AR信息”按钮时会从当前 ARSesion 中获取 ARWorldMap 并序列化之，然后保存到文件系统中。

（4）当用户单击“加载AR信息”按钮时会从文件系统中加载ARWorldMap 并反序列化之，然后利用该ARWorldMap 重启 ARSession。

        在第（2）项功能中，即 bandleTap（）方法中的代码，我们首先将屏幕单击手势禁用，以防止添加多个机器人模型，然后禁止显示指示图标。随后利用命申点的坐标生成了一个ARAnchor，并将其添加到 ARSession中，注意这里设置了 ARAnchor 的名字（name）属性，这步很关键，因为后续我们需要利用该ARAnchor 的名字来恢复虚拟元素。后续代码是使用异步方式加载机器人模型，不赘述。

       在第（3）项功能中，即 saveAR WorldMap（）方法中代码，首先使用 getCurrent WorldMap（）方法从 ARSession中获取 ARWorldVap，在闭包中，使用 let data = try NSKeyedArchiver. archivedData （with RootObject: map，requiringSecureCoding: true）语句对获取的ARWorldMap 进行序列化，然后使用 try data. write （to：mapSaveURL.， options： ［.atomic］）方法将序列化后的 ARWorldMap 写人到文件系统中。

       在第（4）项功能中，即 loadARWorldMap（）方法中代码，首先从文件系统中读取存储的 ARWorldMap文件，并使用 let worldMap = try NSKeyedUnarchiver. unarchivedObject （ofClass: AR WorldMap. self，from:data）语句将其反序列化。在得到反序列化后的ARWorldMap 后，就可以利用其作为配置文件的initialWorldMap 属性重启 ARSession，当用户设备所在的物理环境与 ARWorldMap 保存时的物理环境一致时（即环境特征点信息匹配时），ARKit 就会校正用户设备坐标信息，将当前用户设备的坐标信息与ARWorldMap 中存储的用户设备坐标信息关联起来，并恢复相应的ARAnchor 信息，这时恢复的ARAnchor 姿态与ARWorldMap 中存储的姿态就是一致的，即ARAnchor 在物理环境中的位置与方向是一致的，这就达到了应用进程数据存储与加载的目的。

      正如前文所述，ARWorldMap 并不会存储虚拟元素本身，因此，需要手动恢复虚拟元素，因为虚拟元素总是与ARAnchor 关联，利用 ARAnchor 的名字（name）属性我们就可以恢复关联的虚拟元素。在代码中，session（_：didAdd：）方法就用于恢复关联的虚拟元素，在该方法中，通过ARAnchor.name 进行ARAnchor的对比，如果名字一样且当前没有加载机器人模型则使用异步方法加载之。通过这种方式，我们就可以逐一地恢复所有的虚拟元素，从而恢复整个场景。

       运行案例，在检测到的平面上添加虚拟元素后单击“保存地图”按钮保存 AR WorldMap，稍后单击“加载地图”按钮，或者关闭应用，在重新运行后单击“加载地图”按钮，可以看到虚拟机器人模型会出现在物理世界中的固定位置，如图所示。

      事实上，在将 ARWorldMap 设置 ARWorldTrackingConfiguration. initialWorldMap 属性启动ARSession 时，ARKit 会进入重定位（relocalize）过程，在这个过程中，ARKit 会尝试将当前设备摄像头采集的环境信息与 ARWorldMap 中存储的环境特征信息进行匹配。因此，保持当前设备姿态与存储ARWorldMap 时的设备姿态一致时（即提高环境特征点匹配成功率）可以更快速地重定位。   

具体代码地址：GitHub - duzhaoquan/ARkitDemo

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1472914.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

【Vue】组件通信组件通信

【Vue】组件通信组件通信

📝个人主页：五敷有你 🔥系列专栏：JVM ⛺️稳中求进，晒太阳 组件通信 组件通信，就是指组件与组件之间的数据传递 组件的数据是独立的，无法直接访问其他组件的数据想用其他组件的数据--&…
阅读更多...
【深度学习】Pytorch教程（十三）：PyTorch数据结构：5、张量的梯度计算：变量（Variable）、自动微分、计算图及其可视化

【深度学习】Pytorch教程（十三）：PyTorch数据结构：5、张量的梯度计算：变量（Variable）、自动微分、计算图及其可视化

文章目录 一、前言二、实验环境三、PyTorch数据结构1、Tensor（张量）1. 维度（Dimensions）2. 数据类型（Data Types）3. GPU加速（GPU Acceleration） 2、张量的数学运算1. 向量运算2. 矩阵…
阅读更多...
景联文科技：引领战场数据标注服务，赋能态势感知升级

景联文科技：引领战场数据标注服务，赋能态势感知升级

自21世纪初，信息化战争使战场环境变得更为复杂和难以预测，持续涌入的海量、多样化、多来源和高维度数据，加大了指挥员的认知负担，使其需要具备更强的数据处理能力。 同时，计算机技术和人工智能技术的飞速发展&#xff…
阅读更多...
EMQX Enterprise 5.5 发布：新增 Elasticsearch 数据集成

EMQX Enterprise 5.5 发布：新增 Elasticsearch 数据集成

EMQX Enterprise 5.5.0 版本已正式发布！ 在这个版本中，我们引入了一系列新的功能和改进，包括对 Elasticsearch 的集成、Apache IoTDB 和 OpenTSDB 数据集成优化、授权缓存支持排除主题等功能。此外，新版本还进行了多项改进以及 B…
阅读更多...
Gemma谷歌(google)开源大模型微调实战(fintune gemma-2b)

Gemma谷歌(google)开源大模型微调实战(fintune gemma-2b)

Gemma-SFT Gemma-SFT(谷歌, Google), gemma-2b/gemma-7b微调(transformers)/LORA(peft)/推理 项目地址 https://github.com/yongzhuo/gemma-sft全部weights要用fp32/tf32, 使用fp16微调十几或几十的步数后大概率lossnan;(即便layer-norm是fp32也不行, LLaMA就没有这个问题, …
阅读更多...
SpringBoot/Java中OCR实现,集成Tess4J实现图片文字识别

SpringBoot/Java中OCR实现,集成Tess4J实现图片文字识别

场景 Tesseract Tesseract是一个开源的光学字符识别（OCR）引擎，它可以将图像中的文字转换为计算机可读的文本。 支持多种语言和书面语言，并且可以在命令行中执行。它是一个流行的开源OCR工具，可以在许多不同的操作系…
阅读更多...
【Vue3】插槽使用和animate使用

【Vue3】插槽使用和animate使用

插槽使用 插槽slot匿名插槽具名插槽插槽作用域简写 动态插槽transition动画组件自定义过渡class类名如何使用animate动画库组件动画生命周期appear transition- group过渡列表 插槽slot 插槽就是子组件中提供给父组件使用的一个占位符父组件可以在这个占位符智能填充任何模板代…
阅读更多...
pytest-配置项目不同环境URL

pytest-配置项目不同环境URL

pytest自动化中，在不同环境进行测试，可以将项目中的url单独抽取出来，通过pytest.ini配置文件实现（类似postman中的“Environments”） 使用步骤： 1）安装pytest-base-url插件 pytest-base-url …
阅读更多...
【Flink精讲】Flink状态及Checkpoint调优

【Flink精讲】Flink状态及Checkpoint调优

RocksDB大状态调优 RocksDB 是基于 LSM Tree 实现的（类似 HBase） ，写数据都是先缓存到内存中， 所以 RocksDB 的写请求效率比较高。 RocksDB 使用内存结合磁盘的方式来存储数据，每 次获取数据时，先从内存中 …
阅读更多...
Mac下载安装配置运行MySQL

Mac下载安装配置运行MySQL

一、打开官网 MySQL :: Download MySQL Community Serverhttps://dev.mysql.com/downloads/mysql/ 1、根据自己的电脑版本下载相对应的MySQL版本，Mac分为ARM和X86两个不同的架构 ​ 不知道自己电脑是ARM还是X86的，如下操作进行查询 uname -a 我的电脑是…
阅读更多...
2024年Apache DolphinScheduler RoadMap：引领开源调度系统的未来

2024年Apache DolphinScheduler RoadMap：引领开源调度系统的未来

非常欢迎大家来到Apache DolphinScheduler社区！随着开源技术在全球范围内的快速发展，社区的贡献者 “同仁” 一直致力于构建一个强大而活跃的开源调度系统社区，为用户提供高效、可靠的任务调度和工作流管理解决方案。 在过去的一段时间里&…
阅读更多...
代码随想录|学习工具分享

代码随想录|学习工具分享

工具分享 画图 https://excalidraw.com/ 大家平时刷题可以用这个网站画草稿图帮助理解！如果看题解很蒙或者思路不清晰的时候，跟着程序处理流程画一个图，90%的情况下都可以解决问题！ 数据结构可视化 https://www.cs.usfca.edu/…
阅读更多...
【Java设计模式】一、工厂模式、建造者模式、原型设计模式

【Java设计模式】一、工厂模式、建造者模式、原型设计模式

文章目录 1、简单工厂模式2、工厂方法模式3、抽象工厂模式4、建造者模式5、原型设计模式 设计模式即总结出来的一些最佳实现。23种设计模式可分为三大类： 创建型模式：隐藏了创建对象的过程，通过逻辑方法进行创建对象，而不是直接n…
阅读更多...
逆序或者正序打印一个数的每一位数，递归实现（C语言）

逆序或者正序打印一个数的每一位数，递归实现（C语言）

从键盘上输入一个不多于5位（包括5位）的正整数，要求 （1）求出它是几位数；（2）分别输出每一位数字（3）按逆序输出各位数字 （1）求出它是几位…
阅读更多...
Linux浅学笔记04

Linux浅学笔记04

目录 Linux实用操作 Linux系统下载软件 yum命令 apt systemctl命令 ln命令 日期和时区 IP地址 主机名 网络传输-下载和网络请求 ping命令 wget命令 curl命令 网络传输-端口 进程 ps 命令 关闭进程命令： 主机状态监控命令 磁盘信息监控&#xff1a…
阅读更多...
【MQ05】异常消息处理

【MQ05】异常消息处理

异常消息处理 上节课我们已经学习到了消息的持久化和确认相关的内容。但是，光有这些还不行，如果我们的消费者出现问题了，无法确认，或者直接报错产生异常了，这些消息要怎么处理呢？直接丢弃？这就是…
阅读更多...
深入理解计算机系统学习笔记

深入理解计算机系统学习笔记

第三章 程序的机器级表示 3.2.1 机器级代码 对于机器级编程来说，其中两种抽象尤为重要。第一种是由捍令集体系结构或指令集架构（Instruction Set Architecture, ISA)来定义机器级程序的 格式和行为，它定义了处理器状态、指令的格式&#xf…
阅读更多...
在Ubuntu上为ARM 8处理器安装Python 3.10.4虚拟环境指南

在Ubuntu上为ARM 8处理器安装Python 3.10.4虚拟环境指南

在Ubuntu上为ARM 8处理器安装Python 3.10.4虚拟环境指南 安装Anaconda或Miniconda： 首先，您需要从官方网站下载适用于ARM架构的Anaconda或Miniconda安装包。下载完成后，在终端中使用bash Anaconda3-2019.10-Linux-armv8.sh（文件…
阅读更多...
将仓库A中的部分提交迁移到仓库B中

将仓库A中的部分提交迁移到仓库B中

结论： 使用git format-patchgit am即可实现 使用场景： 例如仓库A这里有5个提交记录，commitid1, commitid2, commitid3, commitid4，commitid5 仓库B想用仓库A中提交的代码，手动改比较慢，当改动较多的时候…
阅读更多...
2.26 Qt day4+5 纯净窗口移动+绘画事件+Qt实现TCP连接服务+Qt实现连接数据库

2.26 Qt day4+5 纯净窗口移动+绘画事件+Qt实现TCP连接服务+Qt实现连接数据库

思维导图 Qt实现TCP连接 服务器端&#xff1a; widget.h #ifndef WIDGET_H #define WIDGET_H#include <QWidget> #include<QTcpServer>//服务器端类 #include<QTcpSocket>//客户端类 #include<QMessageBox>//消息对话框类 #include<QList>//链…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023