设置 Jetson

sudo pip3 install jetson-statssudo jtop

可以看到Jetson平台的相关资源，还可以查看已安装的 CUDA 版本：

安装pytorch

一般推荐在conda环境中安装：

conda create -n torch python=3.8conda activate torch

在 官网 根据 Jtop 的 Jetpack 和 pytorch 版本选择下载安装：

pip install torch-2.0.0-cp39-cp39-linux_aarch64.whl

在根据 pytorch 的版本安装 torchvision 的版本：

pip install --no-deps torchvision==0.15.0

基础概念

存储类型

• DAS（直接附加存储，Direct-Attached Storage）：存储直接连接到单个服务器，通常通过 SATA、SAS 或 NVMe 接口。适合低延迟和高带宽需求的应用，但扩展性有限。这类设备通常可以看作是一个大号U盘，直接通过USB与主机连接。
• NAS（网络附加存储，Network-Attached Storage）：独立的存储设备，通过网络（如以太网）提供文件级存储服务，允许多个服务器共享文件。适合文件共享和备份，但性能受网络速度影响。能够兼顾文件共享、备份、归档，还能够在局域网与广域网中数据传输。
• SAN（存储区域网络，Storage Area Network）：是一种专门的高速网络架构，提供块级存储访问，使用光纤通道或 iSCSI 连接服务器和存储。具有较高的扩展性和性能，适合数据库和虚拟化等高负载应用。对于超大型企业的超大数据管理的解决方案。

RAID（独立磁盘冗余阵列，Redundant Array of Independent Disks）

RAID 是一种将多个物理硬盘组合成一个逻辑卷的技术，用于提升性能、提供冗余和数据保护。常见的 RAID 级别有：

• RAID 0：数据分条（Striping），不提供冗余，但提高了速度。
• RAID 1：镜像（Mirroring），实现数据冗余和故障恢复。
• RAID 5/6：提供分布式奇偶校验，能够在 1-2 块磁盘损坏时保护数据。
• RAID 10：结合了分条和镜像，提供较高的性能和冗余。

而实现 RAID 的方法可以分为硬件与软件层面的解决方法。

• 硬RAID：硬件 RAID 使用专用 RAID 控制器提供性能优势，各大通信厂商都有类似产品。
• 软RAID：软件 RAID 则由操作系统管理，成本较低但占用 CPU 资源，类似于 Unraid 与 Freenas 等。

文件系统

• EXT4、NTFS、HFS+ 等：常用于消费级和中小型服务器。
• ZFS：企业级文件系统，具有快照、数据完整性检查、自修复等功能，适合对数据可靠性要求较高的环境。
• XFS：支持大容量和高性能的文件系统，适合大数据应用和视频存储。
• Btrfs：支持快照、压缩和多设备管理，适合虚拟化和云环境。

存储硬盘

硬盘的规格主要可以从 接口类型、物理尺寸 和 存储技术 等方面进行分类，不同的规格决定了硬盘的速度和应用场景。以下是常见的硬盘规格及其典型速度：

不同硬盘规格和类型适合不同应用需求。对于高性能需求的应用（如数据中心、实时分析、游戏），NVMe SSD 是最佳选择；而对于大容量的存储需求（如备份、档案存储），HDD 仍然是高性价比的方案。

硬件设备

对于需要服务器级别的存储，自然硬盘数量会其他大于10盘以上，这就不是一般个人PC能够安装与处理的了。这时候就需要折腾机架式数据服务器了。

以上是一个机架式数据服务器的抽象组成，其中包括了，内存、CPU、主板、扩展卡以及硬盘背板。其中与个人PC区别最大的就是扩展卡以及硬盘背板。

扩展卡

对于机架式数据服务器，一般都是 SAS（Serial Attached SCSI）硬盘扩展卡，并且能够兼容 SATA 格式。根据不同的功能、配置和应用需求，SAS 硬盘扩展卡可以分为以下几种主要类别：

HBA（Host Bus Adapter，主机总线适配器）

• 功能：HBA 提供直通模式（IT 模式），直接将硬盘连接到主机系统，操作系统可以直接访问硬盘。
• 支持协议：SAS 和 SATA，支持双通道 SAS。
• 带宽：SAS 3.0 可以支持高达 12Gbps，SAS 4.0 支持高达 24Gbps。
• 特点：HBA 不提供 RAID 功能，适用于需要通过软件控制和管理存储的场景，例如 ZFS 文件系统或软件定义存储。
• 应用场景：常用于需要直接访问硬盘的系统，如 NAS、SAN 和 SDS（软件定义存储）系统。

RAID 硬件卡

• 功能：RAID 控制卡支持多种 RAID 配置（RAID 0、1、5、6、10 等），通过硬件实现数据冗余和性能提升。
• 缓存和电池支持：许多 RAID 控制卡自带缓存，并支持电池或闪存模块（BBU 或 Flash Backup），可在断电时保护未完成的数据写入。
• 支持协议：SAS 和 SATA，通常支持 12Gbps 或 24Gbps。
• 特点：RAID 控制卡具备独立的处理器和内存，不依赖主机的 CPU 进行数据处理，适合需要硬件级数据保护的应用。
• 应用场景：适用于对数据可靠性要求高的环境，如数据库服务器、虚拟化服务器和企业级存储系统。

混合 RAID/HBA 卡

• 功能：混合 RAID/HBA 卡支持两种模式，既可以作为直通模式的 HBA，也可以配置 RAID 阵列。
• 切换模式：这些卡通常可以通过固件或驱动程序来切换模式，例如 LSI 的 IT 模式和 IR 模式。
• 特点：混合模式卡灵活性强，可以在不同应用需求之间切换，非常适合需要灵活配置的环境。
• 应用场景：适合需要部分存储设备使用 RAID，而其他设备直通管理的环境，如一些文件服务器或虚拟化环境。

规格和物理接口类型

SAS（Serial Attached SCSI）接口有多种规格和物理接口类型，以满足不同的存储需求和应用场景。以下是常见的 SAS 接口规格：

不同的 SAS 接口规格和类型提供了多样的连接方式，以满足从基础存储扩展到高性能存储系统的各种需求。选择合适的 SAS 接口规格可以帮助优化存储性能和系统的扩展性。

硬盘背板

硬盘背板（Backplane）是服务器或存储设备中用于连接多个硬盘的电路板组件。它简化了硬盘与主板或控制卡之间的连接，并提供了热插拔功能，使得硬盘更换和维护更加便捷。根据接口类型、功能和应用需求，硬盘背板具有不同的特性和区别。以下是硬盘背板的一些主要类别和特性：

硬盘接口类型

• SATA 背板
  - 接口：专用于 SATA 硬盘，通过 SATA 接口与硬盘和主板或 RAID 控制卡连接。
  - 特点：传输速率通常为 6Gbps（SATA 3.0），适合连接 SATA HDD 和 SATA SSD。
  - 应用场景：常用于家用 NAS 和小型服务器，适合对性能要求不高的存储应用。

• SAS 背板
  - 接口：用于连接 SAS 硬盘，通常支持双通道 SAS 或 SATA 设备。
  - 特点：SAS 背板通常支持 6Gbps、12Gbps 或 24Gbps 的 SAS 传输速率，具备更高的可靠性和数据传输速度。
  - 应用场景：广泛应用于企业级存储和数据中心，适合需要高性能和高可靠性的应用。

• NVMe 背板
  - 接口：支持 NVMe SSD，通过 PCIe 通道连接，提供极高的带宽和低延迟。
  - 特点：支持热插拔，传输速率可达 32Gbps 或更高，适合高性能 NVMe 存储。
  - 应用场景：适用于高性能存储需求的数据中心和高频读写应用场景。

以及一些相互混合背板的，可以根据需求选择不同的硬盘，既支持高容量存储（SAS/SATA）也支持高性能存储（NVMe）。

扩展接口

带有 SAS 扩展器的背板：

• 内置 SAS 扩展器的背板可以通过一个或几个 SAS 通道连接多个硬盘，简化了物理连接结构。
• 适合高密度存储环境，如需要连接大量硬盘的服务器和数据中心，便于管理和扩展存储容量。

例如，一些机箱产品描述为：12Gb 背板，2 个 SFF-8643 口，内置 EX 芯片，通过一条线连接 24 个硬盘

• 12Gb：表示每个 SAS 通道的带宽是 12Gbps，提供更高的传输速率。
• 2 个 8643 口：SFF-8643 是 Mini-SAS HD 接口，属于更高密度的连接方式，可以支持更高的速度和更多硬盘连接。
• 内置 EX 芯片：同样有 SAS 扩展芯片，允许通过背板内部扩展，连接更多硬盘。
• 一条线连接 24 个硬盘：和第二种配置类似，虽然只有 2 个 8643 端口，但内置 EX 芯片允许一个接口覆盖更多硬盘，因此只需一条线即可连接 24 个硬盘。

光纤通信的基本原理

光纤通信通过光纤介质传输光信号，光信号以脉冲的形式代表“1”和“0”来传递数字信息。其基本流程如下：

• 光电转换：信息以电信号的形式进入发射端，在光源（如激光二极管）中被转换为光信号。
• 光信号传输：光信号在光纤中传播，光纤的芯径和包层设计确保光在内核中发生全内反射，从而有效传输信号。
• 接收与解码：接收端的光电探测器（如光电二极管）将接收到的光信号转换为电信号，再进行解码还原成数字信息。

光纤通信的关键技术

• 调制技术：将电信号调制为光信号的过程，常见调制技术包括幅移键控（ASK）、频移键控（FSK）、相移键控（PSK）等。
• 多路复用技术：通过波分复用（WDM）、时分复用（TDM）等技术在一根光纤上传输多个信号，从而增加传输效率。
• 相干光通信：利用相干光进行高速传输，适合 100 Gbps 及以上的超高速通信，常用于骨干网络。

光纤通信的设备与技术

• 光端机：用于光信号的发送和接收，实现电信号到光信号的转换，常见于数据中心和通信基站。
• 光模块：小型化的光端机，安装在交换机、路由器等网络设备上，用于设备之间的光纤互连。常见的光模块接口标准包括 SFP、SFP+、QSFP+ 等。
• 光纤：光信号在光纤中传播，光纤主要由芯、包层和保护层组成。
• 光放大器：如掺铒光纤放大器（EDFA），用于长距离光信号的放大，延长传输距离。
• 波分复用（WDM）技术：将不同波长的光信号复用到一根光纤中，从而提高传输容量。WDM 可分为粗波分复用（CWDM）和密集波分复用（DWDM）。

光纤通信的规格和标准

光纤类型规格

• 单模光纤（SMF）：芯径较小（约 8-10 微米），适用于长距离传输，主要用于电信和数据中心骨干网络。单模光纤通常使用激光作为光源，可支持几十至上百公里的传输距离。
• 多模光纤（MMF）：芯径较大（通常为 50 或 62.5 微米），适合短距离应用，主要用于局域网和数据中心内部。多模光纤通常使用 LED 作为光源，适合 100 米到几百米的传输距离。

光纤连接器规格

光纤连接器用于将光纤与设备连接，不同的连接器接口适应不同的应用场景。常见连接器包括：

• LC（Lucent Connector）：是采用操作方便的模块化插孔(RJ)闩锁机理制成的连接器，常用于高密度应用中。
• SC（Subscriber Connector）：卡接式标准方型接头,紧固方式是采用插拔销闩式,不需旋转的推拉式连接器，应用广泛于电信和数据中心。
• ST（Straight Tip）：采用2.5mm的环形塑料或金属外壳,紧固方式为螺丝扣连接器，常用于建筑布线和网络设施。
• FC（Ferrule Connector）：FC是采用金属套,紧固方式为螺丝扣。结构简单,操作方便,制作容易,耐用,可用于高振动环境。
• MTP/MPO：一种特殊类型的多光纤连接器。MPO连接器的结构比较复杂,它将12或24根光纤连接在一个矩形光纤插芯中。通常用于高密度连接场景,如数据中心等。

光纤模块规格

光纤模块用于数据传输设备之间的光纤互连，支持不同速率和距离的传输需求：

• SFP（Small Form-factor Pluggable）：速率支持 1 Gbps，多用于千兆以太网和光纤通道。
• SFP+：支持 10 Gbps 的速率，常用于 10G 以太网和光纤通道。
• QSFP（Quad Small Form-factor Pluggable）：支持 40 Gbps，适合数据中心的高密度 40G 连接。
• QSFP+：扩展版本的 QSFP，支持 40 Gbps 和更高的速率。
• QSFP28：支持 100 Gbps 传输速率，常用于 100G 以太网。
• CFP、CFP2、CFP4：支持 100 Gbps 和 400 Gbps 的传输速率，适合长距离传输和高带宽需求的应用场景。

光模块通常在型号中包含对光纤类型的标识，以下是一些常见的标识方式：

• 单模光纤（Single Mode Fiber, SMF）：通常用 “LX”、“LR”、“ER”、“ZR” 等后缀表示。例如：
  - 10GBASE-LR：表示 10G 的单模光模块，适合长距离传输（10 公里）。
  - 100GBASE-LR4：表示 100G 的单模光模块，适合长距离传输（10 公里）。
• 多模光纤（Multi Mode Fiber, MMF）：通常用 “SX”、“SR”、“SR4” 等后缀表示。例如：
  - 10GBASE-SR：表示 10G 的多模光模块，适合短距离传输（300 米）。
  - 40GBASE-SR4：表示 40G 的多模光模块，适合数据中心的短距离传输（100 米到 400 米）。

单模和多模光纤适用的波长不同，通过模块的波长参数也可以判断支持的光纤类型：

• 多模光纤：多模光模块一般使用 850nm 波长，这是多模光纤的主要工作波长。
• 单模光纤：单模光模块一般使用 1310nm 或 1550nm 波长，这些波长适合长距离传输。

光模块上通常有标签或技术规格，产品手册和规格表也明确标注了支持的光纤类型：

• SM（Single Mode）：表示单模光纤。
• MM（Multi Mode）：表示多模光纤。

光纤传输距离规格

光纤的传输距离因光纤类型、传输速率、光源和放大器的使用而异。常见传输距离规格有：

• 短距离（SR，Short Range）：一般指 300 米内的多模光纤传输，常见于数据中心内部。
• 长距离（LR，Long Range）：支持长达 10 公里的传输，通常为单模光纤，适合城域网和数据中心间的互连。
• 超长距离（ER，Extended Range）：支持 40 公里或更长的传输，适合需要跨越多个城市的通信。
• 超远距离（ZR，Zepto Range）：支持 80 公里以上的传输，适用于跨省乃至跨国家的骨干网络。

WebODM（Web OpenDroneMap）是一款开源的软件平台，专门用于无人机图像的处理和3D建模。它基于 OpenDroneMap（ODM）构建，通过提供一个易于使用的网页界面来简化和自动化无人机图像的处理过程。WebODM 可以将无人机拍摄的影像转换为正射影像、数字地形模型（DTM）、数字表面模型（DSM）、3D模型和点云等地理信息数据，广泛应用于农业、测绘、建筑、环境监测等领域。以下是 WebODM 的主要功能和特点：

主要功能

1. 正射影像（Orthophoto）生成：

   • WebODM 可以将无人机拍摄的多张图像拼接并矫正为正射影像，这种影像消除了视角和地形的变形，适用于测绘、地理信息系统（GIS）分析等。
     

2. 数字地形模型（DTM）和数字表面模型（DSM）：

   • 生成高精度的DTM和DSM，用于分析地形变化、估算体积或进行环境建模。这些模型可以反映地面的高度信息，去除或保留地面上的物体（如建筑物和植被）。
     

3. 点云和3D建模：

   • WebODM 可以生成密集的点云数据，并通过这些点云生成3D模型，适用于测量建筑物或地形特征，以及进行体积计算、视觉效果呈现等。

4. 植被指数（如NDVI）分析：

   • WebODM 支持对多光谱图像进行分析，生成植被指数（如NDVI）。这对于农业监测、健康评估和环境分析非常有用。

5. 自动化和批处理：

   • WebODM 支持批量处理多个任务，可以自动化无人机数据的处理过程。用户可以通过其API实现自动化操作。

6. 插件和扩展性：

   • WebODM 提供插件系统，用户可以根据需求安装不同的插件（如体积计算、热成像处理等），来扩展其功能。

组成与结构化

WebODM 是一个用于无人机图像处理和地理信息生成的开源平台，其架构由多个模块和组件组成，每个模块都有特定的功能。这些模块协同工作，以完成从图像上传、处理到结果展示的全过程。以下是 WebODM 的主要组成部分和模块：

• WebODM增加了更多的功能，如用户认证、地图显示、3D显示、更高级别的API和编排多个处理节点（并行运行作业）的能力。处理节点就是运行NodeODM的服务器。
• NodeODM是直接构建在ODM之上的轻量级接口和API（应用程序接口）。不熟悉命令行的用户可以使用这个接口来处理航拍图像，开发人员可以使用API来构建应用程序。不提供用户身份验证、地图显示等功能。
• ODM是一个处理航空图像的命令行工具包。熟悉命令行的用户可能可以单独使用该组件。

Plant Health（植被健康）指数

WebODM 在只输入 RGB 图像的情况下也可以生成 “Plant Health”（植被健康）指数，虽然这种指数并不完全等同于基于多光谱数据生成的 NDVI 或其他植被指数，但它可以作为一种替代或近似的方法。这背后的原因和技术如下：

• WebODM 通过使用 RGB 图像中红、绿、蓝通道的组合，近似计算出植被健康指数。这种方法通常被称为 Visible Atmospherically Resistant Index (VARI) 或 Green Leaf Index，它们并不像 NDVI 那样依赖于红外波段，而是基于 RGB 数据来估算植被的相对健康状态。
• 这些近似植被指数的计算公式如下：
  • VARI = (G - R) / (G + R - B)
    • G、R、B 分别表示绿色、红色和蓝色通道的值。
    • 这种指数利用了 RGB 图像中的绿色和红色通道的差异来估算植被的健康程度。
• 这些方法虽然不像 NDVI 那样准确（因为 NDVI 依赖于红外光谱的反射特性），但它们仍然能够在一定程度上显示植物的相对健康状态，尤其是在绿色植被明显的区域。

单片机的基本组成部分

1. 中央处理器（CPU）：
   CPU 是单片机的核心，负责执行程序指令并进行逻辑运算。单片机的 CPU 通常是针对嵌入式控制优化的，可能是8位、16位或32位的处理器。

2. 存储器：

   • 闪存（Flash Memory）：存储程序代码的地方，掉电不丢失数据。常见的程序和固件就是存储在闪存中。
   • 随机存取存储器（RAM）：用于存储程序运行过程中需要的临时数据。掉电后数据会丢失。
   • 只读存储器（ROM）：用于存储不能修改的固化数据，某些单片机中可能会有 ROM 用来存放启动程序或预设数据。

3. 输入/输出接口（I/O）：
   单片机通常集成了多种 I/O 接口，用于与外部设备进行通信和控制，如开关、显示屏、传感器、马达等。常见的接口包括 GPIO（通用输入输出口）、串口（UART）、SPI、I²C 等。

4. 定时器/计数器：
   定时器和计数器用于时间的测量和控制，可以执行定时任务、产生时钟信号或测量外部事件的发生频率。

5. 模数转换器（ADC）/ 数模转换器（DAC）：
   在一些应用中，单片机需要处理模拟信号（如温度、光线等），ADC 将模拟信号转换为数字信号，而 DAC 则相反，将数字信号转换为模拟信号。

6. 中断系统：
   中断系统允许单片机在某些事件发生时，立即中断当前正在执行的程序，转而去处理高优先级的任务。中断机制在实时系统中非常重要。

单片机的内核架构系列

单片机（MCU）的内核架构主要有以下几种常见的系列，每种架构针对不同的应用场景和需求设计，涵盖了从低功耗、低成本到高性能的需求。以下是常见的 MCU 内核架构系列：

1. ARM Cortex 系列

ARM 是目前最广泛使用的 MCU 内核架构，尤其是在高性能嵌入式系统中。ARM Cortex 系列分为多个子系列，适用于从低功耗设备到高性能系统的各种应用。

• ARM Cortex-M 系列：专为微控制器（MCU）设计，主要应用于实时控制和嵌入式系统中。

  • Cortex-M0/M0+：超低功耗，适合电池供电的设备，如传感器、智能家居设备。
  • Cortex-M3：用于中等性能的应用，支持丰富的外设和较高的计算能力，常用于工业控制和消费电子。
  • Cortex-M4：集成了 DSP（数字信号处理）指令集，适合音频处理、运动控制等需要较强计算能力的场合。
  • Cortex-M7：高性能 MCU，适合复杂的嵌入式系统，支持 DSP 和浮点运算，常用于物联网网关、图像处理等领域。

• ARM Cortex-A 系列：为高性能应用设计，通常用于更复杂的嵌入式操作系统（如 Linux），适合智能手机、平板、复杂的物联网设备。

• ARM Cortex-R 系列：适合实时性要求非常高的应用，如汽车、医疗设备、工业控制系统等。

2. RISC-V 架构

RISC-V 是一种开源的指令集架构（ISA），近年来发展迅速，适用于各种嵌入式应用。由于其开源特性，RISC-V 在物联网、教育和创新型开发项目中越来越受欢迎。

• RISC-V 内核：灵活的架构设计，制造商可以根据具体应用定制自己的 MCU，支持从低功耗到高性能的各种设备。许多企业基于 RISC-V 开发出适合物联网、嵌入式控制等场景的 MCU。

3. AVR 架构

AVR 是 Atmel（现已被 Microchip 收购）开发的8位 RISC 架构，拥有简洁的指令集，适合初学者和一些低成本、低功耗应用。

• 8位 AVR：指令集精简、执行效率高，适合教育、DIY 项目以及简单的工业控制。常用于 Arduino 开发板。

4. PIC 架构

PIC 是 Microchip 推出的系列微控制器，架构简单易懂，涵盖了从8位到32位的 MCU，适用于各种嵌入式应用。

• 8位 PIC（PIC10/12/16/18）：低功耗，适合简单的控制任务。
• 16位 PIC（PIC24）：适用于中等复杂度的嵌入式应用。
• 32位 PIC（PIC32）：基于 MIPS 架构，适合高性能要求的嵌入式系统。

5. 8051 架构

8051 是一种经典的8位 MCU 架构，由 Intel 在1980年代开发。虽然历史悠久，但由于其简单性和广泛的生态系统，仍然在许多低功耗、低成本的嵌入式应用中使用。

• 8051 内核：许多厂商基于该架构推出了增强版的8051微控制器，集成了更多的外设和改进的性能，适合传统控制、家电、工业应用等。

6. MSP430 架构

MSP430 是由 Texas Instruments 推出的16位 MCU，专为超低功耗应用设计。该架构非常适合电池供电设备和需要长期低功耗运行的嵌入式系统。

• MSP430 内核：以超低功耗著称，应用于传感器、智能仪表、医疗设备等领域。

7. MIPS 架构

MIPS 是一种经典的 RISC 架构，在早期的嵌入式系统中应用广泛。虽然其市场份额较 ARM 等架构较小，但仍然有一些厂商使用 MIPS 架构开发 MCU。

• MIPS 内核：被 Microchip 的 PIC32 系列所采用，适合高性能嵌入式应用。

8. Tensilica Xtensa 架构

Tensilica Xtensa 是一种高度可配置的处理器架构，允许用户根据需求自定义内核结构，常用于特定应用的优化，如音频处理、网络通信等。

• Xtensa 内核：如乐鑫科技（Espressif）的 ESP32 MCU，使用了 Xtensa 内核，广泛应用于物联网、智能家居等场景。

目前市场主流的单片机系列

目前市场上主流的单片机（MCU）产品系列可以根据不同公司来划分，以下是主要的单片机厂商及其对应的产品系列：

1. STMicroelectronics（意法半导体）

• STM32 系列：基于 ARM Cortex-M 内核，是意法半导体最受欢迎的 MCU 系列，广泛用于各种嵌入式应用，从物联网设备到工业自动化。
  • STM32F 系列：高性能系列，支持浮点运算，适合工业自动化和高性能嵌入式系统。
  • STM32L 系列：超低功耗 MCU，适合可穿戴设备、智能传感器等需要低功耗的应用。
  • STM32H 系列：基于 Cortex-M7 的高性能 MCU，适用于图像处理和复杂嵌入式任务。
• STM8 系列：8位 MCU，适用于简单的嵌入式应用，如家电控制、传感器节点等。

2. NXP Semiconductors（恩智浦半导体）

• LPC 系列：基于 ARM Cortex-M 内核的 MCU，广泛应用于嵌入式系统开发。
  • LPC800 系列：基于 Cortex-M0+，适用于低功耗和低成本应用，如智能家居。
  • LPC500 系列：适合较高性能要求的应用，基于 Cortex-M4 内核，适用于复杂的嵌入式系统。
• Kinetis 系列：基于 ARM Cortex-M0+/M4 内核，广泛应用于物联网和工业控制。
• iMX RT 系列：高性能 MCU 系列，采用 ARM Cortex-M7 核心，适合需要高处理能力的应用。

3. Microchip Technology（微芯科技）

• PIC 系列：Microchip 经典的 MCU 系列，分为8位、16位和32位。
  • PIC10/12/16 系列：8位 MCU，常用于低成本、低功耗的应用，如家电控制。
  • PIC18 系列：8位高性能 MCU，适合要求较高的嵌入式系统。
  • PIC24 系列：16位 MCU，适用于中等复杂度的嵌入式应用。
  • PIC32 系列：基于 MIPS 架构的32位 MCU，适合高性能嵌入式系统，如音频处理、图像处理等。
• AVR 系列：Atmel 产品线，现由 Microchip 提供。
  • ATmega 系列：8位 MCU，常见于 Arduino 开发板，广泛应用于教育和 DIY 项目。
  • ATtiny 系列：小型、低功耗的 MCU，适合小型电子设备和传感器应用。
  • SAM 系列：基于 ARM Cortex-M 内核，适用于高性能应用。

4. Texas Instruments（德州仪器）

• MSP430 系列：超低功耗16位 MCU，广泛应用于电池供电设备，如传感器、便携设备、医疗设备等。
• Tiva C 系列：基于 ARM Cortex-M 内核的32位 MCU，适用于物联网、工业控制和通信应用。
• SimpleLink 系列：集成无线通信的 MCU 系列，支持 Wi-Fi、Bluetooth 和 Sub-1GHz，适合物联网应用。

5. Renesas Electronics（瑞萨电子）

• RX 系列：基于 Renesas 自主开发的32位内核，适用于高性能嵌入式系统，如工业自动化和汽车电子。
• RL78 系列：16位超低功耗 MCU，适用于家电控制、传感器应用等。
• RA 系列：基于 ARM Cortex-M 内核，专注于物联网和工业控制。
• RZ 系列：适用于高性能的嵌入式系统，尤其是需要处理图像、通信和数据处理的应用。

6. Espressif Systems（乐鑫科技）

• ESP8266 系列：性价比高的 Wi-Fi MCU，广泛用于物联网设备和智能家居。
• ESP32 系列：集成了 Wi-Fi 和 Bluetooth，适用于物联网、智能家居、可穿戴设备等广泛应用。

7. Silicon Labs（芯科实验室）

• EFM32 Gecko 系列：超低功耗 MCU，基于 ARM Cortex-M 内核，适合电池供电和物联网应用。
• Wireless Gecko 系列：支持无线通信（如 Zigbee、Bluetooth）的 MCU，适用于物联网设备和智能家居应用。

8. Cypress Semiconductor（赛普拉斯半导体，现属于英飞凌）

• PSoC 系列：可编程片上系统 MCU，集成了模拟和数字外设，适用于工业、消费电子等领域。
• FM 系列：基于 ARM Cortex-M 内核的 MCU，适用于工业控制、汽车电子和家电。

9. Raspberry Pi（树莓派）

• RP2040 系列：树莓派基金会推出的低成本 MCU，基于双核 ARM Cortex-M0+ 内核，适用于教育和 DIY 项目。

10. Nordic Semiconductor

• nRF 系列：专注于低功耗无线通信 MCU，广泛用于物联网、可穿戴设备和蓝牙应用。
  • nRF51 系列：基于 ARM Cortex-M0，适用于低功耗蓝牙应用。
  • nRF52 系列：基于 ARM Cortex-M4，支持蓝牙、Thread 和 Zigbee。

目前市场主流的 IDE

目前市场上主流的单片机编程平台有多种，这些平台通常提供了集成开发环境（IDE）和库支持，帮助开发者进行快速开发。以下是主要的单片机编程平台及其支持的单片机芯片：

1. Arduino IDE

• 特点：开源、跨平台（Windows、macOS 和 Linux），适合初学者，界面简单易用，拥有大量的库和社区支持。
• 支持的单片机：
  • AVR 系列（Atmel，现为 Microchip）：如 ATmega328P（Arduino UNO）、ATmega2560（Arduino Mega）。
  • ARM Cortex-M 系列：如 ATSAMD21（Arduino Zero）和 ATSAM3X8E（Arduino Due）。
  • ESP 系列（Espressif）：如 ESP8266 和 ESP32，适用于物联网应用。
  • Raspberry Pi RP2040：如 Raspberry Pi Pico。
  • 其他：通过安装第三方核心文件，Arduino IDE 还支持 STM32、TI 的 MSP430 等。

2. STM32CubeIDE（STMicroelectronics）

• 特点：集成了 STM32CubeMX 和 Eclipse，支持图形化配置外设和生成代码，专为 STM32 微控制器开发。
• 支持的单片机：
  • STM32 系列：所有基于 ARM Cortex-M0、M3、M4、M7 的 STM32 微控制器，如 STM32F0、STM32F4、STM32F7 等系列。
• 功能：提供了图形化外设配置工具（STM32CubeMX），自动生成初始化代码，支持丰富的调试和分析工具，适合从入门到高端开发者。

3. ESP-IDF（Espressif）

• 特点：Espressif 提供的官方开发框架，针对 ESP8266 和 ESP32 进行了优化，支持 FreeRTOS，多任务和实时系统开发。
• 支持的单片机：
  • ESP 系列：ESP8266、ESP32、ESP32-S、ESP32-C 系列。
• 功能：支持 Wi-Fi、蓝牙、OTA（空中升级）、安全和低功耗管理，广泛应用于物联网设备开发。

4. PlatformIO

• 特点：一个多功能、跨平台的集成开发环境，支持多种单片机平台和开发板，基于 Visual Studio Code 或 CLion，支持大量框架。
• 支持的单片机：
  • AVR 系列：如 ATmega328P、ATmega2560 等。
  • ARM Cortex-M 系列：如 STM32、SAMD21、LPC 系列。
  • ESP 系列：ESP8266 和 ESP32。
  • RISC-V 系列：如 SiFive 和 GigaDevice 的 RISC-V 微控制器。
  • 其他：支持 900 多种开发板，包括 Teensy、Raspberry Pi Pico、Nordic nRF 系列等。
• 功能：集成了丰富的库管理工具、调试工具和自动化测试支持，适合专业开发者使用。

5. Keil MDK（Microcontroller Development Kit）

• 特点：高性能、广泛用于工业和商业开发，提供丰富的调试和优化工具，适用于 ARM Cortex-M 内核单片机。
• 支持的单片机：
  • ARM Cortex-M 系列：如 STM32、NXP LPC、TI Tiva C 系列等。
  • 8051 系列：如 Intel MCS-51、Silicon Labs C8051。
  • 其他：通过安装对应的包，还可以支持多种其他架构。
• 功能：集成调试器、编译器和分析工具，支持 RTOS 和高级优化，是 ARM Cortex-M 开发的主流选择。

总结

在选择单片机和开发平台时，关键在于综合考虑项目需求、开发效率、平台生态系统、硬件性能和可用资源等多个因素。以下是一些具体建议，帮助你在实际开发中选择最合适的单片机和开发平台：

1. 项目需求

根据你的项目具体要求，选择适合的单片机和开发平台：

• 物联网（IoT）和无线通信：如果你的项目涉及无线通信，如 Wi-Fi 或蓝牙，那么 ESP32 或 Nordic nRF52 系列 是不错的选择。它们都支持低功耗的无线通信，并且配套的开发平台（如 ESP-IDF 或 nRF Connect SDK）能够快速实现网络连接和设备间的通信。
• 低功耗应用：对于需要电池供电的项目，MSP430 系列 或 STM32L 系列 是理想的选择。配套的 Code Composer Studio（MSP430）和 STM32CubeIDE（STM32L 系列）提供丰富的低功耗管理功能。
• 高性能和实时性要求：如果你需要高性能的嵌入式控制系统，如电机控制或实时数据处理，那么 STM32F4/F7 系列 或 TI C2000 系列 是不错的选择，开发平台如 STM32CubeIDE 或 Code Composer Studio 适合此类复杂的嵌入式任务。

2. 开发生态系统

一个强大、成熟的开发生态系统会极大提高开发效率：

• Arduino 平台：如果你需要快速原型开发或刚入门，Arduino 是最方便的选择之一。它具有简单的编程接口、丰富的库和强大的社区支持，尤其适合小型项目、DIY、教育类应用。常见的开发板如 Arduino UNO 或 ESP32 在 Arduino IDE 上支持。
• PlatformIO：对于跨平台、多项目的开发者来说，PlatformIO 是一个非常灵活的工具。它支持大量的硬件平台（如 STM32、ESP32、AVR），并且通过 VSCode 提供现代化的开发体验，适合需要频繁切换硬件平台的开发者。
• STM32CubeIDE：如果你的项目复杂，涉及多个外设和实时控制需求，STM32 的生态系统（STM32CubeMX、STM32CubeIDE）具有强大的外设配置和调试工具，适合需要控制复杂硬件的开发者。

3. 硬件性能

根据性能需求选择合适的单片机：

• 8位/16位单片机：如果你的项目对性能要求不高（如简单的传感器读写、LED 控制等），8位或16位单片机（如 AVR 系列或 PIC16 系列）已经足够，并且它们的开发工具（如 Arduino IDE 或 MPLAB X IDE）非常简单易用。
• 32位单片机：如果你的项目需要更多的处理能力、存储和外设控制，32位单片机（如 STM32、ESP32、PIC32）是更好的选择。对于这类复杂的项目，配套的开发环境如 STM32CubeIDE、ESP-IDF 提供的外设配置工具和调试功能能极大提高开发效率。

4. 社区和库支持

选择一个拥有活跃社区和丰富库资源的平台，可以减少开发中的许多重复工作：

• Arduino：如果你希望快速找到丰富的开源库来实现各种功能（如传感器接口、无线通信、显示屏驱动等），Arduino 是最理想的平台。许多复杂的功能都可以通过下载现成的库来实现，适合需要快速开发原型的项目。
• STM32CubeMX：对于工业级和商业应用，STM32 的生态系统提供了官方库和中间件（如 USB、以太网栈、文件系统等），并且文档齐全，适合更严谨和专业的项目。

5. 开发平台的调试与工具链支持

强大的调试功能是开发高效的关键之一：

• Keil MDK 或 IAR Embedded Workbench：如果你的项目需要深入调试和优化，这些商业级的开发平台提供了强大的调试工具，能够帮助你找到代码中的问题并进行性能优化。它们常用于 STM32、ARM Cortex-M 和 PIC 系列的开发，适合对质量要求极高的工业项目。
• ESP-IDF：如果你选择使用 ESP 系列进行物联网开发，ESP-IDF 提供了强大的调试和网络通信工具，支持多线程、低功耗和 OTA（空中升级），是物联网项目的理想选择。

6. 入门难度与学习曲线

如果你是开发初学者或者项目时间紧急，可以考虑使用简单易上手的平台：

• Arduino IDE：对初学者最为友好，只需要基础的编程知识即可快速开发功能丰富的项目，支持大量开源硬件和模块。
• PlatformIO：虽然稍微复杂一些，但其插件式的架构和 VS Code 的集成开发体验使得它非常灵活，适合稍有经验的开发者。

综合建议：

• 如果你是初学者或需要快速原型，可以选择 Arduino 平台 配合 Arduino UNO、ESP32 等主流开发板。简单的编程环境和丰富的库可以让你快速上手。
• 如果你的项目涉及物联网或无线通信，选择 ESP32 或 Nordic nRF52 系列，这类芯片专注低功耗和无线通信，配合 ESP-IDF 或 nRF Connect SDK 开发平台可以实现快速部署。
• 如果你的项目复杂度较高，涉及多外设和高性能需求，建议选择 STM32 系列（如 STM32F4/F7）配合 STM32CubeIDE，这是一个成熟的工业级开发生态系统，支持丰富的硬件资源和调试工具。
• 如果需要高效跨平台开发，选择 PlatformIO 配合主流单片机（如 STM32、ESP32 等），能够灵活适应不同项目需求并保持高效开发流程。

最终的选择取决于你的项目规模、性能需求、时间成本和硬件平台的熟悉程度。

安装 Spinnaker

Spinnaker SDK的下载地址：Link，其中提供了所有的系统版本（WIN、ARM、AMD），注意如果是Ubuntu要和系统版本对应。

安装之前首先确认依赖：

sudo apt-get install libusb-1.0-0

在下载并解压后，可以找到 install_spinnaker.sh 这个文件，然后在其路径下打开终端，输入

sudo sh install_spinnaker.sh

安装提示安装即可。

问题总结

但是如果出现了使用软件无法检测到相机时可能是用户名没有加入flirimaging组，可以在终端运行这个命令:

usermod -a -G flirimaging exampleuserid

如果相机已经连接，但无法被程序访问，可能是由于权限问题。可以通过以下步骤修复权限：

创建或修改 sudo nano /etc/udev/rules.d/40-flir.rules 文件。添加以下内容（替换 <vendor_id> 和 <product_id> 为你的相机的实际 ID，可以通过 lsusb 获得）：

SUBSYSTEM=="usb", ATTR{idVendor}=="<vendor_id>", ATTR{idProduct}=="<product_id>", MODE="0666"

运行 sudo udevadm control --reload-rules 并重新插拔设备。

如果相机可以检测到，但是图像无法显示，则是由于图像大小大于2mb时，传输失败。建议将USBFS值增加到1000。使用如下命令查看usbfs_memory_mb大小:

cat /sys/module/usbcore/parameters/usbfs_memory_mb

如果没有成功，可以执行

sudo sh configure_usbfs.sh

安装 ROS 驱动包

同样首先安装依赖支持：

sudo apt install ros-noetic-camera-info-manager ros-noetic-diagnostic-updater ros-noetic-dynamic-reconfigure ros-noetic-image-exposure-msgs ros-noetic-image-transport ros-noetic-nodelet ros-noetic-roscpp ros-noetic-sensor-msgs ros-noetic-wfov-camera-msgs

接下来就是拉取包正常的安装过程：

cd ~/catkin_ws/srcgit clone -b noetic-devel https://github.com/ros-drivers/flir_camera_driver.gitcd ~/catkin_wscatkin_make

启动

相机本身自己有一个8位的id号，在相机的下部。这个id号要填到启动文件中

camera_serial

启动驱动

roslaunch spinnaker_camera_driver camera.launch

实时查看图像

rqt_image_view

可以通过rqt_reconfigure tool来对参数适时调整

rosrun rqt_reconfigure rqt_reconfigure

如果需要实现外部触发，可以在源文件中加入：

<arg name="enable_trigger"                default="On" /><param name="enable_trigger"          value="$(arg enable_trigger)" />

时间系统概述

ROS中有两种主要的时间概念：

• Wall Time（墙钟时间）：基于系统时钟，反映实际的时间。适用于大多数需要实际时间戳的场景。
• ROSTime（ROS时间）：可以被模拟器和仿真器控制，用于仿真环境中。可通过暂停、快进、慢放等方式操控时间流逝。

时间类型

ROS提供了三个主要的时间相关数据类型：

• ros::Time：表示时间点，支持wall time和ROS time两种模式。
• ros::Duration：表示时间段。
• ros::Rate：控制循环频率，确保循环以固定的时间间隔执行。

在ROS中，时间的格式主要有两种：秒（seconds）和纳秒（nanoseconds）。以下是详细介绍。

ros::Time类型表示一个具体的时间点，包含两个字段：

class Time {public:    uint32_t sec;  // 秒    uint32_t nsec; // 纳秒};

时间戳

时间戳在ROS中通常用来标记消息的生成时间。在消息定义中，常包含一个std_msgs/Header，其中Header结构有一个时间戳字段：

std_msgs/Header headeruint32 seqtime stampstring frame_id

stamp字段就是一个时间戳，表示消息生成的具体时间点。

时间戳的生成

时间戳可以通过ros::Time类来生成。通常，时间戳在消息生成时获取当前时间：

#include <ros/ros.h>#include <std_msgs/String.h>void generateMessage() {    std_msgs::String msg;    msg.header.stamp = ros::Time::now();  // 获取当前时间作为时间戳    msg.header.frame_id = "base_link";    // 设置坐标系    msg.data = "Hello, world!";    // 发布消息...}

时间戳的格式

时间戳在ROS中以秒和纳秒表示。ros::Time类包含两个主要字段：

class Time {public:    uint32_t sec;  // 秒    uint32_t nsec; // 纳秒};

基准时间的获取

在ROS中，时间的准确性和同步性对于多机器人系统、传感器数据同步和控制系统至关重要。PTP（Precision Time Protocol，精密时间协议）是一种用于同步计算机网络中时钟的协议，它提供了比NTP（Network Time Protocol，网络时间协议）更高的精度。

1. 精密时间协议（PTP）

PTP是一种用于网络设备间时间同步的协议，常用于需要高精度时间同步的场景，例如金融交易、工业控制和电信领域。

PTP的特点

• 高精度：PTP可以实现亚微秒级的时间同步，远高于NTP的毫秒级。
• 硬件支持：许多高端网络设备（如交换机、网卡）直接支持PTP，进一步提高了同步精度。
• 层级结构：PTP使用主从架构，一个主时钟（Grandmaster）和多个从时钟（Slave），通过时间戳消息进行同步。

PTP在ROS中的应用

在ROS中，使用PTP进行时间同步可以确保多机器人系统或分布式传感器的时间一致性。

配置PTP

1. 安装PTP工具：大多数Linux系统可以使用ptpd或phc2sys等工具进行PTP配置。

   sudo apt-get install ptpd

2. 配置PTP守护进程：编辑/etc/ptpd.conf或使用命令行参数配置PTP。

   sudo ptpd -M -i eth0 -f /etc/ptpd.conf

3. 启动PTP守护进程：

   sudo systemctl start ptpd

4. 验证同步状态：使用ptp4l或pmc工具检查PTP同步状态。

   sudo ptp4l -i eth0 -m

2. 网络时间协议（NTP）

NTP是一种常见的时间同步协议，广泛用于Internet和局域网中。

NTP的特点

• 广泛支持：几乎所有的操作系统和网络设备都支持NTP。
• 中等精度：通常可以达到毫秒级别的同步精度。
• 分层结构：NTP服务器分层次工作，最顶层是Stratum 1服务器，与原子钟或GPS同步。

NTP在ROS中的应用

NTP适用于大多数需要时间同步的ROS应用，尤其是时间精度要求不高的场景。

配置NTP

1. 安装NTP客户端：

   sudo apt-get install ntp

2. 配置NTP服务器：编辑/etc/ntp.conf文件，添加NTP服务器地址。

   server ntp.ubuntu.com

3. 启动NTP服务：

   sudo systemctl start ntp

4. 检查同步状态：

   ntpq -p

3. 本地系统时间

在ROS中，默认使用本地系统时间（Wall Time）。在不需要高精度时间同步的单机应用中，使用本地系统时间即可。

获取本地系统时间

ros::Time now = ros::Time::now();  // 获取当前时间

设置与使用

初始化与当前时间获取

ros::Time::init(); // 初始化时间系统ros::Time now = ros::Time::now(); // 获取当前时间

创建时间与持续时间对象

// 创建具体时间点ros::Time t1(10.5); // 表示10.5秒ros::Time t2 = ros::Time::now(); // 当前时间// 创建时间段对象ros::Duration d1(5.0); // 5秒ros::Duration d2 = t2 - t1; // 两个时间点之间的差值

时间操作

ros::Time t3 = t1 + d1; // 时间加上持续时间ros::Duration d3 = t2 - t1; // 两个时间点的差值

使用Rate控制频率

ros::Rate loop_rate(10); // 10Hz的循环频率while (ros::ok()) {    // 循环体    loop_rate.sleep(); // 休眠以维持循环频率}

模拟时间

在仿真环境中（如使用Gazebo），需要使用模拟时间。可以在启动文件中启用模拟时间：

<param name="use_sim_time" value="true"/>

使用rospy时，类似的设置：

import rospyrospy.init_node('my_node')rospy.set_param('use_sim_time', True)

时间转换与比较

if (t1 < t2) {    // t1早于t2}ros::Duration duration = t1 - t2; // 时间差ros::Time future_time = t1 + ros::Duration(10); // 未来时间

显式表示方法直接存储三维形状的表面信息，通常通过顶点、边和面的集合来描述。以下是一些常见的显式表示方法：

1. 多边形网格（Polygon Mesh）：

   • 描述：通过顶点、边和面来表示形状的表面，最常见的是三角网格。
   • 优点：直观且易于渲染，广泛应用于计算机图形学。
   • 应用：三维建模、动画、游戏、虚拟现实。

2. 点云（Point Cloud）：

   • 描述：通过一组三维坐标点来表示形状的表面。
   • 优点：简单且直接，可以从激光扫描或深度相机中获取。
   • 应用：三维扫描、环境感知、SLAM（同时定位与地图构建）。

3. 体素网格（Voxel Grid）：

   • 描述：通过三维空间中的离散体素来表示形状，类似于三维像素。
   • 优点：适合表示体积数据，易于进行布尔运算和体积测量。
   • 应用：医学成像（如CT、MRI）、物理模拟。

4. 边界表示（Boundary Representation, B-Rep）：

   • 描述：通过边界曲面和边界线来表示形状。
   • 优点：精确表示复杂几何形状，常用于CAD（计算机辅助设计）。
   • 应用：机械设计、建筑设计。

5. 参数化曲面（Parametric Surface）：

   • 描述：通过参数方程来表示曲面，如Bezier曲面、NURBS（非均匀有理B样条）等。
   • 优点：能够精确控制曲面的形状和光滑度。
   • 应用：工业设计、汽车制造、动画制作。

隐式表示方法

隐式表示方法使用数学函数或神经网络来间接描述三维形状，而不是直接存储形状的表面信息。以下是一些常见的隐式表示方法：

1. 带符号距离函数（Signed Distance Function, SDF）：

   • 描述：SDF通过一个标量场来表示，每个点的值是其到最近表面的距离，带符号表示在表面内外。
   • 优点：能够平滑地表示复杂的几何形状，适合处理拓扑变化。
   • 应用：三维重建、碰撞检测、流体模拟。

2. 截断带符号距离函数（Truncated Signed Distance Function, TSDF）：

   • 描述：TSDF是SDF的一种变体，通过截断距离值来减少计算复杂度和存储需求。
   • 优点：适合用于实时三维重建和融合多视角数据。
   • 应用：实时三维重建（如KinectFusion）。

3. 神经隐式表示（Neural Implicit Representation）：

   • 描述：使用神经网络（如多层感知器，MLP）来学习和表示三维形状，输入为坐标点，输出为该点的属性（如SDF值、密度值等）。
   • 优点：能够表示非常复杂的几何结构，并且具有良好的泛化能力。
   • 应用：DeepSDF、NeRF（Neural Radiance Fields）等。

4. 二元空间分割树（Binary Space Partitioning, BSP）：

   • 描述：通过递归地将空间划分为两部分来表示形状。
   • 优点：适合表示布尔运算的结果，如并集、交集、差集。
   • 应用：计算机图形学中的布尔操作。

带符号距离函数（Signed Distance Function, SDF）

带符号距离函数（Signed Distance Function, SDF）是一种用于表示三维几何形状的方法，通过定义三维空间中每个点到最近表面的距离来描述物体的形状。SDF的值带有符号，以表示点在物体表面内外的位置。以下是对SDF的详细介绍：

SDF的定义和基本概念

1. 距离函数：

   • SDF定义了空间中每个点 ( p ) 到物体表面最近点的距离$d(p)$。
   • 符号 ( s ) 表示距离的正负号：
     • $s > 0$ 表示点在表面外部。
     • $s < 0$ 表示点在表面内部。
     • $s = 0$ 表示点在表面上。

2. 数学表示：

   • 对于给定点$p$，SDF函数 $\phi(p)$表示为：

$$\phi(p) = \begin{cases} -\text{dist}(p, \partial \Omega) & \text{if } p \in \Omega \\ +\text{dist}(p, \partial \Omega) & \text{if } p \notin \Omega \end{cases}$$

其中 $\Omega$ 是物体的内部，$\partial \Omega$ 是物体的表面，$\text{dist}(p, \partial \Omega)$ 是点 $p$ 到最近表面的距离。

SDF的计算和表示

1. 体素网格表示：

   • 空间被离散化为一个三维体素网格，每个体素存储一个SDF值。
   • 这种方法易于实现和计算，但需要较大的存储空间。

2. 连续函数表示：

   • 使用数学函数（如多项式、分段函数）或神经网络来表示SDF。
   • 这种方法可以减少存储需求，并且在某些情况下可以提供更高的精度。

截断带符号距离函数（Truncated Signed Distance Function, TSDF）

截断带符号距离函数（Truncated Signed Distance Function, TSDF）是一种用于三维重建和表示的方法，通过存储每个体素（voxel）到最近表面的距离及其符号，来描述三维空间中的物体表面。TSDF在计算带符号距离函数（Signed Distance Function, SDF）的基础上引入了截断距离的概念，以提高计算效率和减少存储需求。以下是对TSDF的详细介绍：

1. TSDF的基本概念

定义：

• TSDF通过存储每个体素到最近表面的带符号距离来描述三维形状。
• 距离值带有符号，正值表示点在表面外部，负值表示点在表面内部，零值表示点在表面上。

截断距离：

• 为了减少计算复杂度和存储需求，TSDF对距离值进行截断。
• 设定一个最大截断距离值 $\mu$，所有大于 $\mu$ 或小于$-\mu$ 的距离值将被截断为$\mu$ 或$-\mu$。

2. TSDF的计算方法

初始化体素网格：

• 创建一个三维体素网格，每个体素存储一个TSDF值，初始值通常设为正的截断距离 $\mu$。

深度图更新：

• 使用多个视角的深度图来更新体素网格中的TSDF值。每个深度图提供了一视角下的物体表面距离信息。

距离计算和截断：

• 对于深度图中的每个像素，通过射线投影找到对应的体素，并计算该体素中心到表面的距离。
• 根据距离值和符号更新体素的TSDF值：

$$\phi(p) = \begin{cases} \mu & \text{if } d(p) > \mu \\ -\mu & \text{if } d(p) < -\mu \\ d(p) & \text{if } -\mu \leq d(p) \leq \mu \end{cases}$$

其中，$d(p)$ 是点 $p$ 到最近表面的实际距离。

神经隐式表示（Neural Implicit Representation）

神经隐式表示（Neural Implicit Representation）是一种使用神经网络来表示和生成三维几何形状的方法。与传统的显式表示方法（如多边形网格、体素网格）不同，神经隐式表示使用神经网络的连续函数来隐式地描述形状。这种方法近年来在计算机图形学和计算机视觉领域取得了显著的进展。以下是对神经隐式表示的详细介绍：

基本概念

神经隐式表示的核心思想是使用神经网络来学习一个隐式函数，该函数能够为给定的三维空间点提供该点的某种属性，例如带符号距离函数（SDF）值、密度值或颜色值。

1. 输入：

   • 三维坐标点 ((x, y, z))

2. 输出：

   • SDF值：该点到最近表面的带符号距离。
   • 密度值：该点的密度或物体存在的概率（用于体积渲染）。
   • 颜色值：该点的颜色信息（用于光线追踪和渲染）。

神经隐式表示的类型

1. 带符号距离函数（SDF）表示：
   • 使用神经网络学习SDF，输入为三维坐标点，输出为该点的SDF值。
   • 适用于精确表示物体的几何形状。

2. 体素表示（Volumetric Representation）：

   • 使用神经网络学习体素密度，输入为三维坐标点，输出为该点的密度值。
   • 适用于体积渲染和物体存在概率表示。

3. 辐射场表示（Neural Radiance Fields, NeRF）：

   • 使用神经网络学习三维空间中的颜色和密度分布，输入为三维坐标点和视角方向，输出为该点的颜色和密度。
   • 适用于真实感渲染和光线追踪。

实现方法

1. 神经网络架构：

   • 常用的网络架构是多层感知器（MLP），具有输入层、多个隐藏层和输出层。
   • 输入层接收三维坐标点，隐藏层通过非线性激活函数处理数据，输出层生成目标属性值。

2. 训练数据：

   • 采集用于训练的三维点和对应的目标值（如SDF值、密度值或颜色值）。
   • 数据来源可以是实际扫描的点云、深度图、图像等。

3. 损失函数：

   • 根据具体任务设计损失函数，用于衡量网络输出与真实值之间的差异。
   • 常用的损失函数包括均方误差（MSE）、交叉熵损失等。

4. 训练过程：

   • 使用梯度下降等优化算法，最小化损失函数，调整神经网络的参数。
   • 迭代训练直至网络收敛，能够准确预测三维点的属性值。

优点

1. 连续表示：

   • 神经隐式表示提供了一种连续的形状表示方法，能够精确描述复杂的几何形状。
   • 不依赖于离散网格，避免了分辨率限制问题。

2. 高效存储：

   • 通过神经网络参数表示形状，存储需求远小于传统的显式表示方法（如网格或体素）。

3. 良好的泛化能力：

   • 神经网络具有良好的泛化能力，能够在训练数据之外的区域生成合理的形状。

挑战和局限

1. 训练时间：

   • 训练神经网络可能需要大量的计算资源和时间，尤其是处理复杂的三维数据时。

2. 依赖数据质量：

   • 神经隐式表示的效果高度依赖于训练数据的质量和覆盖范围。

3. 实时性：

   • 实时应用中的推理速度可能受到网络复杂性的限制，需要优化和加速技术。

Ref：
3D 形状和场景的神经隐式表示

域名是互联网上任何一个网站的网络地址，它使我们能够访问各种网站资源。域名的设计旨在便于人们记忆，而不必记住复杂的数字序列（即IP地址），并通过网域名称系统（DNS，Domain Name System）来将域名和IP地址相互映射，使人更方便地访问互联网，而不用去记住能够被机器直接读取的IP地址数串。

域名的结构

1. 顶级域名（TLD）：域名的最右部分，例如“.com”、“.org”和“.net”等
2. 二级域名：顶级域名左边的部分，通常是公司或组织的名称，例如在“google.com”中，“google”就是二级域名。
3. 子域名：位于二级域名前的可选部分，如“mail.google.com”中的“mail”。

备案

一级域名在国内需要备案，而二级域名不需要单独备案，只要它所处的一级域名已经备案，就能直接解析。

一般网站只用到顶级域名即可，有时候一个网站系统比较庞大，那么就可能使用多个域名，如果去申请多个域名肯定不划算，这个时候，使用已申请的一个域名的二级域名的处理方式就应运而生。

比如百度买下了baidu.com这一顶级域名，将baidu.com绑定了一个地址，map.baicu.com、music.baicu.com也绑定到了各个地址，不用单独花钱，只是购买了baidu.com这一个顶级域名

SSL

SSL（Secure Sockets Layer）是一种用于在网络上建立安全连接的协议。它已经被其继任者TLS（Transport Layer Security）所取代，但人们常常仍然使用“SSL”来指代这类协议。以下是SSL的主要功能和概念：

主要功能

1. 数据加密：SSL通过加密算法确保数据在传输过程中不被窃听或篡改。这意味着即使数据被截获，攻击者也无法读取其内容。

2. 数据完整性：SSL使用校验和和哈希函数来确保数据在传输过程中没有被篡改。如果数据被修改，接收方会检测到并丢弃这些数据。

3. 身份验证：SSL使用数字证书来验证服务器和客户端的身份。数字证书由权威的证书颁发机构（CA）颁发，确保连接的一方是它声称的那一方。

SSL/TLS 连接过程

1. 握手阶段：

   • 客户端向服务器发送请求，并包含客户端支持的加密算法列表。
   • 服务器从中选择一个加密算法，并向客户端发送数字证书。
   • 客户端验证服务器证书的有效性。
   • 客户端生成一个随机数，并使用服务器的公钥加密该随机数，然后发送给服务器。
   • 服务器使用自己的私钥解密随机数，从而生成会话密钥。

2. 加密通信：

   • 双方使用会话密钥对通信数据进行加密和解密，确保数据在传输过程中保密。

获取和使用SSL证书

1. 选择证书类型和供应商：根据网站需求选择合适的证书类型和供应商，例如Let’s Encrypt（免费）或商业证书供应商。
2. 生成证书签名请求（CSR）：在服务器上生成CSR文件，包含公钥和域名信息。
3. 提交CSR并获取证书：将CSR提交给证书颁发机构，经过验证后获取SSL证书。
4. 安装证书：将SSL证书安装到服务器上，并配置服务器使用该证书进行加密通信。

Let’s Encrypt 使用

将Let’s Encrypt与Nginx结合使用，以下是完整的步骤和修改后的Nginx配置：

步骤 1: 安装Certbot和Nginx插件

在基于Debian/Ubuntu的系统上，使用以下命令安装Certbot和Nginx插件：

sudo apt updatesudo apt install certbot python3-certbot-nginx

步骤 2: 使用Certbot获取SSL证书并自动配置Nginx

使用Certbot获取Let’s Encrypt证书并自动配置Nginx。以下命令会获取证书并修改Nginx配置以启用HTTPS：

sudo certbot --nginx -d zhengyu.tech

步骤 3: 验证配置并重启Nginx

Certbot会自动修改你的Nginx配置文件以启用HTTPS。以下是修改后的Nginx配置文件示例：

# 具体打开自己的会有注明 managed by Certbot

步骤 4: 重启Nginx

sudo systemctl restart nginx

步骤 5: 自动续期

Certbot会自动设置续期任务。你可以通过以下命令检查自动续期是否正常工作：

sudo certbot renew --dry-run

以上步骤完成后，你的Nginx服务器将使用Let’s Encrypt的SSL证书来提供HTTPS服务，并自动续期证书。

Jetson 系列的板子上都搭载了40pin接口用于实现对外通讯与控制，通常直接通过 Jetson.GPIO 库即可实现编程。

但是如果要在 Jetson 中使用硬件 PWM，则需要修改 Pinmux 表来多路复用。Jetpack 提供了一个名为 jetson-io 的工具，它允许创建和更新可以使用 PWM 的 dtb。

首先，在 Jetson 终端中运行以下命令：

sudo /opt/nvidia/jetson-io/jetson-io.py

从菜单中，选择 Configure Jetson 40pin Header > Configure header pins manually ， pwm1（15） 和 pwm5（18）选择并 Back， Save pin changes ，Save and reboot to reconfigure pins，按下任意键后重启，即可完成设置。

Python PWM 编程

import Jetson.GPIO as GPIOimport timePWM_PIN = 18GPIO.setwarnings(False)GPIO.setmode(GPIO.BOARD)GPIO.setup(PWM_PIN, GPIO.OUT)pwm = GPIO.PWM(PWM_PIN, 5)  # 设置输出pin与频率为50Hzpwm.start(1)   # 开启PWM输出，并设置占空比为50%while True:    time.sleep(1)    print("hello, pwm")    pwm.stop()GPIO.cleanup()

下图是输出的波形图，

问题

描述1：在执行sudo /opt/nvidia/jetson-io/jetson-io.py后并没有文字显示或乱码。

解决1：放终端窗口放大，小窗口可能会导致其显示出问题。

描述2：在执行sudo /opt/nvidia/jetson-io/jetson-io.py后进入了界面，但是突然闪退，而且重启后依旧。

解决2：问题极大可能是前面的设置时候没有保存好导致了文件冲突。执行：

cd /opt/nvidia/jetson-iosudo python config-by-pin.py -p 5

这时候会出现报错：

RuntimeError: Multiple DT overlays for 'Jetson 40pin Header' found!Please remove duplicate(s)/boot/tegra234-p3737-0000-p3701-0000-hdr40.dtbo/boot/kernel_tegra234-p3701-0000-p3737-0000-hdr40-user-custom.dtbo

原因是系统中存在多个设备树叠加（DTBO）文件，它们都针对同一个硬件组件——“Jetson 40pin Header”。错误消息明确指出了存在多个DTBO文件。

所以，直接将其中user-custom的文件删除即可。

Ref：
官方文档配置

Mosaic-X5支持多个全球导航卫星系统，包括 GPS、GLONASS、Beidou、Galileo和NavIC，具备实时动态（RTK）能力，可作为基站或漫游器使用，实现极高的位置精度。此外，mosaic-X5 还具备内置网络服务器，通过USB接口访问，兼容第三方软件，无需编程即可操作，提供了数据记录和PPS输出功能。

参数指标如下：

• RTK Accuracy（使用固定基站的校正数据）
  • Horizontal: 0.6cm (±0.5ppm)
  • Vertical: 1cm (±1ppm)
• DGNSS Accuracy（差分全球导航卫星系统，通过比较两个接收器的信号来减少误差）
  • Horizontal: 40cm
  • Vertical: 70cm
• SBAS Accuracy（基于卫星的增强系统，通过额外的卫星信号和地面站提供的校正信息）
  • Horizontal: 60cm
  • Vertical: 80cm
• Standalone Accuracy（单独使用GNSS接收器进行定位，不依赖外部校正信号）
  • Horizontal: 1.2m
  • Vertical: 1.9m
• Time to Fix
  • Cold Start: < 45s
  • Warm: < 20s
  • Reacquisition: 1s
• Timing Precision: 5ns
• Update Rate: 100Hz
• Latency: < 10ms
• GNSS Support
  • GPS: L1C/A, L1PY, L2C, L2P, L5
  • GLONASS: L1CA, L2CA, L2P, L3 CDMA
  • Beidou: B1I, B1C, B2a, B2b, B2I, B3
  • Galileo: E1, E5a, E5b, E5 AltBoc, E6
  • QZSS: L1C/A, L1 C/B, L2C, L5
  • NavIC: L5
  • SBAS: Egnos, WA

连接配置方法

Mosaic-X5 提供了多样的连接配置方法，包括：USB-C连接后通过网页配置、USB-C连接后通过Rxtool软件配置、USAT串口指令配置。其中最常用的是可视化的网页配置，最为简单。接下来介绍网页配置方法。

当 Mosaic-X5 模块最初连接到计算机时，该板将初始化为 USB 大容量存储设备。其中包括了重要的 USB 驱动固件。

安装 USB 驱动程序后，此接口将支持 Ethernet-over-USB，默认情况下，Win下不允许接收器通过 USB 访问 Internet，而 Ubuntu 下则可以直接访问，不需要安装任何驱动程序。

完成驱动安装后，通过网页即可访问分配给 Ethernet-over-USB 接口的 IP 地址：192.168.3.1。这里可视化的包含了所有当前状态信息与需要配置选项。

共享 Internet 访问

默认情况下，mosaic-X5 GNSS 接收器未配置为通过 USB 接口访问互联网。为了向 RTK 网络（如 NTRIP）接收或投射 RTK 校正，用户需要启用功能。

需要使用 Web 界面启用导航选项卡的 Communication > USB 下拉菜单。将 Outgoing Internet Access Over USB 状态选择为 on，并保存设置。

然后通过允许在计算机上进行 Internet 共享。执行此操作的过程取决于操作系统。

Windows

通过 控制面板 -> 网络和 Internet -> 网络连接。并将当前的网络分享分享给USB网口。

启用网桥后，接收方将从计算机的 DHCP 服务器接收其 IP 地址。根据路由表，可能无法再通过其默认 IP 地址 （192.168.3.1） 访问模块。

接下来通过 CMD终端输入 arp -a，找到分配到的IP地址，并再次通过网页访问。注意，如果在分享后还是相同的IP地址 （192.168.3.1） ，则可能没有成功。

Ubuntu

在 Ubuntu 中，打开 网络，选择 USB以太网后的小齿轮，将 IPv4 下的方式配置为 与其他计算机共享。其他操作与上面相同。

RTK 校正设置

这里设置通过互联网接收来自第三方服务的 RTK 校正。

首先将 GNSS -> Position -> Position Mode 设置为 Rover

在将 Corrections -> NTRIP 中新建 New NTRIP clinet，正确填写保存后即可使用

启用 L5 频段

mosaic-X5 能够使用该频段。不过，在 GPS 网络中，该服务尚未完全投入使用，需要对 mosaic-X5 进行配置，以启用该频段。

首先，通过下拉菜单导航到 Admin > Expert Control > Control Panel > Navigation > Receiver Operation > Masks。找到 Health Masks 框，然后为“Tracking ”和“Tracking ”选项配置为off。

再将 Navigation > Advance User Settings > Tracking > Signal Tracking，找到 Signal Tracking，启动 GPSL5

最后将 Navigation > Advance User Settings > PVT > Signal Usage，中的GPSL5勾选上。

定位 NMEA 信息输出

默认情况下是没有输出的，需要手动配置。Mosaic-X5 GPS 提供了多种的输出途径与输出格式，

• 4 个 UART（LVTTL，高达 4 Mbps）
• USB-C 端口 （2.0， HS）
• SDIO（大容量存储）

配置选项在 NMEA/SBF Out 中配置，通过 New NMEA stream，添加。

PPS输出

Mosaic-X5 GPS生成PPS信号的机制是基于其高精度的时间同步功能。PPS（Pulse Per Second）信号是一个精确到秒的时间标记，用于指示每个GPS时间秒的开始。

Mosaic-X5利用接收到的卫星信号来校准其内部时钟，确保PPS信号与全球标准时间（UTC）高度同步。这个过程允许设备提供极高精度的时间信号，用于各种需要精确时间同步的应用，如数据采集、网络同步等。

从模块来看，PPS输出信号的逻辑电平为1.8V。但是，为了方便用户，我们添加了一个缓冲器，并在三频 GNSS RTK 分线器上将信号的逻辑电平提高到 3.3V。此 3.3V 信号输出可通过 SMA 连接器和引脚访问。该信号还连接到 LED，用作视觉指示器。

此外，我们还可以在 GNSS > PPS/Timing ，中配置详细参数，比如提高频率等。

ROS包安装与设置

ROSaic 是 Septentrio 维护的一个ROS包，用于支持其GPS接收器与ROS的集成，就包括了mosaic-X5。

安装依赖：

sudo apt install ros-$ROS_DISTRO-nmea-msgs ros-$ROS_DISTRO-gps-commonsudo apt install libboost-all-devsudo apt install libpcap-devsudo apt install libgeographic-dev

安装ROS包：

mkdir -p ~/septentrio/srccd ~/septentrio/srcgit clone https://github.com/septentrio-gnss/septentrio_gnss_driverrosdep install . --from-paths -icatkin_makeecho "source ~/septentrio/devel/setup.bash" >> ~/.bashrc

执行：

roslaunch septentrio_gnss_driver rover.launch param_file_name:="gnss"

感光元件是相机中非常重要的部分，它负责捕捉光线并将其转换为电子信号，进而形成数字图像。感光元件的尺寸对相机的性能和图像质量有显著影响。以下是一些常见的感光元件尺寸及其特点：

1. 全画幅（Full Frame）：

   • 尺寸：通常为36mm x 24mm，与传统35mm胶片相同。
   • 优点：更好的低光性能，更小的景深（更容易实现背景虚化），通常具有更高的动态范围和图像细节。
   • 缺点：相机和镜头通常更大、更重，成本也更高。

2. APS-C 半画幅：

   • 尺寸：约为22mm x 15mm，因品牌而异。
   • 优点：相机体积和重量通常小于全画幅相机，成本更低，适合日常使用和业余摄影。
   • 缺点：在低光条件下的表现通常不如全画幅，景深也相对较大。

3. M4/3（Micro Four Thirds, MFT）：

   • 尺寸：17.3mm x 13mm。
   • 优点：更小巧的相机体积，轻便，适合旅行和街头摄影。
   • 缺点：在极低光照条件下的表现不及更大感光元件。

4. 1英寸感光元件：

   • 尺寸：约13.2mm x 8.8mm。
   • 优点：常见于高级紧凑相机，提供良好的图像质量，同时保持相机体积小巧。
   • 缺点：低光性能和背景虚化能力不如更大的感光元件。

5. 1/1.7英寸感光元件：

   • 尺寸：大约7.6mm x 5.7mm。
   • 常见于某些高级紧凑相机。
   • 提供比1/2.3英寸感光元件更好的图像质量，但仍低于1英寸感光元件。

6. 1/2.3英寸感光元件：

   • 尺寸：大约6.17mm x 4.55mm。
   • 常见于许多入门级数码相机和智能手机。
   • 优点：使相机非常小巧和便携，成本较低。
   • 缺点：在低光条件下和动态范围方面的表现通常较差，图像噪点更多。

分辨率

相机的分辨率是指相机能够捕捉的图像的细节程度，通常以像素数（兆像素，MP，1MP等于100万像素）来衡量。分辨率高意味着相机能够产生更细腻、更清晰的图像。以下是分辨率的详细介绍：

1. 低分辨率

   • 2MP (1600 x 1200)：适用于小尺寸打印和网页用途。
   • 5MP (2592 x 1944)：能够提供一些裁剪空间，同时适合一般大小的打印。

2. 中分辨率

   • 8MP (3264 x 2448)：普遍用于智能手机和基本数码相机，适合大部分日常用途。
   • 12MP (4290 x 2800)：提供更好的细节和裁剪灵活性，常见于更高级的手机和相机。

3. 高分辨率

   • 16MP (4920 x 3264)：适合专业用途，包括大型打印和详细的后期处理。
   • 24MP (6000 x 4000) 及以上：常见于专业级数码单反和无反相机，提供极高的细节捕捉能力。

ISO

ISO 是一个衡量相机感光元件对光线敏感度的标准，它在摄影中起着至关重要的作用。以下是 ISO 的详细介绍：

1. ISO 的作用：

   • 调整 ISO 值可以改变相机感光元件对光线的敏感程度。ISO 值越高，感光元件对光线的敏感度越高，需要的光线越少。
   • 在光线较暗的环境中提高 ISO 值，可以帮助相机捕捉更多的光线，从而拍摄到更亮的图像。

2. ISO 与曝光：

   • ISO 是影响曝光的三个主要设置之一，另外两个是快门速度和光圈。
   • 低 ISO（如 ISO 100）通常用于光线充足的环境，而在低光环境中，则可能需要提高 ISO。

3. ISO 与图像质量：

   • 提高 ISO 会增加图像的噪点或“颗粒感”，可能导致图像质量下降。
   • 较高的 ISO 设置（如 ISO 3200 及以上）通常会产生更多噪点，尤其是在小型感光元件（如智能手机或小型数码相机）上更为明显。

4. 选择合适的 ISO：

   • 在选择 ISO 时，需要考虑环境光线、所需的曝光水平以及对图像噪点的容忍度。
   • 一般建议在光线充足的情况下使用尽可能低的 ISO，以获得最佳图像质量。
   • 在必要时，可以适当提高 ISO 以避免运动模糊或实现快速快门速度。

相机的 ISO 设置范围可以从很低到非常高，不同的相机可能有不同的具体数值和范围。以下是一些常见的 ISO 设置：

1. 低 ISO 设置：

   • ISO 50/64/80：这些通常在特定的专业相机中找到，用于非常亮的条件，如直射阳光下，以获得最低的噪点和最高的图像质量。
   • ISO 100/200：这是大多数相机的标准或基本 ISO，适用于日常光线良好的情况，提供最佳的图像质量。

2. 中等 ISO 设置：

   • ISO 400/800：在室内或阴天等光线较暗的环境中使用，可以获得较好的曝光而不会引入太多噪点。
   • ISO 1600：在较暗的环境中使用，如室内低光照或夜间场景，能够提供较亮的图像，但可能会有一些噪点。

3. 高 ISO 设置：

   • ISO 3200/6400：用于非常暗的环境，或者需要非常快的快门速度来捕捉动作的场合。在这些设置下，噪点更加明显。
   • ISO 12800 及以上：这些非常高的 ISO 设置通常在极端低光条件下使用，或在无法使用其他光源的情况下。图像质量会受到噪点的显著影响。

4. 扩展 ISO 设置：

   • 许多相机提供了超出标准范围的“扩展”ISO 设置，如 ISO 25600、51200，甚至更高。这些设置通常会产生很高的噪点，但在某些特殊情况下可能很有用。

不同的相机在高 ISO 性能上有显著差异。高端相机（尤其是全画幅相机）通常在高 ISO 下表现更好，能够在保持较低噪点的同时提供较高的图像质量。ISO 的选择取决于具体的拍摄条件和所需的图像质量。通常建议只在需要时提高 ISO，以保持最佳的图像质量。

快门

快门类型

快门是相机的一个关键组件，用于控制光线进入相机感光元件的时间长度。快门类型主要有两种：

1. 机械快门：

   • 传统的机械快门主要在单镜头反光相机（SLR）和数码单镜头反光相机（DSLR）中使用。
   • 它使用物理机械来控制感光元件前的快门帘开闭，从而控制曝光时间。
   • 机械快门能够精确控制曝光时间，但可能会因为机械磨损而影响性能。

2. 电子快门：

   • 电子快门主要用于无反光镜相机（如微单相机）和智能手机。
   • 它通过电子方式控制感光元件的活动，无需物理运动。
   • 电子快门通常更安静、耐用，且能够实现非常高的快门速度，但在某些情况下可能会引起滚动带效应或变形。

快门速度

快门速度指的是快门打开和关闭之间的时间长度，它决定了感光元件接收光线的时间，从而影响照片的曝光量和动态捕捉。快门速度通常以秒或其分数来表示，例如：

1. 慢速快门：

   • 1秒、1/2秒、1/4秒等：用于低光环境或创造运动模糊效果（如流水的丝绸效果）。
   • 慢速快门通常需要使用三脚架以避免相机抖动造成的模糊。

2. 中速快门：

   • 1/30秒、1/60秒、1/125秒等：适合日常拍摄，如人像或静态景物。

3. 快速快门：

   • 1/500秒、1/1000秒、1/2000秒等：用于冻结快速运动，如体育赛事、飞鸟等。
   • 快速快门有助于捕捉瞬间动作，避免运动模糊。

快门速度与光圈和ISO值共同决定了照片的最终曝光效果。正确平衡这三个元素（通常称为“曝光三角”）是摄影的关键技能之一。

光圈

光圈是摄影中的一个核心概念，它指的是镜头中用于控制通过镜头到达感光元件的光量的装置。光圈的大小由一系列叶片组成，这些叶片可以展开或收缩以调整进光量。以下是光圈的详细介绍：

光圈的基本原理

1. 光圈大小：

   • 光圈的大小是通过f-stop（f数）来表示的，例如f/1.4、f/2.8、f/5.6等。
   • f数越小，光圈开得越大，进入镜头的光线越多；反之，f数越大，光圈越小，进光量越少。

2. 光圈与曝光：

   • 光圈大小直接影响照片的曝光量。光圈越大（f数小），照片越亮；光圈越小（f数大），照片越暗。

3. 光圈与景深：

   • 光圈还影响照片的景深，即照片中清晰部分的范围。
   • 大光圈（f数小）产生浅景深，背景会模糊，适合人像摄影。
   • 小光圈（f数大）产生深景深，前景和背景都较为清晰，适合风景摄影。

光圈的应用

1. 低光环境摄影：

   • 在光线不足的环境中，使用大光圈可以捕获更多光线，帮助曝光。

2. 控制景深：

   • 创造艺术效果时，通过调整光圈大小来控制景深，突出主体或展示场景的深度。

3. 提高图像质量：

   • 许多镜头在中等光圈（如f/8）时提供最佳的图像锐度和最小的光学畸变。

注意事项

• 光圈与镜头：不同镜头支持的光圈范围不同，高端镜头通常能够提供更大的光圈（如f/1.4）。
• 衍射限制：过小的光圈（如f/16或f/22）可能会导致衍射，降低图像锐度。

光圈的选择取决于摄影师想要实现的创意效果、光线条件以及镜头的特性。理解和运用光圈是掌握摄影艺术的关键之一。

镜头

焦段

焦段是描述相机镜头特性的重要参数，它直接影响着拍摄的视角和图像的构成。焦段通常以毫米（mm）为单位来表示，并决定了镜头的视角宽窄。以下是焦段的详细介绍：

焦段的分类

1. 广角镜头：

   • 焦距小于35mm的镜头通常被认为是广角镜头。
   • 广角镜头能捕捉更广阔的视野，非常适合风景摄影、建筑摄影和室内摄影。
   • 它们也会产生一定的透视变形，使图像中的对象在视觉上似乎离得更远。

2. 标准镜头：

   • 焦距在35mm到70mm之间的镜头被视为标准镜头。
   • 这些镜头提供接近人眼视觉的视角，适合肖像摄影、街头摄影和日常拍摄。

3. 长焦镜头：

   • 焦距超过70mm的镜头被称为长焦镜头。
   • 长焦镜头能够放大远处的物体，常用于体育摄影、野生动物摄影和特写摄影。
   • 它们通常能产生更浅的景深，使背景模糊，突出主体。

4. 超长焦镜头：

   • 焦距非常长的镜头（如300mm、400mm及以上）被称为超长焦镜头。
   • 适用于需要从远距离拍摄的场合，如鸟类摄影和天体摄影。

5. 变焦镜头与定焦镜头：

   • 变焦镜头提供一系列焦段，如18-55mm、70-200mm等，灵活适用于多种拍摄场景。
   • 定焦镜头只有一个固定的焦距，如50mm或85mm，通常提供更高的图像质量和更大的光圈。

焦段的影响

• 视角：焦段越短，视角越宽；焦段越长，视角越窄。
• 透视关系：广角镜头会夸大前景和背景之间的距离，而长焦镜头则压缩这种距离感。
• 景深：长焦镜头更容易获得浅景深效果。

镜头滤镜

1. UV镜：紫外线滤光镜（UltraViolet），起到保护镜头，提高画面质量的作用。
2. CPL镜：圆偏振镜（CircularPolarizer），可以消除非金属物质表面的反光，比如玻璃，但有一定减光。
3. 柔光镜：柔滑光线，使画面像胶片，分白柔和黑柔滤镜，有美艳效果，降低锐化。
4. ND镜：中性密度滤波器（Neutral density filter），减光镜，可以提高低iso时的快门速度

GPS的工作原理是通过接收设备（如智能手机或专用GPS接收器）从多颗GPS卫星接收信号。这些信号包含卫星的位置和发射时间。接收设备使用这些信号来计算其到每颗卫星的距离，并使用这些距离来确定其自身的精确位置。这通常涉及至少从四颗卫星接收信号，以提供三维位置（纬度、经度和高度）和时间信息。

GPS的精度受多种因素影响，包括大气条件、电子干扰和接收器的质量。尽管如此，对于大多数消费者应用，其定位精度通常在几米之内。对于特定的应用和增强技术，如差分GPS（DGPS），精度可以提高到厘米级。

GPS系统在许多领域都有广泛应用，包括汽车导航、手机定位服务、海上和航空导航、地质勘探和灾害管理。

RTK GPS

RTK GPS（Real-Time Kinematic GPS）是一种高精度的定位技术，它利用GPS卫星信号进行实时的位置校正，以提供厘米级的定位精度。这种技术是通过在基站（已知位置）和移动接收器之间比较GPS信号来实现的。

RTK的工作原理：

• 差分GPS：RTK是一种差分GPS技术。它通过比较来自GPS卫星的信号在两个不同位置（基站和移动接收器）的微小差异来工作。
• 基站：基站位于一个已知精确坐标的固定位置。它接收GPS卫星的信号，并计算出误差。
• 移动接收器：移动接收器同样接收来自相同GPS卫星的信号，并利用从基站接收到的误差信息进行实时校正。
• 信号校正：基站将其计算出的误差信息通过无线电、蜂窝网络或其他通信方式实时发送给移动接收器，后者使用这些数据来校正自己的GPS信号，从而极大地提高其定位精度。

算法过程：

• 载波相位观测：RTK GPS主要利用载波相位观测进行定位。这种方法比使用卫星信号的编码信息更精确，因为载波的波长较短，从而提供了更高的测量精度。
• 双差分技术：RTK算法通常使用双差分技术来减少误差。这涉及到对来自两个接收器（基站和移动接收器）和至少两颗卫星的信号进行差分计算。
• 固定解和浮点解：在处理差分信号时，RTK算法会尝试确定每个GPS卫星信号的整数模糊度。成功解决整数模糊度问题可以获得固定解（更高的精度），否则只能获得浮点解（精度较低）。

RTK GPS的状态：

• 单点定位（SPP）：没有使用差分校正数据时的普通GPS定位模式。
• 浮点解（Float RTK）：当RTK系统无法完全解决整数模糊度时，将提供浮点解。这比单点定位精确，但不如固定解精确。
• 固定解（Fixed RTK）：当整数模糊度完全解决时，RTK系统将提供固定解，这是最高精度的状态。

RTK系统提供了迄今为止GPS技术中的最高精度，因此它在各种精密应用中变得越来越重要。

数据分析

RTK（实时动态运动定位）设备，作为一种高精度的GPS定位系统，会输出多种数据类型，旨在提供详尽的位置和时间信息。这些数据通常包括但不限于以下几种：

1. 位置数据：

   • 经度、纬度和高度坐标。
   • 以某种坐标系统（如WGS 84）表示的位置信息。

2. 速度数据：

   • 移动接收器的速度，通常包括水平和垂直方向的速度。

3. 时间数据：

   • 精确的时间戳，与卫星的时间同步。

4. 定位精度估计：

   • 定位精度的估计值，例如水平和垂直定位误差界限。

5. 差分校正数据：

   • 如实时差分（RTD）信息，用于提高定位精度。

6. 载波相位和信号强度信息：

   • 载波相位测量值，对于解算整数模糊度至关重要。
   • 各个卫星信号的信噪比（SNR）和信号强度。

7. 卫星信息：

   • 可见卫星的编号和状态。
   • 卫星几何分布的质量指标，如GDOP（几何精度衰减因子）。

8. 固定/浮动解状态：

   • 当前解算状态，指示是固定解（Fixed Solution）还是浮动解（Float Solution）。

9. 健康状态和诊断信息：

   • 设备自身的健康和状态信息，可能包括温度、电源状态等。

10. 日志和事件记录：

    • 定位事件和系统日志，用于问题诊断和分析。

这些数据通常以NMEA（国家海洋电子协会）格式或其他专业格式（如RTCM）输出，并可以通过串行端口、蓝牙或Wi-Fi等通信接口传输。RTK设备输出的确切数据类型和格式可能因制造商和模型而异，因此用户在使用时应参考具体设备的技术文档。

具体分析

例如，以下是从某个设备中接收的GPS数据：

$GNRMC,120924.00,A,3510.5689031,N,12654.0297672,E,0.850,,151123,,,D,V*19 12:09:24  $GNGGA,120924.00,3510.5689031,N,12654.0297672,E,2,11,1.67,71.462,M,19.729,M,2.0,0000*5F 12:09:24

以上是 NMEA（National Marine Electronics Association）格式的，这是一种常用于GPS设备的数据标准。

这些数据包含两种主要类型的NMEA语句：$GNRMC 和 $GNGGA。

1. $GNRMC（Recommended Minimum Specific GNSS Data）:

   • 时间：例如，在第一行中，“120924.00”表示时间是12:09:24（UTC时间）。
   • 状态：“A”表示数据有效，“V”表示导航接收器警告。
   • 纬度：“3510.5689031,N”表示纬度是35度10.5689031分北纬。
   • 经度：“12654.0297672,E”表示经度是126度54.0297672分东经。
   • 速度：例如，“0.850”表示速度是0.850节。
   • 日期：“151123”表示日期是2023年11月15日。
   • 定位模式：“D”表示差分GPS模式。

2. $GNGGA（Global Navigation Satellite System Fix Data）:

   • 时间：“120924.00”表示时间是12:09:24（UTC时间）。
   • 纬度 和 经度：同上。
   • 定位质量：“2”表示差分GPS定位（DGPS）。
   • 卫星数量：“11”表示正在使用11颗卫星进行定位。
   • HDOP（水平精度衰减因子）：“1.67”表示定位的水平精度。
   • 海拔高度：“71.462,M”表示海拔高度是71.462米。
   • 大地水准面高度：“19.729,M”表示大地水准面高度是19.729米。
   • 差分数据年龄：如“2.0”表示差分数据的年龄是2.0秒（差分GPS校正信号的时延）。
   • 差分基站ID：“0000”表示差分GPS基站的标识。

在 $GNGGA（Global Navigation Satellite System Fix Data）NMEA（National Marine Electronics Association）语句中，定位质量值提供了关于当前定位的状态和精度的关键信息。这个字段的具体值及其含义如下：

• 0：无效定位 GPS尚未获得或失去定位。
• 1：标准GPS定位 GPS定位有效，通常指没有使用差分修正的标准GPS定位。
• 2：差分GPS定位（DGPS） 使用了差分GPS修正，通常通过地面参考站提供额外的校正信息，提高定位精度。
• 3：PPS模式 PPS（精密定位服务）模式，通常用于军事或其他政府授权使用的高精度定位。
• 4：固定RTK 实时动态运动定位的固定解。这是RTK GPS系统中最高精度的定位模式，提供厘米级精度。
• 5：浮动RTK 实时动态运动定位的浮动解。这是RTK GPS系统中的一种较高精度模式，但精度低于固定RTK。
• 6：估算（死算） 使用先前的定位数据或其他方法进行估算的定位，精度较低。
• 7：手动输入模式 定位数据是手动输入的。
• 8：模拟模式 定位是通过模拟方式获得的。

一般如果是 RTK 设备，主要看到定位质量值为2（差分GPS定位），4（固定RTK），和5（浮动RTK）这三种状态。

这些数据提供了关于设备当前位置、时间、定位状态、使用的卫星数量、精度因子等的详细信息。通过这些数据，您可以了解设备的确切位置、定位精度、以及是否正在使用差分GPS来提高定位精度。每个数据点都提供了一个特定时刻的定位信息，这对于需要高精度定位的应用非常重要，如航海导航、地理测绘等。

坐标系

GPS系统主要使用WGS 84（World Geodetic System 1984）坐标系，但GPS接收设备通常能够将这些坐标转换为多种其他坐标系。下面是一些常见的坐标系：

1. WGS 84:

   • 全球定位系统（GPS）的标准坐标系。
   • 提供全球范围内的位置信息。
   • 用于定义地球上任意点的经度、纬度和高度。

2. GCS（地理坐标系统）:

   • 基于WGS 84或其他地球参考椭球体。
   • 用经度和纬度表示位置。

3. UTM（通用横轴墨卡托）:

   • 将世界划分为多个纵向区域，每个区域使用不同的投影。
   • 提供在局部范围内更准确的平面坐标。

4. 国家/地区特定的坐标系:

   • 许多国家或地区有自己的坐标系，如北美的NAD83（北美大地基准1983），欧洲的ETRS89（欧洲陆地参考系统1989）等。
   • 这些系统可能基于特定区域的地理特性进行优化。

5. Web Mercator:

   • 常用于网络地图服务，如Google Maps和Bing Maps。
   • 适合于电子地图浏览，但不适于精确测量。

大多数现代GPS接收设备和软件支持在这些不同的坐标系之间进行转换，使用户能够根据需要选择最合适的系统。例如，测量师可能倾向于使用UTM坐标系进行精确的地面测量，而在全球范围内航行的人可能会使用WGS 84坐标系。

UTM（通用横轴墨卡托）

UTM（通用横轴墨卡托）坐标系是一种广泛使用的地理坐标系统，特别适用于精确的地图制作和空间数据管理。以下是关于UTM坐标系的详细介绍：

基本原理：

• 投影方法：UTM是一种基于墨卡托投影的地图投影系统，它使用一个圆柱投影面，这个面沿地球的一个纬度线（通常是赤道）接触地球。
• 区域划分：UTM系统将地球表面分割成60个垂直的6度经度区域，从180度经线西侧的第1区开始，向东至180度经线的第60区。

区域和带号：

• 区域编号：每个6度经度范围的区域被赋予一个从1到60的编号。
• 纬带指示：除了区域编号外，UTM还使用纬带字母从南到北（从C到X，不包括I和O）表示不同的纬度范围，每个纬带约8度纬度高。

坐标表示：

• 东坐标（Easting）：表示从中央经线（每个区域的中心线）向东的距离，单位为米。中央经线的东坐标被赋值为500,000米，以避免出现负数坐标。
• 北坐标（Northing）：表示从赤道向北或向南的距离，单位也是米。在北半球，赤道的北坐标是0米；在南半球，赤道的北坐标设置为10,000,000米。

UTM坐标系因其相对简单和高精度的特性，在专业和学术领域得到了广泛的使用。对于处理局部地区的空间数据，UTM提供了一个有效和精确的方法。

导航系统中的频率信号

L1, L2, 和 L5 是指卫星导航系统中的不同频率信号。它们是全球定位系统（GPS）和其他全球卫星导航系统（GNSS）如GLONASS、Galileo、和北斗卫星导航系统使用的关键信号频率。这些信号对于定位、导航和时间同步至关重要。下面是对这三个频率的简要说明：

• L1频率：这是最早被GPS系统使用的频率，大多数消费级GPS接收器都使用L1信号。L1频率携带了C/A（粗/获取）码，用于标准定位服务，以及更复杂的P(Y)码，用于军事和政府使用。

  • L1 C/A：这是最初的GPS信号，用于民用。它使用1.57542 GHz的频率。
  • L1C：这是一个新的信号组件，设计用于民用GPS，并被引入到了GPS III卫星中。它提供了改进的信号结构，用于增强性能和兼容性。

• L2频率：L2频率主要被用于专业级GPS接收器，用于提供更精确的测量。这是因为L2携带的P(Y)码可以用来减少大气造成的延迟效应，这种效应在L1信号上更为显著。通过同时使用L1和L2信号，可以显著提高定位的准确性。

  • L2C：这是针对民用的第一个L2 GPS信号，使用1.2276 GHz频率。L2C提供了比L1 C/A更好的性能，包括更强的信号和更快的定位。
  • L2 P(Y)：这是一个加密的信号，主要用于军事和政府应用。

• L5频率：L5是相对较新的信号频率，它提供更高的传输功率和更先进的调制技术，从而提高了信号的稳定性和抗干扰能力。L5频率也被设计用于民航安全关键应用，如飞机的精确导航。

结合使用这些不同的频率可以提供更准确和可靠的定位结果，特别是在多径效应和大气延迟等因素影响较大的情况下。多频接收器（同时接收L1, L2和L5信号的设备）特别适用于需要高精度定位的应用，例如测绘、农业、建筑和军事用途。

Mavic 3M包含一个阳光传感器，用于提高NDVI结果的准确性，并在图像数据处理中提供光照补偿。它搭载的 RTK 模块支持无需地面控制点即可实现 厘米级定位 的高精度空中测绘。

该无人机的电池寿命为43分钟，可以高效地覆盖大面积区域，其O3传输系统支持长达15公里的数据传输距离。它具备全方位障碍物避让功能，并能进行地形跟随测量，特别适用于果园和不平坦的地形。

多光谱相机

近红外（NIR）: 波长大约在 860 纳米（±26 纳米）。这个波段对于分析植被健康特别有用，因为健康的植被会在近红外波段强烈反射光线。
红色（R）: 波长大约在 650 纳米（±16 纳米）。这个波段可以帮助识别和分析植物的光合作用效率和健康状况。
红边（RE）: 波长大约在 730 纳米（±16 纳米）。红边是植被反射率变化最显著的区域，通常用于植被分类和生物量估算。
绿色（G）: 波长大约在 560 纳米（±16 纳米）。绿色光波段反射的是植被的健康状况，因为植物叶绿素吸收红色和蓝色光，反射绿色光。

些不同的光谱波段镜头使得相机可以捕捉多维度的数据，这对于精确农业、环境监测、地图制作和其他需要详细地表信息的领域非常重要。通过这些波段的组合，可以生成植被指数（如NDVI）或其他类型的分析来帮助研究者和专业人员理解目标区域的情况。

植被指数

植被指数（Vegetation Indices, VIs）主要用于估算和监测植被的覆盖度、生长状况、生物量、和植被健康情况。以下是一些常用的植被指数：

• NDVI (归一化差异植被指数): 用于监测植被生长和健康。
• EVI (增强型植被指数): 类似于NDVI，但对大气和土壤背景影响更不敏感。
• SAVI (土壤调整植被指数): 适用于植被覆盖度较低的地区。
• MSAVI (改进型土壤调整植被指数): 用于减少土壤背景的影响。
• NDWI (归一化差异水体指数): 可用于监测植被水分含量。
• NDRE (归一化差异红边指数): 对植物叶片中的氮含量变化敏感。

植被指数的生成需要特定波段的图像数据，通常是使用多光谱遥感数据。通过特定波段的反射率计算得出，比如NDVI就是使用红色和近红外波段的反射率数据来计算的。这些指数可以通过遥感软件或GIS（地理信息系统）工具来生成，广泛应用于农业、生态监测、地理学和环境科学等领域。

基于 DJI 多光谱相机传感器，它具备捕捉近红外（NIR）、红色（R）、红边（RE）和绿色（G）波段的能力。在果园数据分析中，可以应用以下几种植被指数：

• NDVI (归一化差异植被指数): 用于评估果园植被的生物量和健康状况。
• GNDVI (绿色归一化差异植被指数): 由于涉及绿色波段，它可以帮助评估叶绿素含量，对果园中植物的光合作用活性和氮含量的评估可能更敏感。
• NDRE (归一化差异红边指数): 这个指数利用红边和近红外波段，可以用来估计植被的氮含量，尤其适合用于监测果园中植被的营养状况。
• CI (叶绿素指数 Chlorophyll Index): 在红边和红色波段的基础上，可以计算叶绿素指数，这对于评估果树的健康和成熟度特别有用。

NDVI（归一化差异植被指数）

NDVI，全称是归一化差异植被指数（Normalized Difference Vegetation Index），是一种简单且有效的数学方法，用于评估是否有活跃的绿色植被。通过比较可见光和近红外光的反射率，NDVI可以指示植物的健康状况和生物量。NDVI的计算公式如下：

$$NDVI = \frac{(NIR - Red)}{(NIR + Red)}$$

• NIR 表示近红外波段的反射强度。
• Red 表示红色波段的反射强度。

NDVI值的范围是从-1到+1：

• 负值 通常指示水体。
• 接近0的值 通常指示裸土或岩石。
• 正值 指示植被，其中较高的正值（接近+1）指示更健康的植被。

为了生成NDVI，你需要以下数据：

1. 红色波段的图像：通常在650nm左右，用于捕捉植物叶绿素的吸收。
2. 近红外波段的图像：通常在850nm左右，健康植被在这个波段有很高的反射率。

多光谱相机正是提供这类数据的工具。通过在红色和近红外波段捕捉图像，可以计算出每个像素的NDVI值，从而生成植被的健康状况地图。这些信息对于农业管理、生态监测和环境研究来说非常宝贵。

GNDVI（绿色归一化差异植被指数）

GNDVI，即绿色归一化差异植被指数（Green Normalized Difference Vegetation Index），是一种遥感植被指数，主要用于评估植物的生长状况和健康。它通过比较近红外（NIR）波段和绿色（Green）波段的反射率来计算。

计算公式是：

$$GNDVI = \frac{(NIR - Green)}{(NIR + Green)}$$

• NIR (近红外波段): 这个波段反映了植被对光的反射，健康的植被通常在NIR波段有较高的反射率。
• Green (绿色波段): 绿色波段通常用来捕捉植物叶绿素的反射光，因为植物叶绿素主要吸收红色和蓝色光线，而反射绿色光。

GNDVI值的范围通常介于-1和+1之间。这个范围的不同值代表了不同的植被特性：

• 负值：通常表示非植被区域，如水体或裸露地面。
• 接近0的值：表明植被覆盖较少或植被健康状况较差。
• 正值：表示存在植被，数值越高，通常意味着植被的密度和健康状况越好。

GNDVI较高的正值表明植被具有较强的光合作用活性和较高的叶绿素含量，这通常与植物的良好健康状况相关。在农业和生态研究中，GNDVI被用来评估作物的生长状况和植被的整体健康状况。

GNDVI常用于监测植物的光合作用活性、氮含量以及整体健康状况。相比传统的NDVI，GNDVI在某些应用中可能更能准确反映植物生理状态，尤其是在评估植物叶绿素和氮含量方面。它被广泛应用于农业、林业和生态研究。

NDRE（归一化差异红边指数）

NDRE，即归一化差异红边指数（Normalized Difference Red Edge Index），是一种用于监测植被健康和营养状况，尤其是氮素含量的遥感指数。它利用红边波段（Red Edge）和近红外波段（NIR）的反射率数据。

$$NDRE = \frac{(NIR - RedEdge)}{(NIR + RedEdge)}$$

为了生成 NDRE，需要以下数据：

• NIR（近红外波段）: 反映植被的光合作用能力和健康状况。
• RedEdge（红边波段）: 这个波段位于红色和近红外之间，敏感于植被的生理和生化变化，尤其是叶绿素的变化。

NDRE 的值范围通常在-1到+1之间，其中：

• 负值：通常表示非植被或水体。
• 接近0的值：表明植被覆盖度较低或植被健康状况较差。
• 正值：指示存在植被，数值越高表示植被的密度和健康状况越好。

NDRE 特别适用于精确农业和生态监测，能够有效评估作物的营养状况，尤其是氮素水平的变化。

CI （叶绿素指数）

CI，即叶绿素指数（Chlorophyll Index），是用于评估植被叶绿素含量的遥感指数。它反映了植被的健康状况和营养水平，特别是叶绿素含量。

为了生成CI，需要以下数据：

• NIR（近红外波段）: 反映植被对光的反射，健康植被在NIR波段有较高的反射率。
• Red 表示红色波段的反射强度。
• RedEdge（红边波段）: 位于红色和近红外之间，敏感于植物叶片中的叶绿素变化。

CI的计算公式是：

$$CI = \frac{(NIR / RedEdge) - 1}{(NIR / Red) - 1}$$

CI的值范围不固定，但通常较高的CI值表示更高的叶绿素含量，反映出植物更健康的状态。CI值较低可能表示植被健康状况较差或叶绿素含量较低。CI广泛用于农业和生态研究中，帮助监测和管理作物健康。

EVI (增强型植被指数)

EVI，即增强型植被指数（Enhanced Vegetation Index），是一种用于分析植被反射率数据的遥感指数，特别在高植被区域表现更好。它通过减少大气影响（如气溶胶）和土壤背景的影响，提高了对植被信号的灵敏度。其计算公式为：

$$EVI = G \times \frac{(NIR - Red)}{(NIR + C_1 \times Red - C_2 \times Blue + L)}$$

其中( NIR )、( Red )、和( Blue )分别是近红外、红色和蓝色波段的反射率，$G$、$C_1$、$C_2$和$L$是常数，用以调整公式的敏感度和光线散射的影响。

SAVI (土壤调整植被指数)

SAVI是为了减少土壤背景对植被指数的影响而设计的。它特别适用于裸土占比较高的地区。SAVI的计算公式为：

$$SAVI = \frac{(1 + L) \times (NIR - Red)}{(NIR + Red + L)}$$

这里 $L$ 是一个调整因子，通常取值为0.5，用以降低土壤背景的影响。

这些指数均依赖于对不同波段的反射率数据的特定数学处理，以此来评估植被的状况和变化。通过这些方法，研究人员和农业从业者可以更好地理解和管理植被健康和生产力。

Linux 文件系统的起点，即根目录（/），所有文件和目录都从这里开始。

其中每一个都有具体的功能职责，以下是我们在使用 Linux 时经常打交道的目录，很有比较完整的了解其功能范围：

• /home：用户文件，针对每一个用户都专有一个以用户名命名的主目录
• /opt：即 Optional，用于手动安装自己的软件，例如商业软件或大型游戏。
• /dev：即 Device，这里存放了系统的外部设备，因为 Linux 下的设备是以文件的形式存在的。
• /mnt：即Mount，通常我们会将一些硬盘临时手动挂载到该目录。
• /etc：系统管理所需要的配置文件目录

以下是一些通常我们不需要操作的目录，为系统自行维护的：

• /root：管理员目录。
• /sbin：即 Super User，用于存放系统管理员的指令。
• /boot：存放系统启动引导相关文件，
• /bin：该目录下有在终端中使用的命令，例如 cd 等等。
• /usr：存储系统默认的用户级应用程序、库和文档，例如包管理器（如 apt、yum）安装的软件。
• /lib：即 Library，用于存放系统的动态连接共享库。
• /lost+found：非法关机后，会产生记录文件
• /proc：管理内存空间！虚拟的目录，是系统内存的映射，可以直接访问这个目录来，获取系统信息。
• /media：通常用于自动挂载外部设备，例如U盘等，且在移除设备前最好先卸载设备 unmount。
• /srv：存放服务启动之后需要提取的数据（不用服务器就是空）。
• /sys：非常特殊且重要的目录，用于向用户空间暴露内核信息，例如设备的硬件信息。
• /tmp：即 Temporary，存放一些临时文件
• /var：那些经常被修改的目录放在这个目录下。包括各种日志文件。
• /run：临时文件系统，存储系统启动以来的信息。当系统重启时，这个目录下的文件应该被删掉或清除。

磁盘管理

一块硬盘，例如 2T SSD 的在使用 Sata3 接口接入设备后，如何才用存入数据，通常需要经历以下步骤：

• 识别磁盘：使用 lsblk 或 fdisk -l 命令来识别新添加的磁盘。这些命令会显示所有已连接的磁盘及其分区。
• 创建分区：确保磁盘中数据已经备份，新建分区后会删除所有数据。使用分区工具如 fdisk 创建分区，并正确设置分区类型（主分区、扩展分区、逻辑分区等）和文件系统类型（EXT4、XFS、Btrfs、NTFS 等。）。
• 格式化分区：使用 mkfs 命令来格式化每个分区，创建文件系统。
• 挂载分区：手动创建一个挂载点（一个目录），如 mkdir /mnt/newdisk，使用 mount 命令临时挂载分区，如 mount /dev/sdx1 /mnt/newdisk，注意这是临时的，重启后会失效。要启动时自动挂载分区，需编辑 /etc/fstab 文件并添加相应的条目。

为什么要分区？

• 组织性：分区使得用户能够更有效地组织和管理数据。例如，可以将操作系统、应用程序和用户数据放在不同的分区上。
• 安全性和数据恢复：如果操作系统损坏，分区可以限制问题的影响范围，便于恢复数据。
• 提高效率：不同类型的分区（如交换分区）可以提高系统的性能。
• 多操作系统：可以在同一硬盘上安装多个操作系统，每个操作系统在其自己的分区上运行。
• 且分区在物理层面上并不是隔离的，而是由分区表在逻辑上定义。

如何使用 fdisk 删除与创建分区？

启动 fdisk 功能：

sudo fdisk /dev/sdx

将 /dev/sdx 替换为你的硬盘设备名称。

1、删除分区
输入 p 来打印出当前分区表。
输入 d 来删除分区。如果有多个分区，系统会提示你选择一个分区号。
输入 w 将更改写入磁盘。

2、创建分区
输入 n 创建新分区。按照提示操作，选择分区类型、起始和结束点。
输入 t 更改分区类型。
输入 w 保存更改。

分区表类型

• MBR（Master Boot Record）：老式的分区表格式，支持最多四个主分区，或三个主分区加一个扩展分区。
• GPT（GUID Partition Table）：较新的分区表格式，支持多达128个分区，没有扩展分区的概念，兼容更大的磁盘。GPT与UEFI兼容性更好，目前主流也是GPT为主。

文件系统类型

EXT4（Fourth Extended Filesystem）

• Linux 系统上最常用的文件系统。
• 支持大型文件和大容量存储。
• 提供日志功能，增强数据恢复能力。

XFS

• 高性能的文件系统，适用于大型文件和数据库。
• 支持在线扩展和在线缩减。

Btrfs（B-Tree Filesystem）

• 现代文件系统，提供高级特性，如快照、数据压缩和多磁盘存储。
• 适合数据备份和大型存储池。

NTFS

• Windows系统的标准文件系统。
• 在Linux上可通过NTFS-3G驱动进行读写访问。

FAT32

• 广泛兼容的老式文件系统，支持在几乎所有操作系统上读写。
• 文件大小和分区大小有限制。

exFAT

• 为大容量存储和大文件设计的文件系统。
• 比FAT32更现代，没有FAT32的大小限制。

Swap

• Linux的交换分区不是文件系统，但它被视为一种“虚拟内存”。
• 当物理内存耗尽时，系统可以使用交换空间。

轨迹

目前常用的轨迹描述文件包括：kitti、tum。

kitti 格式

KITTI是一个公开的数据集，主要用于自动驾驶和计算机视觉领域的研究。它由德国卡尔斯鲁厄理工学院(Karlsruhe Institute of Technology)和丰田研究所(TOYOTA Technological Institute at Chicago)联合创建。

同时，KITTI提供了一个在线评估服务器，允许研究者提交他们的算法结果并与其他方法进行比较。

但是，实际上 kitti 不是一种真正的轨迹格式，因为它没有时间戳 - 它只包含姿势。这意味着当要将此格式的两个文件与指标进行比较时必须小心，因为姿势的数量必须完全相同。

文件的每一行都包含 3x4 齐次姿势矩阵 SE(4) 矩阵的前 3 行，这些矩阵展平为一行，每个值用空格分隔。例如，这个姿势矩阵：

a b c de f g hi j k l0 0 0 1

在 txt 文件中的展开形式为：

a b c d e f g h i j k l

tum 格式

TUM 是德国慕尼黑工业大学的英文缩写。因为其提供了一系列的数据集和基准测试，尤其是针对视觉测距和SLAM技术。其中，TUM RGB-D 数据集是一个非常流行的数据集，它提供了从RGB-D相机捕获的数据，用于评估各种视觉测距和SLAM方法。

其中，每行有 8 个条目，包含时间戳（以秒为单位）、位置和方向（以四元数为单位），每个值用空格分隔：

timestamp x y z q_x q_y q_z q_w

评价指标

常用评估轨迹误差的方式有两种：绝对轨迹误差（ATE）与相对轨迹误差（RPE）

绝对轨迹误差（ATE ）

ATE 考虑了估计轨迹和真实轨迹之间的全局误差。首先，我们需要对齐估计的轨迹与真实轨迹。通常，这可以通过找到最佳的刚体变换（平移和旋转）来实现。

$$\text{ATE} = \sqrt{\frac{1}{N} \sum_{i=1}^{N} \| T \cdot p_i^e - p_i^g \|_2^2}$$

其中：

• $T$：从估计轨迹到真实轨迹的最佳刚体变换（包括旋转和平移）。
• $p_i^e$：估计轨迹的第 $i$ 个位置。
• $p_i^g$：真实轨迹的第 $i$ 个位置。
• $N$：轨迹中的位置点的总数。
• $\| \cdot \|_2$表示欧氏范数。

在计算ATE之前，确保估计轨迹和真实轨迹具有相同的时间戳，并已经进行了恰当的对齐。

相对轨迹误差（RPE ）

RPE 与ATE（绝对轨迹误差）不同，RTE更关心局部轨迹的精度和连续性，而不是整个轨迹的全局误差。

RTE通常通过计算两个相邻的位姿之间的相对运动来得到。给定一个时间窗口长度 Δt，RTE会对所有相距 Δt 的位姿对进行评估，以评估这些位姿对之间的相对误差。

相对轨迹误差（RTE）可以定义为所有对应相对位姿变换之间的误差的均值或均方根：

$$\text{RTE} = \sqrt{\frac{1}{N-\Delta t} \sum_{i=1}^{N-\Delta t} \| \delta p_i^e \ominus \delta p_i^g \|_2^2}$$

其中：

• $\delta p_i^e$：从估计轨迹中第i个位姿到第i+Δt个位姿的相对变换。
• $\delta p_i^g$：从真实轨迹中第i个位姿到第i+Δt个位姿的相对变换。
• $N$：轨迹中的位姿点的总数。
• $\ominus$：表示位姿之间的差异操作，通常是指SE(3)空间中的位姿之间的相对变换。

evo工具

evo 工具是一个用于评估测程法和SLAM的Python包

安装：

pip install evo --upgrade --no-binary evo

绘制 kitti 数据

计算 APE 的同时绘制轨迹误差图

evo_ape kitti KITTI_00_gt.txt KITTI_00_ORB.txt -va --plot --plot_mode xz

同时绘制多条曲线

evo_traj kitti KITTI_00_ORB.txt KITTI_00_SPTAM.txt --ref=KITTI_00_gt.txt -p --plot_mode=xz

绘制 TUM 数据

计算 APE 的同时绘制轨迹误差图

evo_ape tum fr2_desk_groundtruth.txt  fr2_desk_ORB.txt -va --plot --plot_mode xz

同时绘制多条曲线

evo_traj tum freiburg1_xyz-ORB_kf_mono.txt freiburg1_xyz-rgbdslam.txt  --ref=freiburg1_xyz-groundtruth.txt -va --plot --plot_mode xy

为了方便代码检索，以及不是一片红，头文件自动检索是十分必要的。

• 安装 C/C++ 扩展，扩展将为每个工作空间创建一个 .vscode/c_cpp_properties.json 文件。
• 如果项目使用的是 CMake 进行编译，在 CMakeLists.txt 中，添加以下行：

set(CMAKE_EXPORT_COMPILE_COMMANDS ON)

• 然后，在 .vscode/c_cpp_properties.json 文件中，设置 compileCommands 为该文件的路径，如：

"compileCommands": "${workspaceFolder}/build/compile_commands.json"

• 这会将编译过中的所有依赖和头文件收集起来，例如：

{  "directory": "/home/sibl/Codes/MultiKinectCalib/build",  "command": "/usr/bin/aarch64-linux-gnu-g++ -DDISABLE_LIBUSB_1_0 -DDISABLE_PCAP -DDISABLE_PNG -Dqh_QHpointer -DvtkRenderingContext2D_AUTOINIT=\"1(vtkRenderingContextOpenGL2)\" -DvtkRenderingCore_AUTOINIT=\"3(vtkInteractionStyle,vtkRenderingFreeType,vtkRenderingOpenGL2)\" -I/home/sibl/Codes/MultiKinectCalib/include -isystem /usr/include/vtk-7.1 -isystem /usr/include/freetype2 -isystem /usr/include/opencv4 -isystem /usr/include/pcl-1.10 -isystem /usr/include/eigen3 -isystem /usr/include/ni -isystem /usr/include/openni2   -Wall -g -o CMakeFiles/main.dir/src/main.cpp.o -c /home/sibl/Codes/MultiKinectCalib/src/main.cpp",  "file": "/home/sibl/Codes/MultiKinectCalib/src/main.cpp",  "output": "CMakeFiles/main.dir/src/main.cpp.o"}

conda环境无法检索

在vscode直接执行 python 文件时出现报错，无法检索 conda：

conda : 无法将“conda”项识别为 cmdlet、函数、脚本文件或可运行程序的名称。请检查名称的拼写，如果包括路径，请确保路径正确，然后再试一次。所在位置 行:1 字符: 1+ conda activate dp+ ~~~~~    + CategoryInfo          : ObjectNotFound: (conda:String) [], CommandNotFoundException    + FullyQualifiedErrorId : CommandNotFoundException

这是因为我们的 powershell 没有设置好，首先在 cmd 终端中执行：

conda init powershell

另外，请确保你的 PowerShell 的执行策略允许运行这个 profile.ps1 脚本：

Set-ExecutionPolicy RemoteSigned -Scope CurrentUser

Opencalib：github

• 一个简单的校准工具箱和开源项目，主要用于自动驾驶中的传感器校准。
• 校准工具箱可用于校准 IMU、激光雷达、摄像头和雷达等传感器。

RGB Intrinsice ：

ROS_camera_calibration：github

Calibration-ZhangZhengyou-Method：github

• 相机标定之张正友标定法数学原理详解(python源码)
• 可用于校正 RGB 和 IR 相机

RGB2LiDAR：

cam_lidar_calib：github

• 使用 OpenCV 获取相机和棋盘之间的相对变换，并提供了棋盘平面表面法线的信息。
• 再对激光雷达在棋盘上的点进行聚类，同样能够获取棋盘平面表面法线的信息。
• 最后基于两个法线向量优化最小目标函数，获得相机与雷达之间的相对变换。需要提供3个以上的约束会有效

livox_camera_lidar_calibration：github

• 得益于Livox激光雷达的非重复扫描特性，我们可以更容易地找到高密度点云中角落的准确位置
• 该方法首先在记录的RGB图片与雷达点云中手动顺序选择目标标定板（无编码）的四个角
• 基于相机的内参，计算相机与雷达之间的相对变换

direct_visual_lidar_calibration ICRA2023：github

• 实现了无校正目标，可处理各种激光雷达与摄像头投影模型。并且只需少数帧即可，过程全自动。
• 首先对于稀疏的旋转式雷达点云，使用 CT-ICP 对移动后的点云进行拼接累计增加密度，在将点云投影到2D强度图像
• 通过 SuperGlue 找到 RGB 与雷达强度图之间的关键点对应关系后，使用 RANSAC 对特征点对进行筛选
• 最后基于 NID 最小化进行精细化优化变换矩阵

lidar_camera_calib_hku：github

• 在无目标环境中对高分辨率激光雷达（如 Livox）和摄像机之外在校准工具
• 利用雷达所输出累计的高密度点云提取边界信息，再与RGB中的边界信息匹配后获得变换矩阵

RGB2IMU：

Kalibr：github

• Kalibr使用一个非线性优化框架来估计变换参数。通过最小化投影误差和其他相关误差来得到最佳的校准参数。
• 对于IMU和相机的校准，Kalibr特别关注时间同步，这是因为IMU和相机的采样率通常不同，而且可能存在时间偏移。
• Kalibr设计为模块化的，允许对单个相机、多相机系统或相机与IMU系统进行校准。

RGBD2RGBD：

k4a-calibration：github

• 首先利用marker计算相机之间的初始位姿估计，再利用每个相机输出的RGB点云进行ICP优化。

ArmRobot2RGB

easy_handeye：

摘要

论文提出了一种通过平滑和映射（SAM：smoothing and mapping）紧耦合的激光雷达惯性里程计（LIO-SAM），可实现高精度、实时的移动机器人轨迹估计和地图构建。

LIO-SAM 将激光雷达-惯性里程测量置于因子图之上，允许将来自不同来源的大量相对和绝对测量（包括环路闭合）作为因子纳入系统。

来自惯性测量单元（IMU）预积分的估计运动会对点云进行纠偏，并生成用于雷达里程计优化的初始值。获得的雷达里程计又用于估算惯性单元的偏置（bias）。

为了确保高性能的实时性，我们将当前帧-局部地图匹配用于姿态优化，而不是将当前帧-全局地图匹配。在局部尺度而非全局尺度上进行扫描匹配可显著提高系统的实时性能，选择性地引入关键帧和高效的滑动窗口方法也是如此，这种方法将新的关键帧注册到一组固定大小的先前 "子关键帧组 "中。

简介

• 状态估计、定位和绘图是智能移动机器人取得成功的基本前提，是反馈控制、避障和规划等许多功能所必需的。利用基于视觉和激光雷达的传感技术，人们致力于实现高性能的实时同步定位和绘图（SLAM），以支持移动机器人的六自由度状态估计。
• 基于视觉的方法通常使用单目或立体摄像机，通过对连续图像进行三角测量来确定摄像机的运动特征。虽然基于视觉的方法特别适用于地点识别，但它们对初始化、光照和范围的敏感性使其在单独用于支持自主导航系统时并不可靠。
• 另一方面，基于激光雷达的方法在很大程度上不受光照变化的影响。尤其是最近出现了长距离、高分辨率的三维激光雷达，如 Velodyne VLS-128 和 Ouster OS1-128，激光雷达更适合直接捕捉三维空间环境的细节。因此，本文重点讨论基于激光雷达的状态估计和绘图方法。

在过去二十年中，提出了许多基于激光雷达的状态估计和测绘方法。其中，用于低漂移和实时状态估计与测绘的激光雷达里程测量与测绘（LOAM）方法是应用最广泛的方法之一。

• LOAM 系列算法使用激光雷达和惯性测量单元 (IMU)，达到了最先进的性能，自其在 KITTI 里程测量基准网站上发布以来，一直被评为基于激光雷达的顶级方法。
• 尽管取得了成功，LOAM 仍然存在一些局限性–由于其数据保存在全局体素图中，因此通常难以执行闭环检测，也难以结合其他绝对测量数据（如 GPS）进行姿态校正。
• 当这种体素图在特征丰富的环境中变得密集时，其在线优化过程的效率就会降低。由于 LOAM 的核心是基于扫描匹配的方法，因此在大规模测试中也会出现漂移。

在本文中，提出了一个通过平滑和映射实现紧耦合激光雷达惯性里程测量的框架（LIO-SAM），以解决上述问题。

• 我们为点云去畸变假设了一个非线性运动模型，在激光雷达扫描过程中使用原始的 IMU 测量来估计传感器的运动。除了对点云进行去畸变外，运动估计还可作为雷达里程计优化的初始值。
• 获得的雷达里程计可用于估计因子图中 IMU 的偏差。通过为机器人轨迹估算引入全局因子图，我们可以利用激光雷达和 IMU 测量有效地进行传感器融合，在机器人姿势中加入位置识别，并在可用时引入 GPS 定位和罗盘航向等绝对测量。这些来自不同来源的因子集合将用于联合图优化。
• 此外，我们将当前帧-局部地图匹配，用于姿势优化，而不是像 LOAM 那样将当前帧-全局地图匹配。在局部尺度而非全局尺度上进行扫描匹配大大提高了系统的实时性能，选择性地引入关键帧和高效的滑动窗口方法也是如此，这种方法将新的关键帧注册到一组固定大小的先前 "子关键帧组 "中。

相关工作

激光雷达测距通常是通过使用 ICP 和 GICP 等扫描点云匹配方法找到两个连续帧之间的相对变换。

由于计算效率高，基于特征的匹配方法已成为替代全点云匹配的流行方法。例如，基于平面的配准方法，假定在结构化环境中进行操作，从点云中提取平面，并通过求解最小二乘问题对其进行匹配。基于线的测距方法，线段从原始点云中生成，随后用于配准。

然而，由于目前三维激光雷达的旋转机制和传感器的运动，扫描点云往往是畸变的。仅使用激光雷达进行姿态估计并不理想，因为使用畸变的点云或特征进行注册最终会导致较大的漂移。

因此，激光雷达通常与 IMU 和 GPS 等其他传感器结合使用，用于状态估计和绘图。这种利用传感器融合的设计方案通常可分为两类：松耦合融合和紧耦合融合。

• 在 LOAM 中，IMU 被引入对激光雷达扫描进行去畸变，并为扫描匹配提供运动先验。但是，IMU 并不参与算法的优化过程。因此，LOAM 可以归类为一种松耦合方法。LeGO-LOAM 对 IMU 测量的融合与 LOAM 相同。
• 使用扩展卡尔曼滤波器（EKF）进行松耦合融合是一种更为流行的方法。例如，在机器人状态估计的优化阶段使用 EKF 对激光雷达、IMU 和 GPS 的测量输出（即分开计算，仅对结果进行 EKF）进行融合。

紧耦合系统通常能提高精度，是目前研究的重点方向。

• R-LINS 使用误差状态卡尔曼滤波器，以紧耦合的方式递归修正机器人的状态估计。但由于缺乏用于状态估计的其他可用传感器，它在长时间导航过程中会出现漂移。
• LIOM 紧耦合联合优化了激光雷达和IMU的测量结果，与 LOAM 相比，LIOM 能达到相似甚至更高的精度。由于 LIOM 是为处理所有传感器数据而设计的，因此无法实现实时性能。

方法论

系统概述

首先定义在整个论文中使用的框架和符号。我们将世界坐标系表示为 $\mathbf{W}$，机器人本体坐标系表示为 $\mathbf{B}$，为方便起见，我们还假设 IMU 坐标系与机器人本体坐标系重合。机器人状态 $\mathbf{x}$ 可以写成:

$$\mathbf{x}=\left[\mathbf{R}^{\mathbf{T}}, \mathbf{p}^{\mathbf{T}}, \mathbf{v}^{\mathbf{T}}, \mathbf{b}^{\mathbf{T}}\right]^{\mathbf{T}},$$

其中 $\mathbf{R} \in S O(3)$ 是旋转矩阵， $\mathbf{p} \in \mathbb{R}^3$ 是位移向量，$\mathbf{v}$ 为速度，$\mathbf{b}$ 为 IMU 的偏置。从 $\mathbf{B}$ 到 $\mathbf{W}$ 的坐标变换表示为 $\mathbf{T}=[\mathbf{R} \mid \mathbf{p}]$，$\mathbf{T} \in S E(3)$。

如上图所示，系统接收来自 3D 激光雷达、IMU 和 GPS 的传感器数据。我们试图利用这些传感器的观测数据来估计机器人状态及其轨迹。

这个状态估计问题可以表述为最大后验（MAP）问题。与贝叶斯网相比，因子图更适合进行推理，因此我们使用因子图来模拟这一问题。

在高斯噪声模型的假设下，我们问题的 MAP 推理等同于求解非线性最小二乘问题。需要注意的是，在不失一般性的前提下，所提出的系统还可以结合其他传感器的测量结果，如高度计的海拔高度或罗盘的航向。

我们引入了四种类型的因子，以及一种用于因子图构建的变量类型。该变量代表机器人在特定时间的状态，被归属于图节点。分别是：(a) IMU 预积分因子，(b) 激光雷达里程因子，© GPS 因子，以及 (d) 闭环因子。

当姿态变化超过定义的阈值时，就会在图中添加一个新的机器人状态节点 $\mathbf{x}$。在插入新节点时，会使用贝叶斯树（iSAM2）进行增量平滑和映射，对因子图进行优化。这些因子的生成过程将在以下章节中介绍。

IMU 预积分因子

IMU 的角速度和加速度测量值由公式 2 和 3 确定：

$$\begin{aligned}& \hat{\omega}_t=\omega_t+\mathbf{b}_t^\omega+\mathbf{n}_t^\omega \\& \hat{\mathbf{a}}_{\ell}=\mathbf{R}_t^{\mathrm{BW}}\left(\mathbf{a}_t-\mathbf{g}\right)+\mathbf{b}_t^{\mathbf{a}}+\mathbf{n}_t^{\mathbf{a}},\end{aligned}$$

其中 $\hat{\boldsymbol{\omega}}_t$ 和 $\hat{\mathbf{a}}_t$ 是 IMU 在坐标系 $\mathbf{B}$ 下 $t$ 时刻的原始测量数据，而 $\hat{\boldsymbol{\omega}}_t$ 和 $\hat{\mathbf{a}}_t$ 同样都受到缓慢变化的偏置 $\mathbf{b}_t$ 和白噪声
$\mathbf{n}_t$ 的影响。$\mathbf{R}_t^{\mathbf{B W}}$ 是从坐标系 $\mathbf{W}$ 到 $\mathbf{B}$ 的转换变换矩阵。$\mathrm{g}$ 是坐标系 $\mathbf{W}$ 下的常数重力值。

现在可以使用 IMU 的测量值来推断机器人的运动。机器人在 $t+\Delta t$ 时刻的速度、位置和旋转可计算为:

$$\begin{aligned}\mathbf{v}_{t+\Delta t}=\mathbf{v}_t & +\mathbf{g} \Delta t+\mathbf{R}_t\left(\hat{\mathbf{a}}_t-\mathbf{b}_t^{\mathbf{a}}-\mathbf{n}_t^{\mathbf{a}}\right) \Delta t \\\mathbf{p}_{t+\Delta t}=\mathbf{p}_t & +\mathbf{v}_t \Delta t+\frac{1}{2} \mathbf{g} \Delta t^2 \\& +\frac{1}{2} \mathbf{R}_t\left(\hat{\mathbf{a}}_t-\mathbf{b}_t^{\mathbf{a}}-\mathbf{n}_t^{\mathbf{a}}\right) \Delta t^2 \\\mathbf{R}_{t+\Delta t}= & \mathbf{R}_t \exp \left(\left(\hat{\boldsymbol{\omega}}_t-\mathbf{b}_t^{\boldsymbol{\omega}}-\mathbf{n}_t^{\boldsymbol{\omega}}\right) \Delta t\right),\end{aligned}$$

其中 $\mathbf{R}_t=\mathbf{R}_t^{\mathbf{W B}}=\mathbf{R}_t^{\mathbf{B W} \mathbf{W}^{\top}}$。 这里我们假设在上述 $\Delta t$ 积分过程中，$\mathbf{B}$ 的角速度和加速度保持不变。

然后，我们使用 IMU 预积分方法来获得两个时间帧之间的物体相对运动。时间 $i$ 和 $j$ 之间的预积分测量 $\Delta \mathbf{v}_{i j}, \Delta \mathbf{p}_{i j}$ 和 $\Delta \mathbf{R}_{i j}$ 可以使用以下方法计算:

$$\begin{aligned}\Delta \mathbf{v}_{i j} & =\mathbf{R}_i^{\top}\left(\mathbf{v}_j-\mathbf{v}_i-\mathbf{g} \Delta t_{i j}\right) \\\Delta \mathbf{p}_{i j} & =\mathbf{R}_i^{\top}\left(\mathbf{p}_j-\mathbf{p}_i-\mathbf{v}_i \Delta t_{i j}-\frac{1}{2} \mathbf{g} \Delta t_{i j}^2\right) \\\Delta \mathbf{R}_{i j} & =\mathbf{R}_i^{\top} \mathbf{R}_j .\end{aligned}$$

除了效率之外，应用 IMU 预积分还自然而然地为我们提供了一种因子图约束–IMU 预积分因子。在因子图中，IMU 偏置与激光雷达里程因子共同优化。

激光雷达里程因子

当新的激光雷达扫描帧到达时，首先进行特征提取。通过评估局部区域内各点的粗糙度来提取边缘和平面特征。粗糙度值较大的点被归类为边缘特征。同样，粗糙度值较小的点被归类为平面特征。

我们将第 $i$ 时间激光雷达扫描提取的边缘和平面特征分别称为 $\mathrm{F} _{i}^{e}$ 和 $\mathrm{F} _{i}^{p}$。第 $i$ 个时间点提取的所有特征组成一个激光雷达帧 $\mathbb{F} _{i}$ ，其中 $\mathbb{F} _{i} = \{\mathrm{F} _{i}^{e} , \mathrm{F} _{i}^{p}\}$。请注意，激光雷达帧 $\mathbb{F}$ 是用 $\mathbf{B}$ 表示的。关于特征提取过程的更详细说明，请参阅 LOAM 文献，如果使用的是测距图像，则请参阅 LeGO-LOAM 文献。

使用所有激光雷达帧来计算并向图中添加因子在计算上是难以实现的，因此我们采用了关键帧选择的概念，这一概念在视觉 SLAM 领域得到了广泛应用。我们采用一种简单而有效的启发式方法，当机器人姿势变化与之前的状态 $\mathbf{x}_i$ 相比超过用户定义的阈值时，就会选择一个激光雷达帧 $\mathbb{F} _{i+1}$ 作为关键帧。新保存的关键帧 $\mathbb{F} _{i+1}$ 与因子图中新的机器人状态节点 $\mathbf{x}_{i+1}$ 相关联。两个关键帧之间的激光雷达帧将被丢弃。以这种方式添加关键帧不仅能在地图密度和内存消耗之间取得平衡，还有助于保持相对稀疏的因子图，适合实时非线性优化。在我们的工作中，添加新关键帧的位置和旋转变化阈值分别选为 1m 和 10°。

假设希望在因子图中添加一个新的状态节点 $\mathbf{x}_{i+1}$。与该状态相关的激光雷达关键帧为 $\mathbb{F} _{i+1}$。激光雷达测距因子的生成步骤如下：

1、子关键帧组合成体素图：采用滑动窗口法创建点云图，其中包含固定数量的最近激光雷达扫描帧。我们不对两个连续激光雷达扫描之间的变换进行优化，而是提取最近的 $n$ 个关键帧（称之为子关键帧）进行估计。然后使用与之相关的变换 $\{ {\mathbf{T}}_{i-n},\dots , {\mathbf{T}}_{i}\}$ 将子关键帧集合 $\{ {\mathbb{F}}_{i-n},\dots , {\mathbb{F}}_{i}\}$ 变换为帧 $\mathbf{W}$。转换后的子关键帧合并成一个体素图 $\mathbf{M}_i$。由于我们在前面的特征提取步骤中提取了两种类型的特征，因此 $\mathbf{M}_i$ 由两个子体素图组成，分别表示为边缘特征体素图 $\mathbf{M}^e_i$ 和平面特征体素图 $\mathbf{M}^p_i$。激光雷达帧和体素图之间的关系如下：

$$\mathbf{M}_i = \{\mathbf{M}^e_i, \mathbf{M}^p_i\} \\where : \begin{aligned}\mathbf{M}^e_i= '\mathrm{F}^e_i\cup'\mathrm{F}^e_{i-1}\cup\dots\cup'\mathrm{F}^e_{i-1} \\\mathbf{M}^p_i= '\mathrm{F}^p_i\cup'\mathrm{F}^p_{i-1}\cup\dots\cup'\mathrm{F}^p_{i-1}\end{aligned}$$

$'\mathrm{F}^e_i$ 和 $'\mathrm{F}^p_i$ 是 $\mathbf{W}$ 中经过转换的边缘特征和平面特征。然后对 $\mathbf{M}_i$ 和 $\mathbf{M}^e_i$ 进行降采样，以消除位于同一体素单元中的重复特征。本文选择 $n$ 为 25。$\mathbf{M}_i$ 和 $\mathbf{M}^e_i$ 的下采样分辨率分别为 0.2m 和 0.4m。

2、扫描匹配：我们通过扫描匹配将新获得的激光雷达帧 $\mathbb{F}_{i+1}$（$\{\mathrm{F} _{i+1}^{e} , \mathrm{F} _{i+1}^{p}\}$与 $\mathbf{M}_i$ 匹配。有多种扫描匹配方法可用于此目的，如 ICP 和 GICP。在这里，我们选择使用 LOAM 中提出的方法，因为该方法计算效率高，而且在各种具有挑战性的环境中都很稳健。

我们首先将 $\{\mathrm{F} _{i+1}^{e} , \mathrm{F} _{i+1}^{p}\}$ 从 $\mathbf{B}$ 变换到 $\mathbf{W}$，得到 $\{'\mathrm{F} _{i+1}^{e} , '\mathrm{F} _{i+1}^{p}\}$。这个初始变换是利用 IMU 预测的机器人 $\tilde{\mathbf{T}}_{i+1}$ 的运动得出的。对于 $'\mathrm{F} _{i+1}^{e}$ 或 $'\mathrm{F} _{i+1}^{p}$ 中的每个特征，我们都要在 $\mathbf{M}^p_i$ 或 $\mathbf{M}^e_i$ 中找到其边缘或平面对应关系。

3、相对变换： 特征与其边缘或平面块对应关系之间的距离可以通过以下公式计算出来：

$$\begin{gathered}\mathbf{d}_{e_k}=\frac{\left|\left(\mathbf{p}_{i+1, k}^e-\mathbf{p}_{i, u}^e\right) \times\left(\mathbf{p}_{i+1, k}^e-\mathbf{p}_{i, v}^e\right)\right|}{\left|\mathbf{p}_{i, u}^e-\mathbf{p}_{i, v}^e\right|} \\\mathbf{d}_{p_k}=\frac{\left|\begin{array}{c}\left(\mathbf{p}_{i+1, k}^p-\mathbf{p}_{i, u}^p\right) \\\left(\mathbf{p}_{i, u}^p-\mathbf{p}_{i, v}^p\right) \times\left(\mathbf{p}_{i, u}^p-\mathbf{p}_{i, w}^p\right)\end{array}\right|}{\left|\left(\mathbf{p}_{i, u}^p-\mathbf{p}_{i, v}^p\right) \times\left(\mathbf{p}_{i, u}^p-\mathbf{p}_{i, w}^p\right)\right|},\end{gathered}$$

其中 $k, u, v$, 和 $w$ 是相应集合中的特征索引。 对于${ }^{\prime} \mathrm{F}_{i+1}^e$ 中的边缘特征 $\mathbf{p}_{i+1, k}^e$ , $\mathbf{p}_{i, u}^e$ 和 $\mathbf{p}_{i, v}^e$是 $\mathbf{M}^e_i$ 中构成相应边缘线的点。 对于${ }^{\prime} \mathrm{F}_{i+1}^p$ 中的平面特征 $\mathbf{p}_{i+1, k}^p$ , $\mathbf{p}_{i, u}^p, \mathbf{p}_{i, v}^p$, 和 $\mathbf{p}_{i, w}^p$ 在 $\mathbf{M}^p_i$ 中构成相应的平面块。然后使用高斯牛顿法求解最优变换，即最小化：

$$\min _{\mathbf{T}_{i+1}}\left\{\sum_{\mathbf{p}_{i+1, k}^e \in \in^{\prime} \mathbf{F}_{i+1}^e} \mathbf{d}_{e_k}+\sum_{\mathbf{p}_{i+1, k}^p \in \mathrm{F}_{i+1}^p} \mathbf{d}_{p_k}\right\} .$$

最后，我们可以得到 $\mathrm{x}_i$ 和 $\mathrm{x}_{i+1}$ 之间的相对变换 $\Delta \mathbf{T}_{i, i+1}$，它是连接这两个位置的激光雷达因子：

$$\Delta \mathbf{T}_{i, i+1}=\mathbf{T}_i^{\top} \mathbf{T}_{i+1}$$

我们注意到，获取 $\Delta \mathbf{T}_{i, i+1}$ 的另一种方法是将子关键帧转换为 $\mathrm{x}_i$ 帧。换句话说，我们将 $\mathbb{F}_{i+1}$ 与 $\mathrm{x}_i$ 帧所代表的体素图相匹配。这样，就可以直接得到真正的相对变换 $\Delta \mathbf{T}_{i, i+1}$。由于变换后的特征 $\mathbf{M}^p_i$ 或 $\mathbf{M}^e_i$ 可以多次重复使用，因此我们选择使用上上节中描述的方法，以提高计算效率。

GPS因子

虽然我们可以仅利用 IMU 预积分和激光雷达测距因素来获得可靠的状态估计和绘图，但系统在长时间导航任务中仍会受到漂移的影响。为了解决这个问题，我们可以引入能够提供绝对测量值的传感器来消除漂移。这类传感器包括高度计、指南针和全球定位系统。为了便于说明，我们在此讨论 GPS，因为它在现实世界的导航系统中得到了广泛应用。

当我们接收到 GPS 测量值时，我们将其转换为本地直角坐标。在因子图中添加一个新节点后，我们就会将一个新的 GPS 因子与该节点关联起来。如果 GPS 信号与激光雷达帧没有硬件同步，我们将根据激光雷达帧的时间戳对 GPS 测量值进行线性插值。

我们注意到，由于激光雷达惯性里程测量的漂移增长非常缓慢，因此在有 GPS 接收信号的情况下无需不断添加 GPS 因子。实际上，我们只在估计的位置协方差大于接收到的 GPS 位置协方差时才添加 GPS 因子。

闭环因子

与 LOAM 和 LIOM 不同的是，由于使用了因子图，闭环也可以无缝地纳入到所提出的系统中。为了便于说明，我们描述并实现了一种基于欧氏距离的简单但有效的闭环检测方法。我们还注意到，我们提出的框架与其他环路闭合检测方法兼容，它们生成点云描述符并用于地点识别。

当一个新的运动状态 $\mathrm{x}_{i+1}$ 被添加到因子图中时，我们首先搜索因子图，找出在欧几里得空间中与 $\mathrm{x}_{i+1}$ 相近的先验状态。例如，如图所示，$x_3$ 就是返回的候选状态之一。然后，我们尝试使用扫描匹配法将 $\mathbb{F}_{i+1}$ 与子关键帧 $\{\mathbb{F}_{3-m},\cdots,\mathbb{F}_{3}\,\cdots,\mathbb{F}_{3+m}\}$ 匹配。需要注意的是，在扫描匹配之前，$\mathbb{F}_{i+1}$ 和过去的子关键帧首先要转换成 $\mathbf{W}$。我们得到相对变换 $\Delta \mathbf{T}_{3, i+1}$ 并将其作为循环闭合因子添加到图中。在本文中，我们选择指数 m 为 12，并将从新状态 $\mathrm{x}_{i+1}$ 开始的闭环搜索距离设定为 15m。

在实践中，我们发现当全球定位系统是唯一可用的绝对传感器时，添加闭环因子对修正机器人高度漂移特别有用。这是因为全球定位系统的海拔测量非常不准确–在我们的测试中，在没有闭环的情况下，海拔误差接近 100 米。

当处理需要估计系统状态的问题时，卡尔曼滤波（KF）、扩展卡尔曼滤波（EKF）、误差状态卡尔曼滤波（ESKF）是常用的滤波算法。它们通过融合系统模型和测量数据，提供准确的状态估计，适用于导航、自动驾驶、机器人定位等领域。

• 卡尔曼滤波（Kalman Filter，KF）：

  • 一种递归的、优化的状态估计算法，用于线性系统和高斯噪声下的状态估计。
  • 通过动态模型和测量模型，实现预测和更新状态估计。
  • 由Rudolf E. Kálmán在1960年提出，旨在解决航天任务中的导航和控制问题。KF通过最小化均方误差来优化状态估计。

• 扩展卡尔曼滤波（Extended Kalman Filter，EKF）：

  • 通过使用泰勒展开来线性化非线性系统模型，从而进行状态估计，适用于一些中度非线性问题。
  • 用于处理一些非线性系统，如机器人定位、传感器融合等领域，其中系统模型可以通过非线性函数描述。
  • 扩展卡尔曼滤波由Paul J. Werbos在1971年提出，是为了处理非线性系统而发展的。

• 误差状态卡尔曼滤波（Error-State Kalman Filter，ESKF）：

  • ESKF是在EKF的基础上引入误差状态来进行状态估计的改进方法， 它将系统状态分解为真实状态和误差状态，并通过对误差状态进行卡尔曼滤波来提高估计精度。
  • 引入误差状态来提高状态估计精度，同时考虑系统不确定性，用于非线性系统和传感器误差较大的环境。
  • ESKF在惯性导航和机器人定位中应用广泛，旨在克服EKF线性化误差累积和传感器误差的限制。

这些算法在实际应用中用于估计无法直接观测到的系统状态，如导航、机器人定位、目标跟踪、自动驾驶等领域。选择合适的算法取决于系统的性质、模型的复杂性以及应用的需求。KF、EKF、ESKF等是状态估计领域中的基础滤波算法，而且还有其他滤波方法，可以根据具体情况进行选择。

卡尔曼滤波（Kalman Filter，KF）

B站 DR_CAN-卡尔曼滤波器 视频讲解
Dezeming Family - 详细推导 文档