首页

2023-11-21T08:47:19Z

Huangzhaowei：已保护“首页”（[编辑=仅允许管理员]（无限期）[移动=仅允许管理员]（无限期））

使用手册 - 激光＋纹理导航

2023-11-21T08:47:03Z

Huangzhaowei：已保护“使用手册 - 激光+纹理导航”（[编辑=仅允许管理员]（无限期）[移动=仅允许管理员]（无限期））

= 1.什么是纹理导航？ =
一种基于地面图像纹理的视觉导航方法。硬件上由下视摄像头，补光灯(对光线有一定要求)等组成。纹理导航利用地面丰富的纹理信息，基于相位相关法和极坐标转换来计算出两图间的位移和旋转，对比地图已知的绝对坐标获取当前位置。

不需对地面进行额外处理，无需安装反射板、磁条等，确保灵活性及扩展性。该方案性价比高、无需改造现场环境、施工周期短、能适应复杂应用场景。

= 2.纹理导航适用的场景 =
纹理导航适用于一些特定的环境场景，其中地面或环境中存在明显的纹理特征，如金刚砂硬化地坪，普通水泥地坪，瓷砖地坪，车间铺设重复纹理的地板，且地板纹理重复度大于相机视野即可，且多灰尘，油污等，地面纹理极少，且经常变化，不适合使用纹理导航

1，金刚砂硬化地坪，有反光但纹理清晰。需要注意补光[[文件:金刚砂.jpg|某现场金刚砂地面环境|缩略图|542x542像素|无]]

[[文件:金刚砂地面.png|常规的金刚砂地面 |无|有框]]2，瓷砖地面，有反光，纹理清晰。亮色系，补光容易。要求瓷砖尺寸>视觉相机视野（15*15cm）[[文件:瓷砖地面.png|某酒店地面|有框|无]]

[[文件:瓷砖地面-总.png|常见的瓷砖地面|有框|无]]

[[文件:瓷砖地纹.png|瓷砖地面纹理地图|有框|无]]3，普通水泥，补光容易，纹理清晰[[文件:水泥地面.png|普通水泥|有框|无]]

= 3.纹理导航不适用的场景 =
不适用地面：地面反光且无纹理或纹理特征不明显的场地，不适用。

A. 纹理没有或者极少，相机获取不到纹理特征，理论上无法实现。

B. 打光困难，地面反光获取特征不是地面的真实情况，算法无法消除。

C. 地面磨损，纹理极容易被损坏。

D. 灰尘油污大的场地，地面纹理特征不稳定，经常变化，如室外泥泞环境。需要增加外部可靠纹理，保证导航稳定性能。

E. 少纹理或者重复小纹理地面，例如载货电梯内部地面。需要增加外部标识，使纹理特征大于相机视野（15*15cm）

例如：

1，环氧地坪，补光困难，初期缺少视觉纹理导航必须的地面纹理。地面容易划伤，纹理不稳定。[[文件:环氧地坪.png|环氧地坪图片|有框|无]]2，重复小纹理地面，纹理特征不明显[[文件:扶梯地面.png|扶梯地面|有框|无]]

= 4.纹理导航相比较SLAM的优缺点 =
纹理导航和SLAM是两种不同的导航方法，各自具有优缺点，适用于不同的应用场景

'''优点'''
* 简单实时性：纹理导航实现简单，通常具有较好的实时性，适用于对实时性要求较高的应用。
* 成本较低：相对于SLAM需要的昂贵传感器，纹理导航通常可以通过普通的相机或传感器实现，降低了系统成本。
* 适用广泛：适用于各类有明显地面纹理的场所。
* 相比较SLAM精度更稳定,精度可稳定在正负5mm以内
'''缺点'''
* 局部信息：纹理导航一般只能提供相对局部的信息，不能构建全局一致的地图，因此适用于需要全局感知的场景有限。
* 对地面特征依赖性强：纹理导航依赖于地面的特征，如果地面特征变化或受到遮挡，可能会影响导航的准确性。
* 大场景建图耗时，需要地面弹线，修图，相比较slam实施较为耗时，麻烦。

= 5.纹理相机设计安装要求 =
1，相机安装务必设计在车体运动中心-（越偏心安装会降低稳定性，导致车体晃动时可能造成脱轨，纹理相机视野15cm*15cm较小）

2，有可高度的活动支架

3，有较好的补光机构

= 6.使用纹理导航前的准备工作 =

==== 1．'''准备工作''' ====
1. 配置Medulla startup保证可以读取到相机图像数据，加载MVCamera.dll，如下方式

mv=io load plugins/MVCamera.dll

maincam=mv initMono MG010 //MG010为该相机型号

打开Medulla.exe后就可以看到图像此准备工作完成

[[文件:Image1.png|无框|658x658像素]]

Detour根目录下需要有regcore_cuda和cufft64库文件

2. 修改相机曝光参数，此处我们以海康相机为例，打开相机MVS软件，选择对应网卡的相机，双击，启动相机，就可以看到画面了，然后再右侧栏目中，调节相机的亮度和曝光即可，保证能够清晰的看到地面纹理即可,
[[文件:Cas.png|无|缩略图|656x656像素|海康MVS软件]]
在这个过程中我们需要保证补光均匀，需要设计一个合理的补光结构，如下图。调整补光机构，直至地面没有明显的反光点或暗部。然后可在平整的地面上贴一张白纸，可以清楚的看出反光情况，将用于纹理匹配的15*15cm区域截图，使用相机补光测试工具，可以计算出方差，一般方差在20以内可认为补光均匀，相机补光测试工具：https://e.gitee.com/Fairyland_1/projects/511612/repos/Fairyland_1/the-testofimageuniformity/sources<nowiki/>。

[[文件:纹理.png|无框|661x661像素]]

1. 标定相机

（1）. 准备15cm*15cm的标定纸（见下图），贴在平整的地面上，相机必须能够完全看到标定纸中的方格，为消除畸变对相机的影响，在使用前需要相对相机进行标定，由于相机的透镜影响，以及相机在机械组装过程中的误差会使得光线穿过透镜投影到成像面时位置会发生变化。由透镜引起的畸变称之为“径向畸变”。在实际拍摄中径向畸变会使得一条直线在图片中变为曲线。通常分为桶形畸变和枕形畸变，目前标定摄像头主要为消除桶形畸变，如下图，左侧是标定后，右侧是未标定过的。
[[文件:标定纸.png|无|有框|15*15标定纸]][[文件:标定.png|836x836像素]]

（2）. 打开Detour.exe，打开车体编辑器，添加下视摄像头，选择该组件，名称改成”maincam”和medulla加载的名称一致即可，修改相机和雷达的位置，使其和机械设计的真实位置一致
[[文件:Detour参数.png|无框|941x941像素]]

（3）. 点击动作-双击捕捉即可看到相机画面，再双击校准，我们进行标定工作，这块需要很有耐心。
[[文件:标定1.png|无|有框]]

（4）打开校准的界面后，我们可以看到相机画面以及标定线，点击修改校准点，然后，鼠标依次对着标定值黑色的方框点，从左到右把点标记，如下图
[[文件:标定-2.png|无|有框]]

''一定要耐心，5分钟内就可以标定好，标定完成后会提示准备就绪，可以观察右下角的提示，可以知道目前正在标定哪一个点。标定完成后，左下角会有“就绪”的提示。''
[[文件:标定3.png|无|缩略图|513x513像素]]
（5）标定好后，我们选择摄像头，选择”保存校准数据”，然后再点击”校准数据另存为”保存到Detour目录下即可，然后保存下导航配置
[[文件:标定保存.png|无|有框]]''<big>'''注意：如果涉及到多个车，需要用同一个位置的地纹标定纸来进行标定'''</big>''

= 7.地纹地图录制 =

==== 1，建图方式 ====

* 纯地纹建图--------大场景施工繁琐，耗时耗力
* 激光+地纹建图----施工方便

(1)纯地纹建图，需要地面做标记，可以墨斗弹线/铺设标定线，目的是为了修图，因为纹理录的过程中会有误差，所以通过标定线来有目标性的进行图优化，可以看图6.1.1以及图6.1.2通过优化可以保证所有帧中的标定线处于同一水平，
[[文件:地纹地面弹线.png|无|有框|地面5mm标定线]]
[[文件:地纹纹理11.png|无|有框|6.1.1 连续录制的地面纹理地图-未修图]]
[[文件:E124eba91f7b7a4c8a707a412cf6ddb.png|无|缩略图|965x965像素|6.1.2 连续录制的地面纹理地图-修图后]]
（2）激光+地纹，是指在提前录制好激光地图的基础上，录制地纹，这个情况可以不需要标定线，但是有标定线也可以更方便的辅助修图。
[[文件:激光+地纹.png|无|有框|链接=文件:激光_地纹.png]]

==== 2,开始建图 ====
1. 打开Detour.exe，选择里程计-添加里程计-地面纹理导航
[[文件:Detour-添加地纹里程计.png|无|缩略图|547x547像素]]
2. 点击地面纹理导航，添加图层，默认ground名称即可，这步结束后，保存下导航配置
[[文件:地纹里程计2.png|无|缩略图|547x547像素]]
3. 保存导航配置后，关闭detour，若使用多个传感器，如“激光+地纹”，需打开detour.json，找到useTC，设置为true。重启下detour,这时候就可以看到小车下有地面的图像了
[[文件:地纹里程计3.png|无|有框]]
4. 点击自动更新图层即可开启建图模式，对于纯纹理导航，需要按照标线遥控小车，把对应位置纹理录进去，对于激光+地纹，可以直接下发激光路径，在走激光的时候录制地纹地图。
[[文件:更新.png|无|有框]]
注意：激光+地纹录制的时候，我们需要注意按照以下步骤

（1）保证AGV行驶激光路径精度正常，比如一条10米直线，AGV行驶过程整体行驶姿态误差都较为稳定

（2）关闭图优化，取消勾选，会使得地纹关键帧停留在原始位置上不动
[[文件:9906be627cab3cbfb3d49d0f6a38747.png|无|有框]]

（3）Simple下发一段路径，同时开启地纹自动更新图层，即可开启纹理录制了

（4）每隔一段距离，锁一下最后一个关键帧，再开启图优化，就会把之前建的纹理图给优化好。然后再关闭，再走，走完后再锁一个关键帧.......以此类推。

（5）录好后锁定图层，然后另存图层，保存导航配置即可，这样下次打开detour会自动加载地纹图层

= 8.注意点 =
1，若使用激光+地纹方案，Detour中激光以及纹理相机的xyth需要按照实际物理位置填写，车体运动中心为坐标原点，前进方向为x正，前进方向左侧y正

2，由于地纹相机实时性比较高因此，不同雷达配合地纹使用需要修改time_bias_ms，镭神3d激光相比较相机大概延迟100ms左右，因此我们需要把相机的time_bias_ms改成-100

[[文件:Maincam.png|无框]]

3，fitTCfactor参数可以配置多传感器耦合的权重，越低则代表该传感器越不重要

4，实际使用中，可能需要用到相机校准中的“反转和旋转功能”，在进行建图时，若出现车辆在地图中的移动情况与实际情况不一致，需使用“反转和旋转功能”使运动与建图情况一致。例如车往x正方向走，地纹图层应与车辆运动轨迹一致，若出现地纹图层以车为原点向x正方向延申，表示此时地纹里程计方向错误，需要点击“反转和旋转”中的横向翻转。

首页

2023-11-21T08:46:31Z

Huangzhaowei：/* 使用手册 */

Simple-API

2023-11-09T08:06:18Z

Huangzhaowei：创建空白页面

首页

2023-11-05T02:02:21Z

Huangzhaowei：

使用手册 - Simple:coder（路径编译器）机制详解

2023-11-04T04:40:02Z

Huangzhaowei：

== 1.概念 ==
路径编译是MDCS架构中一个重要概念，它是上位调度系统与下位车端系统之间的桥梁。路径编译发生在寻路完成之后，路径编译的操作对象是由“站点、路径、站点、路径......”构成的序列，路径编译的结果是一串AGV可以执行的命令脚本，该脚本对应车端SimpleAGVInterface里面定义的接口。

== 2.机制介绍 ==
我们将编译器称为“coder”，实际业务中，整个编译逻辑是由若干的coder构成的。也就是说，coder在同一个站点或者可以叠加使用。处理路径的，称为trackCoder；处理站点的，称为siteCoder。定义好某个车型的所有coder，就完成了该车型的业务层面的所有行为定义（即，在什么路径/站点上触发什么样的行为）。下面用一个具体的例子详细解释coder运行的机制。

[[文件:B3fa65c75ecd770e5882c459a9b232e.png|无框|600x600像素]]

我们将“小车从A到B”的过程称为一个“plan”。如上图所示，假设已经生成了`模拟车1`的一段plan。该plan包含6个site（站点）、5段track（路径），共11个segment。编译路径时，依据通行顺序检查所有segment。对于每一个segment，若它是站点，则检查所有的siteCoder；若它是路径，则检查所有的路径trackCoder。对于每一个被检查的coder，依次判断其是否能够触发，触发后生成AGV脚本，并判断是否继续检查剩余的coder。如下图所示，为车辆执行的脚本。

[[文件:2ff3859cb01c4c06dfdd71120a5e910.png|无框|600x600像素]]

== 3.TemplateCoderSettings使用方法 ==

=== 3.1 CoderSettings中字段含义 ===
<code>TemplateTrackCoderSettings</code>和<code>TemplateSiteCoderSittings</code>是分别实现trackCoder和SiteCoder的[https://learn.microsoft.com/zh-cn/dotnet/csharp/advanced-topics/reflection-and-attributes/attribute-tutorial Attribute]，通过在Simple工程中xxxCar.cs中小车类之前添加<code>TemplateTrackCoderSettings</code>和<code>TemplateSiteCoderSittings</code>定义站点编译器。下方DummyCar的示例，无条件地将所有路径编译为agv.Go()这一动作：<syntaxhighlight lang="c#" line="1">
class DummyCarTrackField
{
public int speed = -1;
public bool reverse = false;
public int reverseDst = -1;
}

[TemplateTrackCoderSettings(
templateString = "agv.Go(${src.x},${src.y},${src.id},${dst.x},${dst.y},${dst.id},${track.id},${track.speed},${track.reverse || track.reverseDst == dst.id});",
priority = 0,
trackFields = typeof(DummyCarTrackField),
useVerb = "true",
blck)]

[CarType("模拟车")]
public class DummyCar : Car
</syntaxhighlight>CoderSitting中包含以下字段：
{| class="wikitable"
|+
!字段
!类型
!含义
|-
|templateString
|string
|编译后执行的命令
|-
|priority
|int
|优先级，数值越大越先被检查
|-
|siteFields
|Type
|定义站点字段的类的Type
|-
|trackFields
|Type
|定义路径字段的类的Type
|-
|planFields
|Type
|定义车辆字段的类的Type
|-
|useVerb
|string
|触发条件。默认为"true"
|-
|blockVerb
|string
|触发后，若blockVerb为"true"，则不再检查其他优先级更低的coder；若为"false"，则继续检查剩余优先级更低的coder。默认为"false"
|}
其中，<code>templateString</code>、<code>useVerb</code>、<code>blockVerb</code>都是字符串，通过[https://github.com/sebastienros/jint Jint]将字符串视为JavaScript代码，进行解析执行。

<code>templateString</code>、<code>useVerb</code>、<code>blockVerb</code>中可以使用如下定义好的对象。'''注意，<code>TemplateSiteCoderSittings</code>中不可使用<code>src</code>这一字段，<code>dst</code>代表当前站点。'''
{| class="wikitable"
|+
!对象
!含义
! colspan="2" |包含字段
|-
| rowspan="2" |car
| rowspan="2" |当前plan所使用的小车
|car.id
|小车id
|-
| colspan="2" |carFields中定义的其他字段
|-
| rowspan="4" |src
| rowspan="4" |路径起点
|src.id
|起点的id
|-
|src.x
|起点的x坐标
|-
|src.y
|起点的y坐标
|-
| colspan="2" |siteFields中定义的其他字段
|-
| rowspan="4" |dst
| rowspan="4" |路径终点
|dst.id
|终点的id
|-
|dst.x
|终点的x坐标
|-
|dst.y
|终点的y坐标
|-
| colspan="2" |siteFields中定义的其他字段
|-
| rowspan="4" |plan
| rowspan="4" |当前任务
|segN
|任务总元素数
|-
|curSeg
|当前元素下标
|-
|src
|任务起点
|-
|dst
|任务终点
|-
|prev
|前一个segment，若无返回null
|
|
|-
|next
|后一个segment，若无返回null
|
|
|}
<code>templateString</code>、<code>useVerb</code>、<code>blockVerb</code>中还预定义了如下方法：
{| class="wikitable"
|+
!'''方法'''
!'''含义'''
|-
|getSite
|返回指定id的站点
|-
|getTrack
|返回指定id的路径
|-
|getCar
|返回指定id的小车
|-
|getSegment
|返回指定下标的segment
|}

=== 3.2 编写自己的coderSitting ===
以最常见的取放货为例，首席需要将使用的字段定义在类中，站点字段定义在SiteFields类中，路径字段定义在TrackFields类中。

下述coder的执行条件为<code>plan.action=='put'&& dst.shelf</code>，即站点上标记了<code>shelf = true</code>字段，并且这是放货plan时，才会下发<code>templateString</code>中的脚本，并且站点及路径上标记的响应字段的值也会跟随脚本下发。<syntaxhighlight lang="c#" line="1">
class SiteFields
{
public bool shelf = false;
public int obArea = -1;
public int ASNub = -1;
public float angle = 0;
public float shelfWidth = 1030;
public float distance = 500;
}
[TemplateTrackCoderSettings(
priority = 5,
useVerb = "plan.action=='put' && dst.shelf ",
templateString = "agv.Wait();agv.Put(${dst.ASNub},${dst.shelfWidth},${dst.obArea},${src.x},${src.y},${src.id},${dst.x},${dst.y},${dst.id},${track.id},${track.speed},${dst.reverse},${dst.xbias},${dst.ybias},${dst.angle},${dst.distance});agv.Wait();",
blockVerb = "true",
siteFields = typeof(SiteFields),
trackFields = typeof(TrackFields),
planFields = typeof(PlanField))]
</syntaxhighlight>

=== 3.3 simple内置的coder ===
所有的小车类均继承了车体抽象类<code>AbstractCar</code>，抽象类中定义了如下几个coder：

队列动作。在站点的codeQueue字段上定义脚本，在该站点发生路径切换时执行。<syntaxhighlight lang="c#" line="1">
[TemplateSiteCoderSettings(priority = 100,
useVerb = "dst.codeQueue!=null",
templateString = "agv.Queue(()=>{},()=>{${dst.codeQueue}});",
blockVerb = "true",
siteFields = typeof(StandardSiteFields))]
</syntaxhighlight>到达动作。在站点的codeArrive字段上定义AGV脚本，在AGV达到该站点发时（完全停车后）执行。<syntaxhighlight lang="c#" line="1">
[TemplateSiteCoderSettings(priority = 100,
useVerb = "dst.codeArrive!=null && plan.curSeg!=0",
templateString = "agv.Wait(); ${dst.codeArrive};",
siteFields = typeof(StandardSiteFields))]
</syntaxhighlight>离开动作。在站点的codeLeave字段上定义AGV脚本，在AGV从该站点离开之前执行。<syntaxhighlight lang="c#" line="1">
[TemplateSiteCoderSettings(priority = 100,
useVerb = "dst.codeLeave!=null && plan.curSeg!=plan.segN-1",
templateString = "agv.Wait(); ${dst.codeLeave};",
siteFields = typeof(StandardSiteFields))]
</syntaxhighlight>空路径。即指定某段路径不执行具体动作（相当于直接跳过）。<syntaxhighlight lang="c#" line="1">
[TemplateTrackCoderSettings(
priority = 100,
siteFields = typeof(StandardSiteFields),
useVerb = "track.nop && (track.nopDst==-1 || track.nopDst==dst.id)",
blockVerb = "true",
templateString = "agv.Nop(${src.id},${dst.id},${track.id});",
trackFields = typeof(StandardTrackFields))]
</syntaxhighlight>切换动作。在站点的switchString字段上定义脚本，在该站点发生路径切换时执行。一般用于进行障碍物切换。<syntaxhighlight lang="c#" line="1">
[TemplateTrackCoderSettings(
priority = 20,
useVerb = "track.switcher",
templateString = "agv.Queue(()=>{}, ()=>{${dst.switchString};});",
siteFields = typeof(StandardSiteFields),
trackFields = typeof(StandardTrackFields))]
</syntaxhighlight>

== 4.ProgramCoderSettings使用方法 ==

=== 4.1 使用方法 ===
比起TemplateCoderSettings，ProgramCoderSettings提供了更大的编译自由度。使用TemplateCoderSettings，只能访问到上一小节中提供的字段和方法，并且想要构建两个segment之间的上下文关系，是比较困难的。例如，考虑二维码导航的情况：小车在行进之前，需要根据当前朝向和目标行走方向的偏差，进行旋转。这条旋转指令用到了segment之间的上下文关系，且编译过程需要用到小车朝向、路径朝向的信息。

对于站点和路径，分别有<code>ProgramTrackCoderSettings</code>和<code>ProgramSiteCoderSettings</code>两种编译器。两者均包含以下两个字段：
{| class="wikitable"
|+
!'''字段'''
!'''类型'''
!'''含义'''
|-
|priority
|int
|优先级，数值越大越先被检查
|-
|program
|Type
|定义coder逻辑的类
|}
<code>ProgramTrackCoderSettings</code>和<code>ProgramSiteCoderSettings</code>的<code>program</code>需赋值为<code>ITrackCoder</code>或<code>ISiteCoder</code>的派生类。这两个Interface定义了coder类的实现方法：<syntaxhighlight lang="c#" line="1">
public interface ISiteCoder
{
bool toBlock();
bool Code(SegmentPlan plan, Site site, int i);
}

public interface ITrackCoder
{
bool toBlock();
bool Code(SegmentPlan plan, Track track, Site src, Site dst, int i);
}
</syntaxhighlight>其中的<code>toBlock()</code>函数的返回值决定是否屏蔽余下优先级更低的coder（与<code>TemplateCoderSettings</code>中的"blockVerb"类似，但<code>toBlock()</code>函数中开发者显然可以根据业务需求编写更复杂的逻辑）；<code>Code()</code>函数的作用是生成当前segment对应的脚本字符串，其输入参数<code>i</code>对应当前segment的下标。生成的命令赋值给<code>plan.codeArr</code>中相应下标的元素，即得到整个执行脚本。

=== 4.2 用例 ===
示例如下，是二维码导航的trackCoder实现：<syntaxhighlight lang="c#" line="1">
class QRTrackFields
{
public int speed = -1;
public bool reverse = false;
public int reverseDst = -1;
}

public class QRGoCoder : ITrackCoder
{
public bool toBlock()
{
return true;
}

public bool Code(SegmentPlan plan, Track track, Site src, Site dst, int i)
{
var trackInfo = StringDictConvert<QRTrackFields>.Convert(track.fields);
var curPathDir = Math.Atan2(dst.y - src.y, dst.x - src.x) / Math.PI * 180;
curPathDir = Math.Round(curPathDir / 90) * 90;

var speed = trackInfo.speed;
var reverse = trackInfo.reverse;
if (trackInfo.reverseDst != -1 && trackInfo.reverseDst == dst.id) reverse = true;

plan.codeArr[i] =
$"agv.QRGo({curPathDir},{reverse.ToString().ToLower()},{src.id},{dst.id},{track.id},{speed});";

return true;
}
}
</syntaxhighlight>

首页

2023-11-02T11:51:21Z

Huangzhaowei：/* 使用手册 */

2023-10-12T11:05:21Z

Huangzhaowei：/* 使用手册 */

2023-10-12T10:57:48Z

Huangzhaowei：

detour-添加地纹里程计

文件:激光+地纹.png

2023-10-12T10:54:53Z

Huangzhaowei：

激光+地纹