常用操作

在使用 VR 遥操设备时，掌握以下操作将有助于您更高效地使用和操作设备。

启动 HMI 界面

ROBOT-CONTROL-HMI（简称 HMI）是用于控制和监控机器人系统的图形用户界面，也是使用 VR 遥操设备时与机器人交互的核心工具。HMI 分为用户端（user）与机器人端（robot）两部分程序，使用前需分别启动，具体操作如下。

启动用户端程序

1. 确认已安装 Microsoft Edge 浏览器，并将其设置为默认浏览器。

2. 在工控机上，打开终端，输入以下命令。

   cd ~
   bash ~/user_docker_start.sh

3. 上述脚本启动后，Microsoft Edge 浏览器会自动打开 HMI 界面。如未自动打开，请手动在浏览器地址栏输入 http://127.0.0.1:4090。

   

   注意

   • 外骨骼设备 、VR 控制设备 和 主动外骨骼设备 是三套独立的设备，因此，在切换 启动外骨骼设备 、启动 VR 控制设备 和 启动主动外骨骼设备 时，需要将上一个设备下启动的所有控制一一关闭，即确保 机器人控制 区域中的按钮均为蓝色按钮，才可切换设备。

   • 如需关闭 HMI，请按以下顺序进行关闭。

     1. 用户端：请先以 Ctrl+C 结束用户端程序，再关闭对应终端，最后关闭 Microsoft Edge 浏览器。
     2. 机器人端：在机器人终端，请执行 sudo reboot 命令，输入当前用户密码，静待 30 秒重启完成即可。

启动机器人端程序

1. 在工控机上，打开另一个新终端，通过 ssh 命令远程连接到机器人终端。

   ssh <用户名>@<机器人 IP 地址>

   注意

   请将 <用户名> 和 <机器人 IP 地址> 替换为实际用户名和 IP 地址。

2. 在连接成功的终端中，输入以下命令。

   cd ~
   bash ~/robot_docker_start.sh

   注意

   如需关闭 HMI，请按以下顺序进行关闭。

   1. 用户端：请先以 Ctrl+C 结束用户端程序，再关闭对应终端，最后关闭 Microsoft Edge 浏览器。
   2. 机器人端：在机器人终端，请执行 sudo reboot 命令，输入当前用户密码，静待 30 秒重启完成即可。

在启动 HMI 界面后，便可使用 VR 设备对机器人进行控制。

使用 VR 设备

前置配置

在使用 VR 设备前，请确保已完成以下前置配置。

提示

以下操作中的点击或确认，可通过按下左/右手柄的食指扳机键来实现。

1. 确保 VR 头显电量充足、已开机，并通过稳定数据线连接至工控机。双手持握手柄后，视角将呈现以下画面。若为首次连接或断开后重连，请点击 Tab 栏通知按钮（小铃铛）进入通知中心。

   

2. 在通知中心，点击 检测到 USB，允许通过 USB 访问头显设备。

   

3. 在如下弹窗中，点击 允许，允许 USB 调试。

   

4. 若以上操作无误，在工控机上打开一个新终端，输入如下命令。若显示以下内容，则表示头显设备已就绪。

   user@user:~$ adb devices
   List of devices attached
   XXXXXXXXXXXXXX  device

   注意

   XXXXXXXXXXXXXX 为头显设备的序列号，可能因设备不同而异，请以实际显示为准。

5. 按下右手柄上的 菜单 键，Tab 栏会重新显示。

   

6. 点击 Tab 栏中的 APP，进入头显控制程序。

   

7. 若显示如下界面，则表示前置配置已完成。

   

启动 VR 控制设备

1. 在确保完成前置配置后，点击 HMI 界面中的 启动 VR 控制设备 按钮。启动成功后，按钮将变为红色，同时文字显示为 停止 VR 控制设备。

   

   注意

   • 外骨骼设备 、VR 控制设备 和 主动外骨骼设备 是三套独立的设备，因此，在切换 启动外骨骼设备 、启动 VR 控制设备 和 启动主动外骨骼设备 时，需要将上一个设备下启动的所有控制一一关闭，即确保 机器人控制 区域中的按钮均为蓝色按钮，才可切换设备。
   • 当机器人发生故障或机械臂运动异常、不受控制时，请立即点击 停止 VR 控制设备 按钮，机器人将紧急停止响应。

2. 查看 系统状态 区域，若 VR 设备状态 显示为 数据正常，共 3 条，则表示启动成功。

启动相机和视频流

1. 在确保完成启动 VR 控制设备后，在 机器人控制 区域，点击 启动 RealSense 相机 按钮。

   

2. 此时页面会弹出如下提示信息，请耐心等待。

   

3. 启动成功后，RealSense 相机会进入自检状态，启动 RealSense 相机 蓝色按钮将变为 停止 RealSense 相机 红色按钮，同时 系统状态 区域中的 RealSense 相机状态为 运行中。

   注意

   该功能为数据采集的核心，若未启动 RealSense 相机，则无法进行数据采集。

   

4. 点击界面右上角的 启动视频流 按钮。

   

5. 弹出如下窗口。该窗口会自动关闭。

   

6. 视频流播放区将显示实时视频流，同时 系统状态 区域中的视频流状态为 运行中。

   

启动机器臂

1. 在确保完成启动相机和视频流后，在 机器人控制 区域，点击 启动机器臂 按钮。

   

2. 此时页面会弹出如下提示信息，请耐心等待。

   

3. 启动成功后，机械臂会进入自检状态，启动机械臂 蓝色按钮将变为 停止机械臂 红色按钮，同时 系统状态 区域中的机械臂状态为 运行中。

   

启动躯干

1. 在确保完成启动相机和视频流后，在 机器人控制 区域，点击 启动躯干 按钮。

   

2. 此时页面会弹出如下提示信息，请耐心等待。

   

3. 启动成功后，躯干会进入自检状态，启动躯干 蓝色按钮将变为 停止躯干 红色按钮，同时 系统状态 区域中的躯干状态为 运行中。

   

启动底盘

1. 将底盘旋钮旋转至 自动模式，并断开充电线缆。

2. 在确保完成启动相机和视频流后，在 机器人控制 区域，点击 启动底盘 按钮。

   

3. 此时页面会弹出如下提示信息，请耐心等待。

   

4. 启动成功后，底盘会进入自检状态，启动底盘 蓝色按钮将变为 停止底盘 红色按钮，同时 系统状态 区域中的底盘状态为 运行中。

   

使用 VR 手柄

在启动 VR 控制设备后，您便可使用 VR 手柄对机器人进行控制。

操作	说明
移动底盘	前进：左手中指扳机 + 左手摇杆向前 后退：左手中指扳机 + 左手摇杆向后 左转：右手中指扳机 + 左手摇杆向左 右转：右手中指扳机 + 左手摇杆向右
跟随机械臂末端	跟随左臂末端：左手食指扳机 跟随右臂末端：右手食指扳机
控制夹爪	左臂夹爪：X 键 右臂夹爪：A 键
控制颈部	偏航：右手控制器的摇杆左右 俯仰：右手控制器的摇杆上下
控制腿部	身体上升：右手中指扳机 + X 键 身体下降：右手中指扳机 + A 键
控制腰部	腰部左转：左手中指扳机 + X 键 腰部右转：左手中指扳机 + A 键
复位机械臂	按下左手柄摇杆

采集数据

在启动 VR 控制设备后，您可以通过 HMI 界面中的 机器人数据采集 功能来采集 VR 遥操设备的数据。

注意

外骨骼设备 、VR 控制设备 和 主动外骨骼设备 是三套独立的设备，请勿混用。

创建任务

1. 在 机器人数据采集 区域，输入任务 ID，点击 创建任务 按钮。

   注意

   任务 ID 只能为纯数字，禁止使用非法字符。

   

   • 若为新任务，页面会弹出如下提示信息。

     

     点击弹窗外空白处，即可关闭弹窗。

   • 若任务 ID 已存在，页面会弹出如下提示信息，点击 确认 按钮，以续存任务。

     

     点击弹窗外空白处，即可关闭弹窗。

     

2. 点击 发送任务 按钮，发送成功后会有弹窗提示。

   注意

   在点击 发送任务 按钮前，请确保已启动相机和机械臂，否则点击按钮将无响应。

   

3. 此时页面会弹出如下提示信息。点击弹窗外空白处，即可关闭弹窗。

   

开始采集

在成功创建任务后，您便可开始采集数据了。

1. 通过以下三种方法中的任意一种，开始采集数据。

   • 点击 开始采集 按钮。 此时页面会弹出如下提示信息。点击弹窗外空白处，即可关闭弹窗。
   • 通过按下键盘 Ctrl+3 快捷键来实现开始采集的功能。（注意：浏览器仅可打开 HMI 页面，请勿打开其他页面，现有快捷键与浏览器切页功能存在冲突。）
   • 通过按下踏板中键来实现开始采集的功能。

2. 开始采集后，机器人数据采集状态 区域中的采集状态从 等待开始 变为 采集中，同时采集时间开始计时。

   

取消采集

在采集过程中，您可以随时取消采集。

1. 通过以下三种方法中的任意一种，取消采集数据。

   • 点击 取消采集 按钮。 此时页面会弹出如下提示信息。点击弹窗外空白处，即可关闭弹窗。
   • 通过按下键盘 Ctrl+4 快捷键来实现取消采集的功能。（注意：浏览器仅可打开 HMI 页面，请勿打开其他页面，现有快捷键与浏览器切页功能存在冲突。）
   • 通过按下踏板右键来实现取消采集的功能。

2. 取消采集后，机器人数据采集状态 区域中的采集状态从 采集中 变为 等待开始，同时运行时间停止计时，采集时间归零。

   

结束采集

在采集完成后，您需要手动结束采集过程。

1. 通过以下三种方法中的任意一种，结束采集数据。

   • 点击 结束采集 按钮。 此时页面会弹出如下提示信息。点击弹窗外空白处，即可关闭弹窗。
   • 通过按下键盘 Ctrl+3 快捷键来实现结束采集的功能。（注意：浏览器仅可打开 HMI 页面，请勿打开其他页面，现有快捷键与浏览器切页功能存在冲突。）
   • 通过按下踏板中键来实现结束采集的功能。

2. 结束采集后，机器人数据采集状态 区域中的采集状态从 采集中 变为 等待开始，同时运行时间停止计时，采集时间归零，数据落盘一条，采集条目数加 1。

   

压缩数据

在完成数据采集后，您需要将数据压缩，便于后续上传和使用。在开始以下操作前，请确保至少已完成一次数据采集。

1. 点击 数据压缩 按钮。

   

2. 在如下弹窗中，输入将要压缩的任务名称，点击 开始压缩 按钮。

   

3. 压缩过程如下，等待压缩完成，点击弹窗外空白处，即可关闭弹窗。

   

上传数据

在完成数据采集和压缩后，您可以使用 数据上传 功能来上传数据。在开始以下操作前，请确保至少已完成一次数据采集和压缩。

1. 点击 数据上传 按钮。

   注意

   在上传过程中，请保持 HMI 界面活跃，且不可切换至浏览器其他标签页，否则可能导致上传失败。

   
2. 在如下弹窗中，请耐心等待数据上传完成，并确认上传的文件数量正确。若需要取消上传，请点击 取消上传 按钮。

   注意

   如果未完全上传成功，可关闭弹窗，尝试再次点击 数据上传 按钮继续上传。

   

使用踏板

键	说明
中键	开始或结束采集
右键	取消采集
左键	标记点位，用于长程任务的分阶段标记，方便数据切分和训练验证。