常用操作

在使用外骨骼遥操设备时，掌握以下操作将有助于您更高效地使用和操作设备。

启动 HMI 界面

ROBOT-CONTROL-HMI（简称 HMI）是用于控制和监控机器人系统的图形用户界面，也是使用外骨骼遥操设备时与机器人交互的核心工具。HMI 分为用户端（user）与机器人端（robot）两部分程序，使用前需分别启动，具体操作如下。

启动用户端程序

1. 确认已安装 Microsoft Edge 浏览器，并将其设置为默认浏览器。

2. 在工控机上，打开终端，输入以下命令。

   cd ~
   bash ~/user_docker_start.sh

3. 上述脚本启动后，Microsoft Edge 浏览器会自动打开 HMI 界面。如未自动打开，请手动在浏览器地址栏输入 http://127.0.0.1:4090。

   

   注意

   • 外骨骼设备 、VR 控制设备 和 主动外骨骼设备 是三套独立的设备，因此，在切换 启动外骨骼设备 、启动 VR 控制设备 和 启动主动外骨骼设备 时，需要将上一个设备下启动的所有控制一一关闭，即确保 机器人控制 区域中的按钮均为蓝色按钮，才可切换设备。

   • 如需关闭 HMI，请按以下顺序进行关闭。

     1. 用户端：请先以 Ctrl+C 结束用户端程序，再关闭对应终端，最后关闭 Microsoft Edge 浏览器。
     2. 机器人端：在机器人终端，请执行 sudo reboot 命令，输入当前用户密码，静待 30 秒重启完成即可。

   提示

   为保证通信，用户端程序约每 10 秒向机器人端发送状态获取请求并更新数据。在两端程序均运行的情况下，仅以下两种场景会导致无法定期获取机器人状态。

   • HMI 界面被关闭：界面被手动关闭且无其他界面时，用户端无法通过浏览器获取机器人端状态。
   • HMI 界面被浏览器后台休眠：多标签页下，若当前视焦未落在 HMI 界面，该界面将被浏览器自动休眠，导致用户端无法发送状态获取请求。

启动机器人端程序

1. 在工控机上，打开另一个新终端，通过 SSH 命令远程连接到机器人终端。

   ssh <用户名>@<机器人 IP 地址>

   注意

   请将 <用户名> 和 <机器人 IP 地址> 替换为实际用户名和 IP 地址。

2. 在连接成功的终端中，输入以下命令。

   cd ~
   bash ~/robot_docker_start.sh

   注意

   如需关闭 HMI，请按以下顺序进行关闭。

   1. 用户端：请先以 Ctrl+C 结束用户端程序，再关闭对应终端，最后关闭 Microsoft Edge 浏览器。
   2. 机器人端：在机器人终端，请执行 sudo reboot 命令，输入当前用户密码，静待 30 秒重启完成即可。

在启动 HMI 界面后，便可使用外骨骼设备对机器人进行控制。

使用外骨骼设备

启动外骨骼控制设备

1. 在启动 HMI 界面后，点击 启动外骨骼设备 按钮。启动成功后，按钮将变为红色，同时文字显示为 停止外骨骼设备。

   

   注意

   • 外骨骼设备 、VR 控制设备 和 主动外骨骼设备 是三套独立的设备，因此，在切换 启动外骨骼设备 、启动 VR 控制设备 和 启动主动外骨骼设备 时，需要将上一个设备下启动的所有控制一一关闭，即确保 机器人控制 区域中的按钮均为蓝色按钮，才可切换设备。
   • 当机器人发生故障或机械臂运动异常、不受控制时，请立即点击 停止外骨骼设备 按钮，机器人将紧急停止响应。

2. 弹出 AI2-HMI 窗口。该窗口将实时显示遥操数据，请勿在操作过程中关闭该窗口。

   

   注意

   • 若仅有一个显示器，请将该窗口最小化，以确保其不影响 HMI 主界面的操作。若有多个显示器，请将该窗口拖动至非主显示器上，便于观察数据变化。
   • 该窗口不会随 HMI 界面的关闭而自动退出，必须通过点击窗口自身的关闭按钮或 HMI 界面上的 停止外骨骼设备 按钮方可将其关闭。
   • 为防止多个窗口同时运行导致显示异常或数据冲突，每次启动前请务必确保仅开启一个 HMI 界面及一个对应的 AI2-HMI 窗口。

启动相机和视频流

1. 在确保完成启动外骨骼设备后，在 机器人控制 区域，点击 启动 RealSense 相机 按钮。

   

2. 此时页面会弹出如下提示信息，请耐心等待。

   

3. 启动成功后，RealSense 相机将进入自检状态，启动 RealSense 相机 蓝色按钮将变为 停止 RealSense 相机 红色按钮，同时 系统状态 区域中的 RealSense 相机状态为 运行中。

   注意

   该功能为数据采集的核心，若未启动 RealSense 相机，则无法进行数据采集。

   

4. 点击界面右上角的 启动视频流 按钮。

   

5. 弹出如下窗口。该窗口会自动关闭。

   

6. 视频流播放区将显示实时视频流，同时 系统状态 区域中的视频流状态为 运行中。

   

启动机器臂

1. 在确保完成启动相机和视频流后，在 机器人控制 区域，点击 启动机器臂 按钮。

   

2. 此时页面会弹出如下提示信息，请耐心等待。

   

3. 启动成功后，机械臂会进入自检状态，启动机械臂 蓝色按钮将变为 停止机械臂 红色按钮，同时 系统状态 区域中的机械臂状态为 运行中。

   

   注意

   在机械臂启动成功后，您需要继续启动随动，并确保机械臂运动正常，方可使用外骨骼设备控制机械臂。

启动随动

1. 在确保完成启动机器臂后，在 机器人控制 区域，点击 启动慢速随动 按钮。

   

2. 此时页面会弹出如下提示信息，机械臂将慢速运动到遥操臂的姿态。确认该姿态正常后，点击 确认 按钮，切换至快速随动。

   提示

   在慢速随动状态下，机械臂会以较慢的速度跟随遥操臂的运动，便于操作者观察机械臂的运动状态，确认机械臂的运动姿态与遥操臂一致且无异常后，再切换至快速随动，以获得更流畅的操作体验。

   

3. 在如下弹窗中，点击 确认 按钮，切换至快速随动。

   

4. 启动成功后，启动慢速随动 蓝色按钮将变为 停止快速随动 红色按钮，同时确认 系统状态 区域中的随动状态为 快速随动。

启动躯干

1. 在确保完成启动相机和视频流后，在 机器人控制 区域，点击 启动躯干 按钮。

   

2. 此时页面会弹出如下提示信息，请耐心等待。

   

3. 启动成功后，躯干会进入自检状态，启动躯干 蓝色按钮将变为 停止躯干 红色按钮，同时 系统状态 区域中的躯干状态为 运行中。

   

启动底盘

1. 将底盘旋钮旋转至 自动模式，并断开充电线缆。

2. 在确保完成启动相机和视频流后，在 机器人控制 区域，点击 启动底盘 按钮。

   

3. 此时页面会弹出如下提示信息，请耐心等待。

   

4. 启动成功后，底盘会进入自检状态，启动底盘 蓝色按钮将变为 停止底盘 红色按钮，同时 系统状态 区域中的底盘状态为 运行中。

   

使用手柄

在启动外骨骼设备后，您便可使用手柄对机器人进行控制。

1. 确保手柄接收器已连接至工控机 USB 接口，并且手柄电量充足。

   注意

   • 严禁使用有线方式连接手柄和工控机。
   • 手柄充电规格为 5V/1-2A，不支持快充功能，请勿使用功率超过 66W 的快充充电器。充电状态指示说明如下。

2. 首次使用手柄时，手柄模式需配置为 安卓模式 -> 接收器 模式。

   配置方法：长按 HOME 键 3 秒，进入模式切换界面，选择 安卓模式 -> 接收器 选项。

3. 在工控机上，打开终端，输入以下命令。

   ros2 run joy joy_node

   注意

   使用手柄期间，请勿关闭该终端窗口，以免导致手柄无法使用。

4. 通过手柄按键，可分别对脖颈、腰腿及底盘进行控制。

   

   操作	说明
   移动底盘	前进后退：LB + 左摇杆 Y 左右转动：LB + 左摇杆 X
   控制脖颈	脖颈左右转头：右摇杆 X 脖颈上下点头：右摇杆 Y
   控制腰腿	腰腿上升：RT + A 腰腿下降：RT + X 腰右转动：LT + A 腰左转动：LT + X 腰前后移动：左摇杆 Y

采集数据

在启动外骨骼设备后，您可以通过 HMI 界面中的 机器人数据采集 功能来采集外骨骼设备的数据。

注意

外骨骼设备 、VR 控制设备 和 主动外骨骼设备 是三套独立的设备，请勿混用。

创建任务

1. 在 机器人数据采集 区域，输入任务 ID，点击 创建任务 按钮。

   注意

   任务 ID 只能为纯数字，禁止使用非法字符。

   

   • 若为新任务，页面会弹出如下提示信息。

     

     点击弹窗外空白处，即可关闭弹窗。

   • 若任务 ID 已存在，页面会弹出如下提示信息，点击 确认 按钮，以续存任务。

     

     点击弹窗外空白处，即可关闭弹窗。

     

2. 点击 发送任务 按钮，发送成功后会有弹窗提示。

   注意

   在点击 发送任务 按钮前，请确保已启动相机和机械臂，否则点击按钮将无响应。

   

3. 此时页面会弹出如下提示信息。点击弹窗外空白处，即可关闭弹窗。

   

开始采集

在成功创建任务后，您便可开始采集数据了。

1. 通过以下三种方法中的任意一种，开始采集数据。

   • 点击 开始采集 按钮。 此时页面会弹出如下提示信息。点击弹窗外空白处，即可关闭弹窗。
   • 通过按下键盘 Ctrl+3 快捷键来实现开始采集的功能。（注意：浏览器仅可打开 HMI 页面，请勿打开其他页面，现有快捷键与浏览器切页功能存在冲突。）
   • 通过按下踏板中键来实现开始采集的功能。

2. 开始采集后，机器人数据采集状态 区域中的采集状态从 等待开始 变为 采集中，同时采集时间开始计时。

   

取消采集

在采集过程中，您可以随时取消采集。

1. 通过以下三种方法中的任意一种，取消采集数据。

   • 点击 取消采集 按钮。 此时页面会弹出如下提示信息。点击弹窗外空白处，即可关闭弹窗。
   • 通过按下键盘 Ctrl+4 快捷键来实现取消采集的功能。（注意：浏览器仅可打开 HMI 页面，请勿打开其他页面，现有快捷键与浏览器切页功能存在冲突。）
   • 通过按下踏板右键来实现取消采集的功能。

2. 取消采集后，机器人数据采集状态 区域中的采集状态从 采集中 变为 等待开始，同时运行时间停止计时，采集时间归零。

   

结束采集

在采集完成后，您需要手动结束采集过程。

1. 通过以下三种方法中的任意一种，结束采集数据。

   • 点击 结束采集 按钮。 此时页面会弹出如下提示信息。点击弹窗外空白处，即可关闭弹窗。
   • 通过按下键盘 Ctrl+3 快捷键来实现结束采集的功能。（注意：浏览器仅可打开 HMI 页面，请勿打开其他页面，现有快捷键与浏览器切页功能存在冲突。）
   • 通过按下踏板中键来实现结束采集的功能。

2. 结束采集后，机器人数据采集状态 区域中的采集状态从 采集中 变为 等待开始，同时运行时间停止计时，采集时间归零，数据落盘一条，采集条目数加 1。

   

压缩数据

在完成数据采集后，您需要将数据压缩，便于后续上传和使用。在开始以下操作前，请确保至少已完成一次数据采集。

1. 点击 数据压缩 按钮。

   

2. 在如下弹窗中，输入将要压缩的任务名称，点击 开始压缩 按钮。

   

3. 压缩过程如下，等待压缩完成，点击弹窗外空白处，即可关闭弹窗。

   

上传数据

在完成数据采集和压缩后，您可以使用 数据上传 功能来上传数据。在开始以下操作前，请确保至少已完成一次数据采集和压缩。

1. 点击 数据上传 按钮。

   注意

   在上传过程中，请保持 HMI 界面活跃，且不可切换至浏览器其他标签页，否则可能导致上传失败。

   

2. 在如下弹窗中，请耐心等待数据上传完成，并确认上传的文件数量正确。若需要取消上传，请点击 取消上传 按钮。

   注意

   如果未完全上传成功，可关闭弹窗，尝试再次点击 数据上传 按钮继续上传。

   

使用踏板

键	说明
中键	开始或结束采集
右键	取消采集
左键	标记点位，用于长程任务的分阶段标记，方便数据切分和训练验证。

标零

标零操作仅在拆装结构后需要进行。当遥操臂姿态与机械臂姿态不一致，且 AI2-HMI 界面未显示超限时，可能为零位异常，请联系售后工程师解决。