GELLO: A General, Low-Cost, and Intuitive Teleoperation Framework for Robot Manipulators

一句话定位

GELLO 是伯克利提出的一套通用、低成本（单套 <$300）遥操作主控臂框架：给定目标机械臂，3D 打印一个按 DH 参数等比缩放（α=0.5）、运动学结构完全一致的”迷你复刻臂”，用廉价可回驱舵机充当关节编码器，操作者直接掰动关节即可让目标臂做出等价运动（无需逆运动学），从而在几乎不增加硬件成本的前提下，让操作者能像 ALOHA 那样”感知”目标臂的运动学约束；12 人用户研究显示 GELLO 在 5 项双臂协作任务上平均成功率 0.92，显著高于 3D 鼠标（0.63）与 VR 手柄（0.72），且已开源覆盖 UR5、xArm7、Franka Panda 三型机械臂，成为后续大量模仿学习论文默认采用的数据采集硬件。

背景与定位

模仿学习策略的性能被示范数据的质量、规模、多样性卡住瓶颈（RT-1、RT-2、BC-Z 等均验证”数据规模决定性能”），而人类遥操作是采集这类示范最可靠的方式之一。论文把已有低成本遥操作方案分成两类并指出各自短板：

• 抽象控制类（3D 鼠标 SpaceMouse、VR 手柄如 Meta Quest 2、RGB 相机/IMU）：把人的动作映射到机械臂末端笛卡尔空间，抹掉了机械臂本身的运动学约束——操作者感知不到关节限位和奇异位形，在需要精细控制或大工作空间的任务里更容易自碰撞、撞环境、超时，且价格虽低（约 $150-300）但直觉性差。
• 双边（bilateral）遥操作类：以另一台同构机械臂或专用力反馈设备（haptic device）作为主控端，能把环境接触力实时反馈给操作者，直觉性最好，但成本高昂（机械臂对机械臂方案约 $30,000，Omega7 力反馈设备约 $40,000）。同期的 ALOHA 用一对同构 Dynamixel 舵机臂作主控端，在精细双臂操作上效果显著，但主控臂本身就是一台完整机械臂，成本随之升高，且是为特定机型定制、不易迁移到其他机械臂。

GELLO 的定位是填上”廉价但不直觉”与”直觉但昂贵/定制化”之间的空白：舍弃力反馈（单边遥操作），但保留 ALOHA 式”运动学同构”带来的直觉性，用 3D 打印结构件替代 ALOHA 主控臂里完整的第二台机械臂本体，把单套主控设备成本压到 $300 量级，同时提供一套可推广到任意机械臂的通用设计方法（而非单一机型的专用方案）。范式关键词是运动学同构（isomorphic）外骨骼式关节匹配遥操作——这一硬件范式此后被本 vault 内多篇工作复用或对照，包括真实世界跨具身迁移实验中作为数据采集工具的 any-point-trajectory-model-atm、把”遥操作真机数据”整体归为一类数据来源并点名 GELLO 的 universal-manipulation-interface、四本体统一数据集 robomind（Franka/UR5 采集端直接沿用 GELLO 式方案）、以及把”GELLO/AirExo 关节匹配思路”接上灵巧手做下肢强化学习的人形遥操作工作 HOMIE。

模型架构

GELLO 不是一个学习到的策略模型，而是一套物理主控设备 + 极简软件栈，核心设计要点：

• 舵机选型：DYNAMIXEL XL330 系列，具体型号 XL-330-288T（该系列中齿轮比最高、可回驱阻力最大的一款），自带 12-bit 编码器，关节测量精度达 0.088 机械度。舵机本身自带编码器+通信协议，简化了构造、使用与维护；同时舵机的物理回驱阻力天然充当阻尼，提升操作稳定性。
• 运动学等比缩放结构：取目标臂的 DH 参数，按缩放因子 α（论文实现取 α=0.5） 生成一个运动学完全同构的迷你臂，关节位置从 GELLO 设备读出后直接作为关节指令下发给目标臂（joint-space 直接映射，跳过逆运动学）。操作者在关节接近奇异位形或关节极限时能直接感受到阻力，从而更早察觉、更可靠地规避失败；同时缩小的物理尺寸让设备便携，但仍能操作全尺寸机械臂。
• 被动关节配重（joint regularization）：仅用被动舵机时手臂会因重力持续被拖拽到不利位形；论文用弹簧/橡皮筋这类简单机械件加在受重力影响最大的关节上（UR 构型里是第 2、3 关节）维持”自然”姿态，避免碰撞（Fig. 2 定性对比）。定量测量显示（Fig. 3）：无配重时维持设备静止所需的抗重力力在各高度上近似恒定 ≈ 1.9N；加入配重后，靠近桌面处所需力减小（更省力），远离桌面处所需力增大（主动引导操作者远离奇异位形）——具体数值曲线未在正文给出表格，仅为示意性测量。
• 3D 打印结构件：所有连杆均为 3D 打印，既是低成本的来源，也让”为不同运动学构型的机械臂定制主控臂”这件事变得容易——论文据此为三种运动学不同的机械臂（UR5、xArm7、Franka Panda）分别设计打印结构。
• 软件栈：通过 DYNAMIXEL 官方 Python API 直接读取舵机关节角，用各机械臂厂商提供的 Python API 把关节指令发送给 follower 机械臂；进程间通信用 ZMQ；论文强调”直接关节控制”这一设计使软件栈保持简单，并提供了扩展到新机器人类型的简单协议。论文原文未披露具体的控制频率（Hz）数值。
• 无力反馈：受限于舵机输出扭矩，GELLO 不提供双边力反馈——这是作者为保持低成本、跨机械臂通用性而做出的主动取舍（详见”创新点与影响”中的自陈局限）。

（现状说明：GitHub 仓库现已从论文原始的 UR5/xArm/Franka 三机型扩展为推荐使用 I2RT YAM 机械臂 + YAML 自动配置系统，并新增了基于 FACTR 项目的主动重力补偿模块 gello/factr/——这些是仓库随时间演进的产物，不属于 2023 年论文本身披露的内容。）

数据

GELLO 本身是一件数据采集硬件工具，论文不提出或发布固定规模的示范数据集，其”数据”体现在两处：

• 定量用户研究数据：12 名参与者（均为本校志愿者，无遥操作专业训练背景）× 5 个任务 × 3 种遥操作设备（GELLO / 3D 鼠标 SpaceMouse / VR 手柄 Meta Quest 2），使用双 UR5 机械臂站完成挂帽子、开盒取眼罩、递香蕉、叠毛巾、插 USB 五项任务，覆盖大工作空间、关节物体交互、可变形物体、精细插接等不同挑战。每种设备流程：6 分钟设备无关的整体讲解 → 5 分钟该设备练习 → 正式执行（挂帽子任务限时 45 秒，其余任务限时 90 秒）。设备呈现顺序在 6 种排列中随机分配，每种排列恰好出现 2 次以消除顺序偏差。任务失败（自碰撞/环境碰撞）会立即停止并终止该次尝试；最后额外让用户徒手完成同样任务作为人类完成时间下限，不采集其他用户个人信息。
• 定性能力展示数据：在 UR5（双臂）、Franka Panda、xArm7 三个平台上进行了一系列真实环境双臂协作与接触密集型任务演示（如叠毛巾、拉丝、倒茶、装水果盒、堆箱子、开合笔记本、擦白板等），仅作定性视频展示，论文正文未披露具体的采集轨迹条数、时长或数据规模。

论文未涉及数据配比、清洗、动作标注流程或仿真-真实数据混合——GELLO 生产的是待后续模仿学习管线消费的原始遥操作轨迹，本身不做数据整理。GELLO 硬件后来被多项工作直接复用为其数据采集端（如 any-point-trajectory-model-atm 用 GELLO 采集真实 UR5 上 50 条动作标注轨迹 + 250 条去标签视频；robomind 在 Franka Panda、UR5e 两个本体上采用 Gello 式遥操作方案）。

训练方法

GELLO 不涉及神经网络训练——它是纯硬件+控制软件方案，“训练”概念不适用。与之相关的仅是论文自身的用户研究方法论：被试对每种设备的暴露顺序做拉丁方式随机化（6 种排列各出现 2 次）消除学习效应/顺序偏差；每种设备统一给予 6 分钟通用讲解 + 5 分钟专项练习后再进入计分环节，以控制”熟悉度”这一混杂变量。评测指标为任务成功率与（仅统计成功试次的）完成时间，另单独统计失败模式分类（超时/自碰撞/环境碰撞/其他）。

Infra（训练 / 推理工程）

• 训练侧：不适用（无神经网络训练）。

• 硬件成本（Table I，机械臂对机械臂/haptic 报价来自作者估算）：

  遥操作设备	近似成本
  3D 鼠标（SpaceNavigator）	$150
  GELLO（本文）	$300
  VR（Meta Quest 2）	$300
  机械臂对机械臂遥操作（如 UR5）	$30,000
  力反馈设备（Omega7）	$40,000

• 推理侧（即”操作时延”）：论文未披露具体的控制回路频率（Hz）或端到端时延数值；软件侧用 ZMQ 做进程间通信，读关节角 → 下发目标臂指令的具体延迟未测量报告。

• 边缘硬件：GELLO 设备本身即运行于舵机内置控制器 + 主机 USB 连接（DYNAMIXEL 官方协议），无需额外计算硬件；目标机械臂侧使用各厂商官方 SDK（UR、xArm、Franka）。

评测 benchmark

• 任务成功率（Table II，12 用户 × 5 任务，成功/总尝试比例）：

  设备	Hat	Mask	Banana	Towel	USB	Avg
  GELLO	0.92	0.92	1.0	0.92	0.83	0.92
  3D 鼠标	0.75	0.58	0.67	0.58	0.58	0.63
  VR	0.92	0.83	0.75	0.58	0.5	0.72

  GELLO 在全部 5 项任务及平均成功率上均领先；最简单的单臂任务（挂帽子）GELLO 与 VR 平均完成时间相当，但在需要双臂协同穿越大工作空间的递香蕉任务、需要精细双臂协调的叠毛巾任务上，GELLO 优势明显扩大。

• 失败模式统计（Table III，跨全部 5 任务累计的失败次数）：

  失败类型	GELLO	3D 鼠标	VR
  超时 Timeout	1	9	5
  自碰撞 Self Collision	1	5	5
  环境碰撞 Env Collision	3	6	6
  其他 Other	0	2	1

  GELLO 超时次数最少，印证其对新手更低的上手门槛；3D 鼠标与 VR 因操作者只关注末端执行器及其相对运动、感知不到机械臂间/自身运动学约束，自碰撞和环境碰撞明显更频繁。

• 完成时间（Fig. 6，仅统计成功试次，含人类徒手完成时间作参照下限）：GELLO 在各任务上完成时间均一致快于 3D 鼠标与 VR（定性图示，论文未给出具体秒数表格）。

• 论文没有与 ALOHA 等双边遥操作系统做定量对比（因二者成本/形态差异太大，仅在文字中做定性讨论）；也没有下游模仿学习策略的成功率评测——GELLO 论文本身只评测”遥操作过程”而非”训练出的策略性能”。

创新点与影响

• 贡献（作者自陈的三点）：(i) 为 UR5、xArm7、Franka Panda 三种常用机械臂提供了简单、低成本的 GELLO 实现；(ii) 一项对比 GELLO 与文献中常见低成本遥操作方案（3D 鼠标、VR）有效性的综合用户研究；(iii) 完整开源软硬件（含物料清单与组装说明），确保社区可复现可扩展。作者明确声明”GELLO 背后的想法并不新颖”（运动学同构主控臂思路可追溯到更早的双边遥操作与外骨骼文献），核心贡献是把这一思路做成可推广、极低成本、易复制的通用框架并严格验证其有效性。
• 影响：GELLO 之后成为机器人模仿学习社区事实上的低成本遥操作硬件标准之一，被多篇后续论文直接采用或作为数据采集基线引用（如 any-point-trajectory-model-atm 的真实世界实验、robomind 的双臂之外单臂本体采集端、universal-manipulation-interface 在讨论”遥操作真机数据”这一数据来源类别时点名 GELLO 与 ALOHA 并列）；GitHub 仓库持续维护并扩展到更多机械臂型号（含面向人形/新一代低成本臂 I2RT YAM）及主动力反馈（FACTR 重力补偿）等能力。
• 作者自陈局限（Discussion 章节）：(i) 受限于舵机输出扭矩，GELLO 不提供力反馈，限制了其在更强接触密集型任务中的能力——这是为保持低成本、跨机型通用而做出的主动取舍，作者表示未来希望作为可选能力加入；(ii) 用户研究样本为仅接受简短培训、几乎没有练习时间的新手用户，更长时间训练对各设备熟练度的影响留待未来工作研究。

原始链接

• arXiv abstract：https://arxiv.org/abs/2309.13037
• arXiv PDF：https://arxiv.org/pdf/2309.13037
• 项目主页：https://wuphilipp.github.io/gello_site/
• GitHub（软件）：https://github.com/wuphilipp/gello_software
• GitHub（硬件，STL + 组装说明）：https://github.com/wuphilipp/gello_mechanical

一手源存档（sources/）

• gello—github-readme — wuphilipp/gello_software GitHub README 快照（当前仓库状态：已扩展至 I2RT YAM 等更多机型、含 FACTR 重力补偿模块）
• gello—project-page — wuphilipp.github.io/gello_site 项目主页快照（摘要、方法描述、用户研究、BibTeX）
• arXiv 原文 PDF（2309.13037v2，正文 Section I–V 及 Table I–III、Fig. 1–6），不入 git，见上方 arXiv 链接