真机抓取与定点放置
方舟无限臂按策略抓住目标、放到指定位置。这里证明 ACT 已经回到真机控制环，不是只看离线训练。
返回实习经历真机：抓取后定点放置
Project 02
机械臂操作策略学习与真机部署
华为实习 · 方舟无限 + LeRobot + ACT
LeRobot 接不上方舟无限。先把厂商协议映射成可训练的观测–动作，VR 采专家数据训 ACT，再按真机时延调动作块，完成抓取和定点放置。
方舟无限
真机接口适配
读回 / 写下发进 LeRobot
VR 遥操作
专家示范采集
跨主机主从拆开
ACT
策略训练
示范整理成训练集
抓取放置
真机闭环
按时延调动作块
01
项目背景
场景与任务
真实桌面操作：机械臂要自己抓住目标、放到指定位置。开源学习框架默认另一套臂，方舟无限的状态和动作对不上，不能直接采数、训练、上车。
阶段定位
本人从 0 打通示范采集、策略训练和真机执行。
为什么难
- LeRobot 没有方舟无限这套关节和观测，厂商协议进不了训练格式。
- 主动臂和从动臂若绑在同一进程，跨主机采数和双臂控制都拆不开。
- 离线 loss 低不等于真机能跟：推理有时延，动作块太长会拖、太短会抖。
02
系统架构
方舟无限先接到 LeRobot：用统一的读回和写下发，把厂商协议变成观测–动作序列。VR 当主动端采专家轨迹，整理后训 ACT。策略再回到真机控制环，按推理时延调动作块长度，完成抓取和定点放置。
主动臂和从动臂拆成独立通信模块，可以跨主机遥操作。采数时 VR 出专家动作，从动臂记录状态；部署时策略替换主动端，从动臂仍走同一条写下发。
03
核心系统设计
适配：方舟无限接进 LeRobot 控制环
问题：框架里没有这套臂。关节状态、观测和厂商协议对不上，后面采数和训练都进不去。
改动：在 LeRobot 里补机器人和关节抽象，用读回 / 写下发统一状态和动作，把厂商协议映射成可训练的观测–动作序列。
效果：同一套控制环能遥操作、记数据和回放，臂不再停在厂商 SDK 外。
遥操作：主动端和从动端拆开
问题：主从绑在同一进程，跨主机采数和双臂分布式控制都做不了。
改动：把主动臂与从动臂控制拆成独立通信模块，跨主机传动作、回传状态。
效果：VR 可以在另一台机器带从动臂；部署时只换主动端，不重写从动臂。
训练：VR 示范整理成 ACT 训练集
问题：没有专家轨迹，策略无从学抓和放。
改动：VR 遥操作采多组抓取、放置示范，按 LeRobot 格式整理后跑通 ACT 训练。
效果：得到可部署的操作策略，而不是只停在接口联调。
部署：按真机时延调动作块
问题：离线 loss 低，真机一推理就跟不上：块太长拖，太短抖。
改动：ACT 接到真机控制循环，按推理时延和跟踪表现调 chunk 长度，再验抓取和定点放置。
效果：策略在真实时延和动力学下能执行，不是只看训练曲线。
04
个人职责
主责
项目 owner：方舟无限接入 LeRobot、主从遥操作拆分、VR 采数、ACT 训练，以及按真机时延部署抓取放置。
沿用
学习框架是 LeRobot，策略是 ACT。