1. 环境准备与基础配置第一次接触LeRobot-ALOHA项目时最头疼的就是环境配置。这个开源项目依赖的库版本非常新和很多现有环境存在兼容性问题。我花了三天时间反复折腾总结出一套稳定可靠的配置方案。首先需要准备Ubuntu 20.04或22.04系统这是目前测试最稳定的基础环境。建议使用全新的系统镜像避免已有环境造成冲突。硬件方面需要至少16GB内存和NVIDIA显卡GTX 1060以上机械臂控制还需要预留USB 3.0接口。安装miniconda是第一步这里有个小技巧使用清华镜像源能节省大量时间。执行以下命令创建Python 3.9环境conda create -n lerobot python3.9 conda activate lerobot接下来安装PyTorch时要注意版本匹配。经过多次测试我发现PyTorch 2.0.1 CUDA 11.7的组合最稳定pip install torch2.0.1cu117 torchvision0.15.2cu117 --index-url https://download.pytorch.org/whl/cu117安装LeRobot核心库时建议直接从GitHub克隆最新代码而非pip安装这样可以随时同步修复的buggit clone https://github.com/lerobot/lerobot.git cd lerobot pip install -e .2. 仿真环境搭建实战仿真环境是开发调试的第一站。LeRobot提供了PushT和ALOHA两个标准仿真环境但初次运行可能会遇到各种报错。这里分享几个关键问题的解决方案。启动PushT仿真时常见的错误是GLIBC版本不匹配。这个问题可以通过安装特定版本的Mujoco解决wget https://mujoco.org/download/mujoco210-linux-x86_64.tar.gz tar -xzf mujoco210-linux-x86_64.tar.gz mkdir ~/.mujoco mv mujoco210 ~/.mujoco/ export LD_LIBRARY_PATH$LD_LIBRARY_PATH:~/.mujoco/mujoco210/bin可视化数据集时如果出现黑屏通常是图形驱动问题。先确认nvidia驱动已安装nvidia-smi然后尝试改用EGL渲染export MUJOCO_GLegl python lerobot/scripts/visualize_dataset.py --repo-id lerobot/pusht --episode-index 0对于ALOHA咖啡制作仿真最大的坑是模型文件下载。由于服务器在国外下载经常中断。我找到了国内镜像源wget https://mirror.example.com/aloha_static_coffee.zip -P ~/.cache/lerobot/datasets unzip ~/.cache/lerobot/datasets/aloha_static_coffee.zip3. 机械臂硬件配置详解淘宝购买的SO100机械臂性价比很高但需要特别注意以下几点舵机校准新机械臂必须进行六轴校准。使用附带的校准工具依次调整每个关节from lerobot.common.robot_devices.servo import calibrate_servo calibrate_servo(port/dev/ttyACM0, joint_id1)USB端口识别Linux系统下需要使用udev规则固定端口号。创建文件/etc/udev/rules.d/99-so100.rulesSUBSYSTEMtty, ATTRS{idVendor}0403, ATTRS{idProduct}6001, SYMLINKso100_main权限问题将用户加入dialout组避免sudo操作sudo usermod -aG dialout $USER主从臂配置时务必先连接主臂再连接从臂。测试通信是否正常python -c from lerobot.common.robot_devices.servo import test_connection; test_connection()4. 视觉系统集成技巧摄像头配置是最容易出问题的环节。我遇到过三种典型情况索引错误先用OpenCV检测可用摄像头import cv2 for i in range(5): cap cv2.VideoCapture(i) if cap.isOpened(): print(fCamera index {i} works) cap.release()分辨率设置在configs/control_robot.yaml中修改cameras: webcam: width: 1280 height: 720 fps: 30同步问题使用硬件触发模式需要额外配置v4l2-ctl --device /dev/video0 --set-ctrl trigger_mode1深度相机如RealSense需要单独安装SDKsudo apt install librealsense2-dev pip install pyrealsense25. 数据采集最佳实践录制高质量数据集有几个关键点任务设计明确单次任务目标例如task Pick up the red block and place it in the top drawer时间参数设置python lerobot/scripts/control_robot.py \ --control.warmup_time_s10 \ # 机械臂预热时间 --control.episode_time_s60 \ # 单次任务时长 --control.reset_time_s15 # 重置间隔数据校验实时检查数据质量from lerobot.common.datasets import validate_episode validate_episode(path/to/episode.hdf5)遇到云端上传失败时可以手动上传到HuggingFacehuggingface-cli upload your_repo ./local_data --tokenyour_token6. GPU训练优化方案训练效率取决于几个关键参数批次大小调整根据GPU显存动态设置training: batch_size: 32 # 8GB显存用1616GB用32 gradient_accumulation_steps: 2混合精度训练在train.py中添加torch.cuda.amp.autocast(enabledTrue)学习率调度推荐使用余弦退火scheduler torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max100)云平台训练时注意数据挂载方式。Autodl平台推荐这样启动python lerobot/scripts/train.py \ --dataset.repo_id/root/lerobot/data \ --output_dir/root/outputs \ --wandb.enabletrue本地训练可以用watch监控GPU使用watch -n 0.5 nvidia-smi7. 模型部署与验证部署训练好的模型需要特别注意版本兼容性模型导出生成ONNX格式便于部署torch.onnx.export(model, dummy_input, model.onnx)性能验证使用测试脚本检查FPSpython lerobot/scripts/benchmark.py \ --policy.pathoutputs/last/pretrained_model \ --devicecuda真实环境测试逐步增加难度stages: - name: simple_grasp objects: [block] - name: complex_scene objects: [block, cup, bowl]遇到评估报错时检查eval目录结构eval_act_so100_test/ ├── metadata.json ├── episode_0.hdf5 └── episode_1.hdf58. 常见问题排查指南这里汇总了开发过程中遇到的典型问题机械臂无响应检查/dev/ttyACM*权限重新校准舵机零点测试单独控制每个关节训练loss不下降# 在train.py中添加调试输出 print(fGradients: {[p.grad.norm() for p in model.parameters()]})可视化异常export DISPLAY:0 glxinfo | grep OpenGL内存泄漏检测import tracemalloc tracemalloc.start() # ...运行代码... snapshot tracemalloc.take_snapshot() for stat in snapshot.statistics(lineno)[:10]: print(stat)记得定期同步上游仓库获取修复git pull origin main pip install --upgrade -e .