想让机器人真正理解人类指令、自主规划任务步骤，并具备判断任务是否完成的能力？那就必须接入专为物理世界交互而设计的具身推理模型——Gemini Robotics-ER 1.6，目前已全面开放API调用。该模型能够原生识别仪表盘信息、精准定位多个目标对象，并实时评估任务执行状态，彻底告别了传统人工编写固定逻辑的僵化方式。
确认API访问权限与模型可用性
访问 Google AI Studio（ai.google.dev/studio），使用与项目绑定的Google Cloud账号登录→点击左上角的“Models”菜单→在搜索栏输入 gemini-robotics-er-1.6 →确认该模型状态显示为“Available”且区域设置为“Global”。
如果在模型列表中未找到该名称，说明当前项目尚未启用Gemini API。此时需前往 Google Cloud Console → API和服务 → 启用API → 搜索并激活 “Gemini API” → 然后返回AI Studio刷新页面即可。
此步骤必不可少，【未启用Gemini API的项目无法调用任何Robotics-ER模型】。
配置Python开发环境并安装客户端
运行 pip install google-generativeai==0.8.3（必须锁定此版本，更低版本不支持Robotics-ER系列模型）。
创建 credentials.json 文件，将Google Cloud服务账号的密钥内容粘贴并保存；然后执行 export GOOGLE_APPLICATION_CREDENTIALS="./credentials.json"（Linux/macOS）或 set GOOGLE_APPLICATION_CREDENTIALS=.credentials.json（Windows）。
验证配置是否成功：python -c "import google.generativeai as genai; genai.configure(); print([m.name for m in genai.list_models() if 'robotics' in m.name])" —— 输出结果中应包含 gemini-robotics-er-1.6。
构建首个具身推理请求：垃圾分类任务分解
方法一：纯自然语言指令直接调用
初始化模型：model = genai.GenerativeModel('gemini-robotics-er-1.6')。
构造输入：response = model.generate_content("请根据上海2026年最新垃圾分类规则，将面前的5个物品（玻璃瓶、咖啡渣、塑料袋、旧报纸、锂电池）分别归入厨余、可回收、有害、其他四类垃圾桶，并输出每步操作的机器人动作指令。")。
关键要点：该请求会自动触发模型内置的Google Search工具，实时获取本地分类规则；若未联网或禁用了工具，模型会返回错误信息，而非随意猜测。
方法二：带多模态上下文的增强推理
准备一张包含5个物品的实拍照片（JPG/PNG格式，≤20MB）→ 使用 genai.upload_file() 上传并获取 file_uri → 将 file_uri 与文字指令一起传入 generate_content() 的 contents 参数，格式为 [{"text": "..." }, {"file_data": {"mime_type": "...", "file_uri": "..."}}]。
此时模型不仅能识别物体类别，还能精准输出每个物品在图像中的像素坐标（便于后续机械臂抓取定位），【缺失图像时模型不会猜测位置，仅返回文本规划】。
解析结构化响应并提取可执行动作
第一步：检查 response.candidates[0].content.parts 是否包含 function_call 字段——若有，说明模型调用了外部工具（如搜索、计数API），需先执行对应函数并将结果回填。
第二步：提取最终动作序列：遍历 response.candidates[0].content.parts，筛选出 text 类型内容，按换行符分割后过滤掉空行及非动作描述语句（例如“根据查询结果…”“综上所述…”）。
第三步：将动作标准化为机器人可解析的格式：例如将“把玻璃瓶放进蓝色桶”转换为 JSON 结构 {"action": "move_to_bin", "object": "glass_bottle", "target_bin": "recyclable", "pose_2d": [x, y, w, h]}，其中 pose_2d 来自模型返回的 bounding_box 字段（仅当输入包含图像时存在）。
注意：模型从不输出电机控制指令，所有 pose_2d 坐标均基于图像坐标系，必须通过相机标定矩阵转换为机器人基坐标系后，再下发至执行层。