游乐游手机版
首页/AI教程/文章详情

CodeBuddy Code联手腾讯混元打造AI识菜通

时间:2026-06-08 15:27
腾讯推出CodeBuddyCLI命令行工具,并结合腾讯混元大模型开发“AI识菜通”应用。用户上传菜单图片后,调用混元图片理解与文本生成模型识别翻译,生成中文点菜界面,支持加入购物车并生成订单字符串。项目基于React和shadcn ui组件库,部署于Vercel平台。

2025年9月5日,腾讯正式发布了CodeBuddy CLI这款面向开发者的命令行AI工具。选择这一天并非随意为之,“9”与“5”背后承载着一个小愿景:希望未来99%的编程工作都能通过“vibe coding”(氛围式编码)自动完成,人类只需投入1%的精力撰写提示词即可。与Cloudbase AI CLI类似,CodeBuddy CLI同样采用终端命令行的交互方式。它的上线意味着腾讯在开发者生态中已集齐插件、IDE、CLI三块关键拼图。今天的发布会信息量丰富,我们将主线思路梳理如下,与大家分享。

CodeBuddy Code使用指南

1. 背景信息

前文提到的9月5日发布只是一个起点,真正值得关注的是产品本身的定位。对于开发者而言,命令行形式的AI工具意味着更低的接入门槛与更高的自动化水平。尤其对于需要快速搭建AI原型的开发者来说,这无疑是一个利好消息。

2. 下载安装

和市面上大多数命令行AI工具类似,CodeBuddy Code的安装方式也遵循同样模式——只需一条npm命令即可完成。

npm install -g @tencent-ai/codebuddy-code

命令行执行后自动下载,下载完成后直接输入CodeBuddy即可唤醒工具。

3. 登录

此次提供了三种不同的登录方式,选择任意一种后跳转至登录网页。这里我们选择GitHub登录,跳转后若之前已登录,会自动完成认证。

登录成功后,CodeBuddy Code会显示已进入当前目录,准备就绪可以开始运行。

4. 测试

安装和登录流程完成后,自然需要运行一个小测试来验证工具是否可用。结果完美运行,右侧还显示了当前对话的token总数。使用GitHub登录的用户,系统会赠送免费额度。

腾讯混元API接入指南

1. 开通腾讯混元大模型

访问腾讯云控制台的腾讯混元大模型页面,点击“立即开通”,开通成功后界面如下图所示。

2. 获取腾讯云密钥

进入腾讯云控制台的API密钥管理界面,按照指引开通腾讯云API密钥。

3. 腾讯混元API文档

本次开发主要采用腾讯混元API方式进行接入,参考的是官方API文档。以下是一个调用示例:

POST / HTTP/1.1
Host: hunyuan.tencentcloudapi.com
Content-Type: application/json
X-TC-Action: ImageQuestion
<公共请求参数>

{
    "Model": "hunyuan-vision-image-question",
    "Messages": [
        {
            "Role": "user",
            "Contents": [
                {"Type": "text", "Text": "解答图片中的问题"},
                {"Type": "image_url", "ImageUrl": {"Url": "https://qidian-qbot-1251316161.cos.ap-guangzhou.tencentcos.cn/public/0/0/image/hy/2c4dda9e032a477a6572866de2419ecd9e59076a-6145-46a0-9f47-1048f65cf4f8.png"}}
            ]
        }
    ],
    "Stream": false
}

AI识菜通开发指南

准备工作全部就绪,接下来进入正式开发环节。

1. 开发提示词

准备好以下提示词,它是整个项目的起点。

我要做一个"AI识菜通"APP。它的输入是一张菜单图片,它可能是任何语言的。我需要调用腾讯混元模型,使用腾讯混元图片模型的 API去理解图片,然后在网页上用户来上传这张图片,上传之后调用 腾讯混元文本大模型理解图片之后进入第二个页面就是点菜的页面,点菜的页面会包含,会把整个单变成中文的,用户可以点菜。每一道菜都包含它的名字、它的介绍和一张图片,图片也调用 腾讯混元 的生成图片的模型来生成,腾讯混元API放在UI中让用户输入并且存在local storage里,然后用户点加号可以把这道菜加入他的购物车,最后点提交生成一个一串字符,上面写他想要点哪些菜,方便他跟服务员说他要点哪些。这个字符应该包合中文名和他元语言的名字。项目需要使用|react 实现 U,使用 shadcn、redix 组件库。

2. CodeBuddy.md开发文档

将提示词输入到CodeBuddy中,但先别让它直接开始开发——首先让它生成CodeBuddy.md文档。以下是CodeBuddy的分析过程,询问是否保存时选择yes,文档就会保存到本地。

生成的文档如下,如果发现有不妥之处可以随时编辑,确认无误后让CodeBuddy基于该文档开始开发。

# AI识菜通 APP 项目文档

## 项目概述
"AI识菜通"是一个基于AI的智能点菜应用,用户可以上传任何语言的菜单图片,系统会自动识别并翻译成中文,生成带有图片和介绍的点菜界面,最终生成订单字符串方便用户与服务员沟通。

## 技术栈
- **前端框架**: React
- **UI组件库**: shadcn/ui + Radix UI
- **AI服务**: 腾讯混元大模型
  - 图片理解模型 (识别菜单)
  - 文本大模型 (翻译和生成介绍)
  - 图片生成模型 (生成菜品图片)
- **状态管理**: React Context + useState
- **本地存储**: localStorage (存储API密钥和购物车)

## 功能模块
### 1. 首页 - 图片上传页面
- **功能**:
  - API密钥输入框 (存储到localStorage)
  - 菜单图片上传组件
  - 上传按钮触发图片识别
- **API调用**: 腾讯混元图片理解模型
- **页面跳转**: 识别成功后跳转到点菜页面

### 2. 点菜页面
- **功能**:
  - 显示识别出的菜品列表
  - 每个菜品包含:
    - 中文名称
    - 原语言名称
    - AI生成的菜品图片
    - 菜品介绍
    - 添加到购物车按钮 (+)
    - 购物车侧边栏/底部栏
    - 提交订单按钮
- **API调用**: 
  - 腾讯混元文本模型 (翻译和生成介绍)
  - 腾讯混元图片生成模型 (生成菜品图片)

### 3. 订单确认
- **功能**:
  - 生成包含中文名和原语言名的订单字符串
  - 方便用户与服务员沟通

## 数据结构
### 菜品对象 (Dish)
```typescript
interface Dish {
  id: string;
  originalName: string;  // 原语言名称
  chineseName: string;  // 中文名称
  description: string;  // 菜品介绍
  imageUrl: string;     // AI生成的图片URL
  price?: string;       // 价格 (如果能识别出来)
  quantity: number;     // 购物车中的数量
}
```
### 购物车项目 (CartItem)
```typescript
interface CartItem {
  dish: Dish;
  quantity: number;
}
```
## API集成
### 腾讯混元API配置
- **图片理解API**: 识别菜单内容
- **文本生成API**: 翻译菜名和生成介绍
- **图片生成API**: 根据菜名生成菜品图片
- **API密钥管理**: 存储在localStorage中

## 页面路由结构
```
/             # 首页 - 图片上传
/menu         # 点菜页面
/order-summary# 订单确认页面 (可选)
```
## 组件结构
```
src/
├── components/
│   ├── ui/                # shadcn/ui组件
│   ├── ImageUpload.tsx    # 图片上传组件
│   ├── DishCard.tsx       # 菜品卡片组件
│   ├── Cart.tsx           # 购物车组件
│   ├── ApiKeyInput.tsx    # API密钥输入组件
│   └── OrderSummary.tsx   # 订单摘要组件
├── pages/
│   ├── HomePage.tsx       # 首页
│   ├── MenuPage.tsx       # 点菜页面
│   └── OrderPage.tsx      # 订单页面
├── hooks/
│   ├── useApi.ts          # 腾讯混元API调用hooks
│   ├── useCart.ts         # 购物车管理hooks
│   └── useLocalStorage.ts # localStorage管理hooks
├── services/
│   └── tencentApi.ts      # 腾讯混元API服务
├── types/
│   └── index.ts           # TypeScript类型定义
└── utils/
    └── helpers.ts         # 工具函数
```
## 开发阶段规划
### 阶段1: 项目初始化
- [ ] 创建React项目
- [ ] 安装shadcn/ui和Radix UI
- [ ] 设置项目结构和TypeScript配置
- [ ] 配置路由
### 阶段2: 基础组件开发
- [ ] 创建API密钥输入组件
- [ ] 创建图片上传组件
- [ ] 创建菜品卡片组件
- [ ] 创建购物车组件
### 阶段3: API集成
- [ ] 集成腾讯混元图片理解API
- [ ] 集成腾讯混元文本生成API
- [ ] 集成腾讯混元图片生成API
- [ ] 实现错误处理和加载状态
### 阶段4: 页面开发
- [ ] 开发首页 (图片上传)
- [ ] 开发点菜页面
- [ ] 开发订单确认功能
- [ ] 实现页面间导航
### 阶段5: 功能完善
- [ ] 实现购物车功能
- [ ] 实现订单字符串生成
- [ ] 添加响应式设计
- [ ] 优化用户体验
### 阶段6: 测试和优化
- [ ] 功能测试
- [ ] 性能优化
- [ ] 错误处理完善
- [ ] 用户界面优化
## 注意事项
1. **API密钥安全**: 密钥存储在localStorage中,提醒用户不要在公共设备上使用
2. **图片处理**: 需要处理不同格式和大小的图片
3. **多语言支持**: 确保能正确识别和处理各种语言的菜单
4. **错误处理**: 完善的API调用失败处理机制
5. **加载状态**: 为AI处理过程添加适当的加载指示器
6. **响应式设计**: 确保在移动设备上的良好体验
## 预期挑战
1. 菜单图片质量和格式的多样性
2. 不同语言菜名的准确翻译
3. AI生成图片的质量和相关性
4. API调用的稳定性和错误处理
5. 用户体验的流畅性
---
*此文档将在开发过程中持续更新和完善*

3. 全速开发

CodeBuddy开始分析并对照文档进行开发,每一步操作都会进行询问。如果不想频繁被打断,可以选择第二个选项让CodeBuddy全速开发。接下来只需等待,由于篇幅限制,直接跳到最后一步查看成果。

成果展示

1. 部署阶段

项目“AI识菜通”已进入最终部署阶段,前端应用托管在Vercel上。Vercel对现代前端框架的深度支持极大简化了部署流程。项目基于React构建,使用shadcn/ui和Radix UI组件库,Vercel能自动识别项目结构,实现一键部署与持续集成。每次代码推送至GitHub仓库,Vercel都会自动构建并生成预览链接。更关键的是,Vercel提供全球边缘网络分发,确保用户无论身处何地都能快速加载应用页面。从交互、图片上传,到调用腾讯混元大模型进行多语言菜单识别与菜品图像生成,最终生成点餐字符串,全部通过Vercel高效稳定地交付。借助Vercel的免费计划和自动化运维能力,开发精力可以完全聚焦在核心AI功能上——这才是关键所在。

2. 首页

3. 设置API密钥

项目的API密钥存放在本地storage中,不会上传至云端,确保用户密钥安全。

4. 识别菜单

这里准备了一份国外菜单进行测试:

上传图片后AI开始分析:

识别完毕点击“去点菜”,即可看到生成的中文菜单:

以下是生成后的结果,点菜流程顺利打通:

5. 点餐进入购物车

点击“生成订单汇总”,会生成一份包含已点菜品的TXT格式清单:

来源:https://blog.csdn.net/IRpickstars/article/details/152666745
上一篇2025年7月17日ChatGPT Agent发布从帮你想迈向帮你做 下一篇信号处理与语言理解的融合技术解析
本站内容用于信息整理与展示,如有侵权或内容问题请及时联系处理。

相关推荐

补充同频道和同主题内容,方便继续浏览更多相关内容。

同类最新

继续查看同栏目最近更新的文章。

更多
Windows Docker Desktop RabbitMQ生产级部署完整指南
AI教程 · 2026-06-29

Windows Docker Desktop RabbitMQ生产级部署完整指南

前言 在 Windows 本地开发环境中,直接安装 RabbitMQ 确实颇为周折:需要单独配置 Erlang 运行环境、手动管理环境变量、服务启停全凭手工操作。更令人困扰的是,版本兼容冲突、端口占用、环境不一致等问题层出不穷。笔者见过不少开发者为搭建环境就得耗费整整半天时间。 相比之下,借助 Do

AI搜索重构制造业采购逻辑的阿里云企业级GEOCMS优化实践
AI教程 · 2026-06-29

AI搜索重构制造业采购逻辑的阿里云企业级GEOCMS优化实践

先分享一个切实感受。过去两年,我们与福建制造企业合作较为频繁,发现一个非常突出的现象:超过80%的企业官网,产品参数仍然存放在PDF或图片中。AI爬虫?根本无法抓取。这些企业技术实力不弱、资质证照齐全、应用案例也丰富,但在AI搜索这一全新战场上,它们几乎处于隐身状态。 一、一个正在发生的行业变化 A

阿里云Token Plan团队版功能价格与省钱购买指南
AI教程 · 2026-06-29

阿里云Token Plan团队版功能价格与省钱购买指南

阿里云百炼近期推出了名为“Token Plan 团队版”的全新服务,这一服务专为企业与开发者量身打造,定位为AI大模型订阅平台。通过引入Credits作为统一计量单位,将文本生成、图像生成等多模态AI能力纳入单一计费体系,同时无缝兼容主流AI编程工具及智能体(Agent)生态系统。其核心亮点包括:全

阿里云物联网.NET Core客户端位置信息上报
AI教程 · 2026-06-29

阿里云物联网.NET Core客户端位置信息上报

阿里云物联网平台的位置服务并非一个完全独立的功能模块。位置信息可包含二维坐标与三维坐标,而位置数据的来源本质上是借助设备属性进行上传。换言之,若要让设备上报位置,您需先将其视为一个普通属性进行处理。 1)添加二维位置数据 操作过程十分简洁。进入数据分析 → 空间数据可视化 → 二维数据,点击添加,将

年阿里云服务器选型配置与网站部署全攻略
AI教程 · 2026-06-29

年阿里云服务器选型配置与网站部署全攻略

2026年,阿里云服务器生态已高度成熟,形成了清晰的轻量应用服务器与ECS云服务器两大产品阵营。无论你是计划搭建个人博客、企业官网,还是运营电商平台、进行应用开发,基本都能找到理想的解决方案。本指南将从服务器选型、配置选择、部署流程到安全运维,系统梳理2026年最实用的操作要点,帮助你少走弯路,让网