LLM应用Token指南：5步掌握新手高效使用技巧
如果您忽略了token的追踪，每当应用程序与大语言模型进行交互时，几乎就是在烧钱。
免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈
译｜布加迪
审校｜重楼
引言
在构建大语言模型应用的过程中，token就是实实在在的成本。如果你曾经使用过像GPT-4这样的LLM，很可能有过类似的经历：查看账单时忍不住惊呼“费用怎么这么高？！”每一次API调用都会消耗token，这直接影响响应时间和项目预算。但若不关注token的消耗情况，你就无法理解token的具体流向，更谈不上如何优化使用效率。
这正是LangSmith发挥作用的地方。它不仅能够追踪LLM调用情况，还允许你记录、监控并直观展示每个工作流程环节的token使用状况。在本指南中，我们将详细讲解：为何token跟踪至关重要？如何设置日志记录机制？以及如何在LangSmith面板中清晰呈现token的使用详情。
为何token跟踪很重要？
token跟踪之所以关键，是因为与大语言模型的每次交互都会产生与处理token数量直接相关的成本，这既包括输入内容，也涵盖模型生成的结果。缺乏有效监控，那些提示中细微的低效设计、冗余的上下文或不必要的请求，都可能在无声无息中推高你的开支，并降低系统性能。
通过细致追踪token，你可以准确把握使用状况。这样一来，就能够优化提示设计、简化工作流程并有效控制成本。举例来说，如果你的聊天机器人每次请求使用1500个token，那么将其减少到800个token就能让成本降低近一半。token跟踪的核心概念大致如下：
设置LangSmith以记录token
第1步：安装所需的软件包
pip3 install langchain langsmith transforms accelerate langchain_community
第2步：导入所有必要的组件
import osfrom transformers import pipelinefrom langchain.llms import HuggingFacePipelinefrom langchain.prompts import PromptTemplatefrom langchain.chains import LLMChainfrom langsmith import traceable
第3步：配置Langsmith
设置你的API密钥和项目名称：
# 替换为你的API密钥os.environ["LANGCHAIN_API_KEY"] = "your-api-key"os.environ["LANGCHAIN_PROJECT"] = "HF_FLAN_T5_Base_Demo"os.environ["LANGCHAIN_TRACING_V2"] = "true"# 可选：禁用分词器并行警告os.environ["TOKENIZERS_PARALLELISM"] = "false"
第4步：加载Hugging Face模型
使用对CPU友好的模型（如google/flan-t5-base），启用采样以获得更自然的输出：
model_name = "google/flan-t5-base"pipe = pipeline( "text2text-generation", model=model_name, tokenizer=model_name, device=-1, # CPU max_new_tokens=60, do_sample=True, # 启用采样 temperature=0.7)llm = HuggingFacePipeline(pipeline=pipe)
第5步：创建提示和链
定义一个提示模板，并使用LLMChain将其连接到Hugging Face管道：
prompt_template = PromptTemplate.from_template( "Explain gravity to a 10-year-old in about 20 words using a fun analogy.")chain = LLMChain(llm=llm, prompt=prompt_template)
第6步：让函数可以通过LangSmith进行追踪
使用@traceable装饰器自动记录输入、输出、token使用情况以及运行时间：
@traceable(name="HF Explain Gravity")def explain_gravity(): return chain.run({})
第7步：运行函数，打印输出结果
answer = explain_gravity()print("
=== Hugging Face Model Answer ===")print(answer)
输出：
=== Hugging Face Model Answer ===Gravity is a measure of mass of an object.
第8步：查看Langsmith仪表板
访问smith.langchain.com → 跟踪项目。你将看到以下内容：
你甚至可以查看每次运行的具体成本，方便分析账单明细。现在，要查看token使用情况及其他信息，只需点击你的项目。你将看到：
红色框突出显示了你项目运行的次数。点击任意运行记录，你将看到：
你可以在此处查看各类信息，比如token总数和延迟时间等。点击仪表板，如下所示：
现在，你可以查看随时间变化的图表，追踪token使用趋势、检查每个请求的平均延迟时间、比较输入输出token，并确定峰值使用时段。这些信息有助于优化提示、管理成本并提升模型性能。
向下滚动以查看与你的项目相关的所有图表。
第9步：探索LangSmith仪表板
你可以分析大量信息，比如：查看示例追踪：点击追踪即可查看详细的执行情况，包括原始输入、生成的输出和性能指标。查看单个追踪：对于每个追踪，你可以探究执行的每个步骤，查看提示、输出、token使用情况和延迟。检查token使用情况和延迟：详细的token数量和处理时间有助于识别瓶颈并优化性能。评估链：使用LangSmith的评估工具来测试场景、跟踪模型性能并比较输出结果。在Playground中进行试验：调整温度、提示模板或采样设置等参数来微调模型的行为。
完成此设置后，你现在可以在LangSmith仪表板中全面了解Hugging Face模型的运行状况、token使用情况和整体性能。
如何发现和修复token消耗大户？
具备了日志记录功能后，你可以：检查提示是否过长识别模型过度生成的情况切换到较小的模型，以执行成本更低的任务实施响应缓存以避免重复请求
这对调试长链或智能体非常有用。找到消耗最多token的那个步骤，并进行调整和完善。
结语
这就是设置和使用Langsmith的方法。记录token使用情况不仅是为了节省开支，更是为了构建更智能、更高效的LLM应用程序。本指南提供了基础，你可以通过探索、试验和分析自己的工作流程来了解更多信息。
原标题：The Beginner’s Guide to Tracking Token Usage in LLM Apps，作者：Kanwal Mehreen
相关攻略
LLM Price Check是什么 简单来说，LLM Price Check是一个帮你解开大型语言模型（LLM）API价格迷雾的专门化平台。想象一下，当你需要在OpenAI、Anthropic、Google、Mistral等众多供应商之间做出选择时，手动比价既繁琐又容易出错。这个由LLM Pric
确认偏见：AI审查官的认知陷阱 在软件开发领域，大型语言模型（LLM）工具如GitHub Copilot、Claude Code的深度集成，正让自动化安全代码审查（ACR）成为守护软件供应链的新兴防线。然而，一项来自希腊雅典大学等机构的最新研究，却揭示了一个严峻的安全盲区：这些AI审查官在判断代码时
Klu LLM Apps是什么 简单来说，Klu LLM Apps可以理解为一站式的大型语言模型（LLM）应用工作台。它由Klu ai开发，核心目标非常明确：帮助AI工程师和产品团队，更高效地完成从设计、测试到部署、优化LLM应用的全过程。这意味着，你不再需要东拼西凑各种工具，而是可以在一个统一的平
LLM Pricing是什么 面对市场上五花八门的大语言模型（LLM）API，成本比较是不是让你感到头疼？LLM Pricing这个工具，就是为了解决这个痛点而生的。简单来说，它是一个专门聚合和对比各大AI服务商与云平台LLM定价信息的网站。该产品由Claude 3 Sonnet精心设计开发，目标很
Open LLM Leaderboard 开源大模型排行榜全面解析 想要快速掌握当前开源大语言模型的性能格局与实力对比？Open LLM Leaderboard 绝对是您不可或缺的核心参考工具。这个由 Hugging Face 主导构建的权威评测平台，实质上为各式大型语言模型（LLM）搭建了一个公开
热门专题
热门推荐
说实话，每次看到别人在商务路演时拿出那种设计精良、气质高端的PPT，你是不是也暗自羡慕过？但咱们既不是专业设计师，又抽不出大把时间琢磨排版配色——这种困境我太懂了。好在现在有了Gamma这样的智能平台，它内置的模板系统能让你快速产出专业级PPT。今天我就以最经典的极简黑金风格为例，带你走一遍具体操作
苹果换帅：库克转任执行董事长，硬件负责人特努斯接任CEO 封面新闻记者 易弋力 科技界的一则重磅人事变动，终于在当地时间4月20日尘埃落定。美国苹果公司正式宣布，任命公司内部元老、长期执掌硬件业务的约翰·特努斯为下一任首席执行官，接替自2011年起便掌舵公司的蒂姆·库克。与此同时，苹果公司也确认，库
三角洲行动长弓溪谷藏宝堆位置全攻略 各位特战队员，S9赛季全新登场的“藏宝堆”你们都收集齐了吗？这并非普通的地形装饰，而是地图上带有独特牛角标记的珍贵容器。其背景源于阿萨拉人在收藏大师马苏德引领下开展的祈福仪式，为《三角洲行动》的战场探索增添了丰富的趣味性与文化深度。 《三角洲行动》长弓溪谷藏宝堆全
育碧近日透露，《刺客信条》系列的全新多人作《刺客信条CODENAME INVICTUS》正在稳步开发中 《刺客信条》的粉丝们，准备好迎接一次碘伏性的体验了吗？育碧不久前释放了一个重磅消息：系列的全新多人游戏《刺客信条CODENAME INVICTUS》正在稳步推进中。这一次，开发团队将重心完全转向了
一、访问学科网官网并进入注册页面 想用学科网的各种教学资源，第一步得有个自己的账号。这事儿得从官网走最靠谱，毕竟现在各种山寨网站不少，走错了门，不光注册不成，还可能碰到麻烦。我建议你直接打开浏览器，手动输入www zxxk com这个地址，这样能确保万无一失。 进来之后别眼花，首页内容挺多的。你直接