先说几个核心判断。
这篇论文系统梳理了大语言模型在实际落地过程中,来自学术界与产业界的那些“真问题”。它并非空中楼阁式的理论推演,而是将计算基础设施、软件架构、数据资源、应用场景乃至脑科学等维度实际遇到的挑战,进行深入剖析。对于正在或即将投身这场技术浪潮的从业者而言,这是一份值得反复研读的实操指南。
一、结论写在前面
论文从计算力基础设施、软件架构、数据资源、应用场景和脑科学五个核心维度出发,系统梳理并回应了当前大语言模型实践中的一系列关键议题。这些问题,既包含对行业趋势的宏观判断,也涉及对具体技术方案的微观拆解。旨在为读者构建一个全面、深入且具有前瞻性的AI知识框架,帮助大家把握技术脉搏,激发创新思考。
二、论文的简单介绍
2.1 计算力基础设施
问题:什么是云-边-端协同架构?
这是一个基础概念。简单来说,云-边-端协同架构是一种分布式系统设计,它将云计算中心、边缘节点和终端设备三者的计算、存储、通信能力整合在一起,实现协同工作。它融合了从云端到设备端的各类资源,目标是在物联网、智慧城市、工业自动化等复杂场景下,实现资源的高效调度与数据的安全传输。
具体是如何运作的?通常包含以下几个步骤:
- 数据采集:终端设备或传感器负责收集环境参数、用户行为等原始数据。
- 边缘处理:数据首先被送至边缘设备进行初步计算与分析,旨在减轻云端压力并降低传输延迟。
- 云计算:云服务器接手来自边缘的数据,进行更深度的分析和计算,生成有价值的决策支持。在某些场景下,云仅负责存储和管理用户数据。
- 协同工作:通过高效的通信协议和数据交换机制,云、边、端三方实现资源共享与任务协同。
这种架构的优势显而易见:它充分利用了不同层级的计算资源,使得系统整体性能更高、响应速度更快,同时降低了数据传输的成本与风险。此外,架构灵活且可扩展,能够更好地满足不同场景的个性化需求。
问题:信息技术应用创新计划相关政策对企业的影响。
信创计划及其配套的国产替代政策,核心目标是推动中国信息技术产业的自主创新。对企业而言,其影响是多方面的,例如促进技术创新、提升市场竞争力、优化产业结构,以及在信息安全层面提供更多保障。
当然,挑战也同样明确。国内企业在部分关键技术领域仍存在短板与瓶颈;国外技术标准及市场规则依然构成制约;用户习惯与市场接受度也需要时间培育。因此,在政策落地过程中,必须充分考虑这些现实因素,制定科学合理的配套措施。
来看一组来自权威市场调研机构IDC的数据:2023年,中国加速芯片市场规模已迅速扩大至近140万片。其中,GPU卡凭借性能优势占据主导地位,市场份额高达85%。国产AI芯片出货量突破20万片,约占整体市场的14%。作为对比,2022年该市场出货量为109万片,当时国际巨头英伟达占据了85%的份额。可以预见,随着技术不断成熟,国产AI芯片品牌在未来几年有望实现更大突破。
2.2 软件架构
问题:拥有自己的大型语言模型(LLM)的必要性
为什么越来越多的企业开始考虑自建大模型?以下是几个核心理由:
- 提升业务效率和准确性:大模型具备强大的拟合与泛化性能,能够自动处理许多传统上需要人工完成的数据分析和决策任务,从而显著提升效率。
- 保护商业秘密和数据隐私:数据是企业的核心资产。企业私有的大模型能将数据保留在自有环境中,避免泄露和外部攻击,核心利益得到更有效的保障。
- 定制化开发与使用:每个企业的业务需求和特点各不相同。私有模型可以根据这些需求进行定制。例如在零售领域,可以针对自家产品特性和消费者偏好做出精准推荐;在制造领域,可以结合生产线特性进行智能规划和优化。
- 增强竞争力与创新能力:私有模型能帮助企业更快速地处理和分析海量数据,洞察市场与消费者需求,实现提前布局。同时,它也能为战略规划提供更充分的数据支撑与决策依据。
问题:何时使用微调与何时使用RAG
这是一个非常实际的选择题。
微调(Fine-tuning)适用于希望强化模型已有知识,或让其适应更复杂指令的场景。其原理是在新任务的有标签数据集上进行监督学习,更新整个模型的参数。优点是能显著提升模型在新任务上的表现。缺点是计算资源消耗大、训练时间长;若数据有限,则容易过拟合。
RAG(检索增强生成)则更适合需要大量外部知识的场景,例如知识密集型任务。它通过结合检索器与生成器,能够给出更准确、更有依据的答案,解释性也更强。其短板在于架构更为复杂,优化难度也更高。
问题:在训练大型语言模型(LLMs)时遇到了哪些关键挑战?
这项任务远非表面看起来那么光鲜,训练过程中的诸多挑战包括:
- 高计算资源消耗:需要大量高性能GPU和大容量存储,硬件投入成本高昂。
- 超参数搜索:模型效果在很大程度上取决于超参数的配置。找到那组最佳参数是一项技术活。
- 数据管理:数据的多样性、覆盖面、噪声与质量等因素,若处理不当易导致欠拟合或过拟合,使模型在真实场景中表现不佳,甚至产生“幻觉”。
- 可解释性:模型规模庞大、参数众多,其决策过程如同一个黑箱。出现问题后,归因与追溯都十分困难,这也限制了它在需要高可解释性(如医疗、金融)领域的应用。
- 风险控制:训练数据中若带有偏见、有毒信息,模型很容易将这些内容学习进去,导致输出结果不公正或带有偏见。
- 大模型性能评估:如何评价模型的好坏?使用公共基准测试、自动化指标计算,甚至在某些任务中依赖人工评估,每种方法都各有其局限性。
2.3 数据资源
问题:如何标注监督微调(SFT)数据集?
标注质量直接决定了微调的成败。一个标准的流程大致包括:
- 明确任务和目标:首先确定数据集的用途,例如是用于微调语言模型,还是执行分类任务?需要包含何种类型的数据?
- 数据收集:从互联网、内部数据库等渠道收集原始数据。关键在于保证数据的多样性与代表性,覆盖各种可能的场景。
- 数据清洗:去除噪声、统一格式,修整原始数据中的“毛刺”。
- 标注规范制定:这是最考验功力的环节。需要制定极其详细的标注规范,将每个标签的含义与标准界定清楚,确保不同标注者之间拥有统一的标准。
- 标注数据:通过众包平台、内部团队或专业标注公司,按照规范执行。
- 质量控制:通过交叉检查、随机审核等方式,对标注结果进行抽检。对不合格的标注者提供培训,确保整体质量。
- 数据集划分:将标注好的数据集划分为训练集、验证集和测试集,用于模型训练与效果评估。
问题:众包平台发布任务的标准和规范
在众包平台上发布标注任务,最常见的问题是标准与规范定义不清晰。任务本身复杂,标注者想法各异,容易导致结果参差不齐。如何解决?
- 制定详细标注指南:指南必须具体、清晰,最好辅以示例和案例研究,帮助标注者准确理解。
- 试标注和审核:先让标注者试标一批数据,检查准确性。不符合要求的,要么进行培训,要么予以替换。
- 定期反馈和更新:收集标注过程中的问题与反馈,定期更新标注指南。将常见问题与答案整理出来,供大家参考。
问题:在构建知识图谱问答数据集时,是否会忽视知识图谱的重要维度?
这种担忧很普遍。问答数据集若要制作精良,必须覆盖知识图谱的所有重要维度,稍有不慎就可能遗漏关键部分。以下是几个应对策略:
- 清晰的知识图谱结构:开工之前,先吃透图谱结构,明确关键实体、属性与关系。然后制定详细的标注指南,逐一列出需要覆盖的维度。
- 设计多样化的问答模板:根据不同的维度,设计不同类型的问题,例如询问属性、关系或推理,确保覆盖面的完整性。
- 分阶段标注与审核:一个阶段专注于一个维度或领域,并邀请资深标注员或专家进行审核。
- 反馈与迭代:标注人员之间可以相互讨论、分享经验,及时发现遗漏的维度,并据此更新指南和模板。
- 自动化辅助工具:利用NLP和机器学习技术,开发工具来自动识别可能遗漏的维度。
- 社区参与:邀请领域专家参与标注工作,借助他们的专业知识来补充和完善数据集。
- 持续维护与更新:知识图谱是动态的,数据集也需要定期更新,以反映最新变化。
- 质量评估与保障:通过人工评估、自动化测试、交叉验证等多种方式,确保数据集的质量可靠。
问题:利用大型语言模型(LLMs)评估返回结果时会遇到哪些挑战?
如果仅依赖LLM进行结果评估,且只考虑语义层面,容易出现问题。例如,有人可能会故意设计精巧的示例来挑战模型、放大其弱点,以此测试模型的鲁棒性边界。此外,用户输入的多样性也是一大挑战——同一意思,不同表达方式;输入中可能还包含噪声、歧义甚至不准确的信息,这些都会影响评估结果。
如何应对?
- 构建全面的评估系统:设计包含多种类型、风格、难度的评估案例,全面考察模型的语义理解、逻辑推理、上下文把握等能力。将人工评估与自动化评估相结合,确保客观准确。
- 增强模型的泛化能力:在训练阶段,通过增加训练数据的多样性和复杂性,提升模型对不同数据的适应能力。
- 优化用户输入处理:开发智能预处理模块,实现自动纠错、语义分析、意图识别。同时提供用户引导或反馈机制,帮助用户更准确地表达需求。
- 持续迭代与优化:基于评估结果与用户反馈,持续优化模型,提升它在处理复杂输入和评估结果方面的准确性。
2.4 应用场景
问题:Gemini Live的工作机制是什么,是否可以通过工程实践实现?
Gemini Live是Google推出的语音聊天功能,原理上与GPT-4o类似。用户可以选择不同声音进行对话,实现无缝的交流体验。其一个关键特点是允许对话自由流动——你可以在对方说话时随时打断,手机锁屏后也能在后台继续工作。这种设计非常适合多任务场景。
从工程实现角度看,它涉及多个技术领域。核心思路是将多模态输入(语音、图像等)统一表示为序列Token进行处理。尽管不同模态的输入模块有所不同,但中间的统一表示模块是可以共享的。可以从LLaVA和Qwen-audio这类模型的架构中获得灵感。无需使用传统的OCR或语音识别工具,直接实现端到端的理解与输出。具体来说,通过ViT(视觉Transformer)和音频编码模块处理输入信号,后续的解码器可以基于LLaMA模型。
问题:从文档中提取特定数据表格时会遇到哪些挑战,如何克服?
在文档管理中,第一步是准确定位表格所在的页面。但这仅仅是开始。面对那些结构复杂(例如没有边框、特殊布局)的表格,要准确解析并转换为标准的CSV格式,确实存在难度。目前,像Camelot这类工具在提取表格内容方面效率很高,是许多方案的首选。不过,趋势是利用多模态大模型直接理解和解析文档中的表格,这种方法在处理复杂场景时潜力更大,能更智能地捕捉表格的语义与结构。
话说回来,最治本的方法还是从源头优化:在文档准备阶段,就将表格数据以结构化的JSON格式呈现和提交。这能极大地简化后续的数据提取和转换工作,保证数据的一致性与可重用性。
问题:GraphRAG是如何被利用的,与RAG相比其关键特性是什么?
GraphRAG本质上是一个结合了知识图谱和LLM的RAG系统。其核心价值在于利用图关系来发现和验证信息,从而显著提升RAG系统的准确性与可扩展性。它在问答、信息检索等领域均有应用。
与传统RAG相比,GraphRAG最大的不同在于知识组织方式。传统RAG所依赖的知识通常是离散、零散的。而知识图谱通过图结构进行组织,呈现出高度系统化与结构化的特点。这种图结构不仅便于知识整合,也让知识发现变得更容易,例如图存储、图查询、图搜索、图计算等高级功能都能得以应用。构建完成的知识图谱,形成了一个自洽且全面的知识体系。无论是数据库中的结构化数据、JSON里的半结构化信息,还是非结构化文本中的知识碎片,甚至多模态数据,都能被整合进来,并转化为可交互的图结构。
这样一来,用户根本无需关心知识存储在何处。你只需使用自然语言或图查询语言进行搜索,就能自由地探索和挖掘信息。知识图谱因此成为推动智能应用向更高层次发展的重要基石。
问题:在企业环境中,是否存在仅需处理文档数据而不需构建复杂知识图谱的情况?知识图谱是否仅在面对来自互联网的多样化、异构和多模态数据时才是合适的?
首先,确实存在不少企业用户,他们仅需处理文档数据,完全不需要构建复杂的知识图谱。文档处理无非是读、写、存、查等基本操作,现有的RAG技术已能很好地支持。
其次,当面对互联网上来源多样、异构、多模态的数据时,知识图谱确实是一种非常高效的组织方式。它能整合复杂数据,并通过图结构清晰地展示实体间的关系,帮助用户理解和分析。
但必须强调的是,知识图谱并非万能药。是否使用,需要根据具体需求、数据特性和处理复杂度来综合评估。只有在确认它能带来显著效益时,才值得投入。而且,采用知识图谱后,精度会显著提高,但召回率可能会有所下降。
GraphRAG正是利用知识图谱和LLM的优势,来解决理解知识图谱的难题。它将知识图谱作为结构化的事实存储库,用LLM进行推理和生成,从而准确回答复杂查询。同时,它还支持多模态特征的组合,能够处理文本和图像等多种数据类型。
问题:在新闻领域,如何解决大模型识别'USA'和'America'为同一实体的问题?
这本质上是一个实体消歧和实体链接的问题。大模型仅解决了“识别出实体”这个环节。
实体消歧要解决的是“同名多义”的问题,例如“苹果”究竟指水果还是公司。而实体链接则是将识别出的实体与知识库(如维基百科、DBpedia)中的实体进行关联,通过计算它们与知识库中实体的相似度(例如基于向量),来判断是否为同一事物。以USA和America为例,可以利用维基百科的实体页面和重定向页面信息,确认它们是否指向同一个页面。一旦确认是同一实体,就需要进行实体归一化,将所有指向该实体的不同名称统一为标准形式(例如“美国”)。这样才能为后续的实体关联、检索和数据分析打下坚实基础。
问题:在软件安全领域,如何利用知识图谱技术实现漏洞数据库间的实体对齐?其优势何在?
在软件安全领域,知识图谱技术通过对数据进行深度结构化处理,构建一个关于漏洞数据库的知识网络。它定义了“漏洞”、“软件”、“制造商”等关键实体,以及“影响”、“修复”等复杂关系。经过图形化组织后,形成一个直观的动态图谱——节点是实体,边是关系。实体对齐模型则负责解决不同数据库间的数据冗余与不一致问题,确保实体的唯一性和准确性,从而显著提高数据库的可用性。这能够加速安全风险评估,为漏洞修复和应急响应提供坚实的数据基础。
对比大模型匹配方法,知识图谱的优势与劣势都很明显:
优势:
- 结构化表示:实体间关系清晰、直观,便于理解与查询。
- 强解释性:相较于大模型的黑箱特性,知识图谱的对齐过程更透明,结果可以通过分析实体和关系来解释。
- 领域适应性:能充分利用领域专业知识和规则,提高对齐的准确性与针对性。
- 低数据依赖性:对齐过程主要依赖数据本身的结构和关系,对外部训练数据依赖度低。
劣势:
- 高构建成本:定义实体、关系和规则,以及数据清洗工作,均需投入大量人力和时间。
- 灵活性差:结构相对固定,难以快速适应数据变化。相比之下,大模型可以通过重新训练来适应新数据和任务。
- 依赖领域知识:构建与对齐过程需要领域专家参与,这在一定程度上限制了其普及范围。
问题:在机器人领域,机器人与大模型的结合是否具有显著的实际应用价值?
价值非常显著。这种结合极大地强化了机器人的感知与认知能力,特别是提升了多模态感知能力,使其能应对复杂多变的多任务场景。
以家政机器人为例,例如Aloha这样的先进系统,需要处理扫地、叠被子、烹饪、浇花等一系列琐碎但细致的任务。每项任务都需要不同的专业知识和技能。引入大模型后,优势十分明显:
- 增强感知能力:大模型能处理和分析视觉、听觉、触觉等多种传感器的数据,让机器人更全面、准确地感知环境。
- 优化认知能力:大模型具备强大的学习与推理能力,能基于海量数据进行知识学习和模式识别。面对不同任务时,机器人能快速调用相关知识,制定并执行合理的行动计划,还能协调优化任务,确保效率。
- 灵活的任务处理能力:在大模型的支持下,机器人能更灵活地处理各种任务。无论是简单的扫地,还是复杂的烹饪,都能根据环境和用户需求做出判断和决策,并不断学习进化。
- 提升用户体验:用户可以通过自然语言与机器人互动、下达指令。机器人能准确理解意图,并给出反馈和执行结果。这种智能交互方式,使家政机器人真正成为家庭助手。
问题:长上下文语言模型和RAG分别适用于哪些场景,它们各自的优势和劣势是什么?
这是一个取舍问题。
长上下文语言模型天生适合处理大量连续文本、需要理解长距离依赖的场景。例如法律研究、医疗诊断、金融分析,常常需要对一整份长文档进行深入理解。
优势:
- 能够保留文本间的长距离依赖关系,让你更准确地理解长文档中的信息。
- 上下文窗口变大后,模型能快速从大量数据中搜索和检索信息,提升研究效率与数据分析能力。
劣势:
- 处理长文本需要更多计算资源和内存,对硬件要求较高。
- 长文本的训练过程复杂,需要更长的训练时间和更大的数据集。
RAG则更适合需要结合大量外部知识来生成答案的场景,例如问答系统、内容创作。它通过检索外部知识库来增强回答能力。
优势:
- 知识丰富:能检索外部知识库,提供更全面深入的信息,提升回答质量。
- 高准确性:结合检索到的信息,能生成更准确的答案,减少“幻觉”问题。
- 灵活性:框架本身适应性强,能够应对多种任务。
劣势:
- 依赖外部数据:如果知识库不全面或未及时更新,会影响回答质量。
- 检索效率:检索过程可能增加响应时间,影响用户体验。
- 集成复杂性:检索系统与生成模型需要有效集成,实施起来较为复杂。
问题:不同类型的AI搜索,包括Perplexity AI、大模型驱动的搜索、传统搜索公司的AI驱动搜索解决方案以及AI搜索初创公司,它们采用的技术栈在关键技术上有哪些差异?
目前来看,不同类型AI搜索的技术栈差异较大,主要体现在基础模型、技术集成、应用场景与优化策略上。
1. Perplexity AI:基于GPT-3.5、GPT-4等先进LLM构建,并整合了Bing搜索引擎的API。它将生成式AI与搜索技术相结合,打造出对话式搜索引擎。应用上能提供直接答案并总结,同时引用来源,支持多轮对话与上下文记忆。优化策略是持续迭代产品,提升用户体验。
2. 大模型驱动的搜索:主要作为多轮对话机器人的骨干,也支持文档上传进行RAG。其技术整合重点在于深度结合大模型与向量数据库,以缓解幻觉问题。应用场景主要是聊天机器人和知识库问答。优化策略上,他们很强调在基础模型上精耕细作,例如增强模型处理长上下文的能力、加速推理速度。
3. 传统搜索公司:基于自身积累的海量数据和搜索技术,结合生成式AI进行优化。他们在原有搜索引擎基础上整合AI,提高搜索的智能化与个性化水平。战略上,他们继续巩固和扩展搜索引擎市场,提供更丰富的搜索结果,同时探索新的商业模式。
4. AI搜索初创公司:通常选择开源或商业化的大模型作为基础,再与搜索引擎API集成,进行精细化调整和优化,以满足本地市场和用户习惯。他们在技术整合上更灵活,会将语义分析、知识图谱等先进技术整合进去,以提供更深度的搜索体验。应用场景可以非常垂直,例如电商搜索、学术搜索、法律搜索等,也可以做通用搜索。优化策略上,他们依靠技术创新与迭代来提升性能,同时积极寻求与上下游企业合作。
问题:图计算、图神经网络和知识图谱之间的关系是什么?
这三者在AI和大数据领域关系密切,但各有侧重。
- 图计算:专注于如何处理和分析图结构数据,包括路径搜索、中心度度量、社区检测等算法。它不仅涉及图数据库存储,更包含高效的数据处理和特征提取。
- 图神经网络(GNNs):是专门为图数据设计的深度学习模型。它们通过消息传递机制来捕捉节点间的依赖关系,在分类、聚类、链接预测等任务上表现出色。研究重点在于设计有效的神经架构,利用复杂的模式进行预测与推理。
- 知识图谱:将知识表示为实体和关系的图,用于问答、推荐、搜索等应用。它为GNNs提供了丰富的图数据,而GNNs则通过节点分类、链接预测等任务反过来增强知识图谱的表示与应用能力。
三者的关系可以这样概括:知识图谱负责“制造”图数据,图计算负责“探索”它,而GNNs则负责“利用”它来增强表示与应用能力。
至于图数据库存储和图神经网络哪个更应该被强调,这其实并非一个非此即彼的问题。图数据库存储是图计算的关键一环,它要为后续处理和分析提供高效可靠的存储。但图计算的研究范围远不止存储,还包括数据处理、特征提取和各种计算任务。节点向量表示是GNNs能够跨任务工作的基础,它帮助模型捕捉图数据的内在结构与模式,没有它,机器学习模型就无法训练。
问题:随着大模型技术的兴起,知识图谱的相关性是在减弱还是在被放弃?
恰恰相反,大模型技术的兴起不仅没有削弱知识图谱,反而深刻地影响了它的构建与应用方式。两者并非零和博弈,而是形成了一种互补的共生关系。如今,一种“双知识引擎”(大模型+知识图谱)协同工作的新模式正成为主流。
大模型凭借强大的表示学习、跨领域泛化和处理复杂任务的能力,为AI注入了新活力。它从海量数据中学习,能捕捉更丰富、微妙的知识表示,弥补了知识图谱在覆盖范围、更新速度和推理灵活性上的局限。而知识图谱作为结构化知识存储与推理的基石,提供了精确、可解释、易于查询的知识表示。它的实体、属性和关系,为智能服务提供了坚实的语义基础,支持复杂的查询、推理和决策支持,有效缓解了大模型的“幻觉”与逻辑错误问题。
如今,知识图谱项目不再是孤立的存在,而是与大模型深度融合。大模型从知识图谱中学习,提高特定领域的性能;知识图谱则吸收大模型生成的新见解来更新和扩展。两者相互促进,共同推动AI创新。
2.5 脑科学
问题:脑科学领域内工业转型的当前进展和轨迹是什么?
脑科学的工业化转型正在加速推进,并已取得一些标志性进展。
一方面,脑机接口技术的商业化进程悄然兴起。它有望实现人脑与外部设备的无缝连接,为信息传输和精细控制开辟新路径。这不仅预示着在提升患者生活质量方面的巨大潜力,也预示着一个个性化、精准化医疗的新时代。
另一方面,脑科学的研究成果也在深刻影响人工智能的发展。将脑科学的洞见融入AI研发,能赋予AI系统更接近人类思维的能力,极大地扩展了AI的技术边界。这种跨学科融合,为AI产业提供了理论基础与灵感来源。
更重要的是,脑科学在保护人脑健康和攻克脑疾病方面,发挥着不可替代的作用。它为脑疾病的早期诊断与精准治疗提供科学依据和技术支持,也有助于构建更全面、系统的脑健康管理体系。
总的来说,脑科学的工业转型不仅是一场技术革命,更是对人类生活质量和未来发展的重要贡献。它将引领我们走向一个更智能、更健康的新时代。
问题:脑科学领域能为Transformer模型的未来发展和进步提供哪些宝贵的见解?
脑科学对Transformer模型的启示是多维度的,两者在信息处理与认知功能上有着美妙的共鸣:
- 注意力机制:Transformer中的自注意力机制,可以看作是大脑高效信息处理策略的简化模拟。大脑在面对复杂信息时,能迅速锁定关键信息,忽略冗余细节——这正是高度选择性的注意力分配。
- 记忆机制:人脑拥有复杂的短期、长期记忆系统,以及高效的存储与检索机制。这为模型架构在记忆处理方面提供了宝贵的参考。
- 多脑区协同信息处理范式:人类的认知功能依赖于多个脑区的紧密协作。这种“多脑区协同”的机制,为我们构建复杂信息处理系统提供了设计思路。模拟不同脑区的功能分工与协同,可以实现更复杂的认知任务。
- 动态系统视角下的脑启发机制:大脑是一个高度动态的系统,其内部远非简单的电信号传输。像记忆的形成与遗忘、情绪的波动,都涉及复杂的化学物质反应。这启发我们在设计Transformer时,不仅要关注计算优化,还要探索如何引入更多元化的机制,比如动态权重调整、情感计算。
- 能耗问题:大脑的能耗远低于Transformer大模型,原因包括:神经元和突触的能量效率远高于电子组件;信息处理高度并行且分布式;神经元间的连接是稀疏的,减少了不必要的信息处理;具备适应性的可塑性,能通过学习优化神经网络;长期的进化让大脑发展出高效的能耗机制。
问题:agents记忆系统的设计与功能能否从脑科学的进展中获得启发和指导?
完全可以。大脑的记忆机制,例如短期记忆、长期记忆、工作记忆,为智能体的记忆设计提供了重要参考。例如,受大脑工作记忆机制的启发,人工神经网络中的DNC(微分神经计算机)将序列控制和记忆存储分为两个模块,提高了处理复杂任务的能力。此外,大脑的持续学习机制,也为智能体在掌握一项技能的基础上学习新技能提供了灵感。
