那什么是模型蒸馏?说白了,就是用一个更强的大模型来“教”一个小模型,让小模型也能学到些本事。但纳德拉指出,这些模型厂商享受了“合理使用”的权利,却对蒸馏设置严格限制,同时自己还保留着利用客户使用数据和交互数据继续学习的权利。这就像什么呢?你从别人家的菜园子里摘菜做了一桌好菜,却不让别人来尝尝你的手艺。
纳德拉进一步点出了问题的核心:如果知识学习始终只能单向流动——大模型公司拿别人的数据训练,自己却严防死守,那最终赚到所有钱的,只会是那些掌握AI基础设施的人,而真正创造知识的人反而无法从中受益。
目前,包括Anthropic、OpenAI和Google DeepMind在内的头部AI公司,都依赖大量由他人创作的内容来训练模型。ChatGPT、Claude和Gemini这些模型的能力,说白了,就是建立在公开的文本、图片以及其他互联网数据之上的。近年来,已经有不少公司和个人因为未经授权抓取内容训练AI,而对这些公司提起诉讼。
虽然纳德拉没有点名,但外界普遍认为,他的矛头主要指向Anthropic。今年早些时候,Anthropic的CEO达里奥·阿莫代伊公开指责中国AI公司“窃取”了他们的成果,说他们利用Claude生成的数据训练自己的模型。上个月,Anthropic还致信美国参议员,声称阿里巴巴对他们发起了迄今为止“已知规模最大的模型蒸馏攻击”。Anthropic在今年2月的一份声明中表示:“竞争对手可以利用模型蒸馏,以远低于自主研发所需的时间和成本,获得其他实验室的大量先进能力。”
纳德拉在周日的推文中还提醒企业用户:如果过度依赖领先的大模型服务,本质上是在把自己的专有数据交给模型提供商,然后还要付费去使用这些模型。他认为,企业应该掌握属于自己的AI基础设施和组织知识,而不是依赖单一模型供应商。企业还需要建立自己的模型评估体系以及持续学习机制,让AI能力能随着时间不断提升。
纳德拉的原话是:“这也是为什么企业需要为自身的人力资本和词元资本建立真正可信的边界,使其能够持续积累价值。”他强调:“这应该是一条严格的边界,未经许可,任何信息都不能跨越这条边界,哪怕是AI推理过程中产生的‘智能副产品’也不例外。”
值得注意的是,埃隆·马斯克此前也曾批评过Anthropic收集数据和训练模型的方式。今年2月,在Anthropic指责中国AI模型之后,马斯克在X平台发文称:“Anthropic大规模窃取训练数据,并因此支付了数十亿美元的和解金。这就是事实。”微软CEO纳德拉批评AI公司双标:合理使用数据却限制蒸馏
微软CEO纳德拉批评一些AI模型厂商双标:一边主张合理使用公开数据训练模型,一边限制他人进行模型蒸馏,同时自己却保留利用客户数据学习的权利。他指出这种单向知识流动只会让掌握AI基础设施者获利,而知识创造者无法受益。
7月13日,微软CEO萨提亚·纳德拉在X平台上发了一条推文,内容挺有意思的——可以说是对当下AI大模型圈子的一种“双标”行为提出了含蓄批评。
纳德拉的核心观点很直白:一些模型厂商,一边主张自己有“合理使用”公开数据的权利,来训练自己的AI模型;另一边,当别人通过模型蒸馏的方式学习他们的模型能力时,却又跳出来反对。这种做法,用纳德拉的话说,是“颇具讽刺意味”。
那什么是模型蒸馏?说白了,就是用一个更强的大模型来“教”一个小模型,让小模型也能学到些本事。但纳德拉指出,这些模型厂商享受了“合理使用”的权利,却对蒸馏设置严格限制,同时自己还保留着利用客户使用数据和交互数据继续学习的权利。这就像什么呢?你从别人家的菜园子里摘菜做了一桌好菜,却不让别人来尝尝你的手艺。
纳德拉进一步点出了问题的核心:如果知识学习始终只能单向流动——大模型公司拿别人的数据训练,自己却严防死守,那最终赚到所有钱的,只会是那些掌握AI基础设施的人,而真正创造知识的人反而无法从中受益。
目前,包括Anthropic、OpenAI和Google DeepMind在内的头部AI公司,都依赖大量由他人创作的内容来训练模型。ChatGPT、Claude和Gemini这些模型的能力,说白了,就是建立在公开的文本、图片以及其他互联网数据之上的。近年来,已经有不少公司和个人因为未经授权抓取内容训练AI,而对这些公司提起诉讼。
虽然纳德拉没有点名,但外界普遍认为,他的矛头主要指向Anthropic。今年早些时候,Anthropic的CEO达里奥·阿莫代伊公开指责中国AI公司“窃取”了他们的成果,说他们利用Claude生成的数据训练自己的模型。上个月,Anthropic还致信美国参议员,声称阿里巴巴对他们发起了迄今为止“已知规模最大的模型蒸馏攻击”。Anthropic在今年2月的一份声明中表示:“竞争对手可以利用模型蒸馏,以远低于自主研发所需的时间和成本,获得其他实验室的大量先进能力。”
纳德拉在周日的推文中还提醒企业用户:如果过度依赖领先的大模型服务,本质上是在把自己的专有数据交给模型提供商,然后还要付费去使用这些模型。他认为,企业应该掌握属于自己的AI基础设施和组织知识,而不是依赖单一模型供应商。企业还需要建立自己的模型评估体系以及持续学习机制,让AI能力能随着时间不断提升。
纳德拉的原话是:“这也是为什么企业需要为自身的人力资本和词元资本建立真正可信的边界,使其能够持续积累价值。”他强调:“这应该是一条严格的边界,未经许可,任何信息都不能跨越这条边界,哪怕是AI推理过程中产生的‘智能副产品’也不例外。”
值得注意的是,埃隆·马斯克此前也曾批评过Anthropic收集数据和训练模型的方式。今年2月,在Anthropic指责中国AI模型之后,马斯克在X平台发文称:“Anthropic大规模窃取训练数据,并因此支付了数十亿美元的和解金。这就是事实。”
那什么是模型蒸馏?说白了,就是用一个更强的大模型来“教”一个小模型,让小模型也能学到些本事。但纳德拉指出,这些模型厂商享受了“合理使用”的权利,却对蒸馏设置严格限制,同时自己还保留着利用客户使用数据和交互数据继续学习的权利。这就像什么呢?你从别人家的菜园子里摘菜做了一桌好菜,却不让别人来尝尝你的手艺。
纳德拉进一步点出了问题的核心:如果知识学习始终只能单向流动——大模型公司拿别人的数据训练,自己却严防死守,那最终赚到所有钱的,只会是那些掌握AI基础设施的人,而真正创造知识的人反而无法从中受益。
目前,包括Anthropic、OpenAI和Google DeepMind在内的头部AI公司,都依赖大量由他人创作的内容来训练模型。ChatGPT、Claude和Gemini这些模型的能力,说白了,就是建立在公开的文本、图片以及其他互联网数据之上的。近年来,已经有不少公司和个人因为未经授权抓取内容训练AI,而对这些公司提起诉讼。
虽然纳德拉没有点名,但外界普遍认为,他的矛头主要指向Anthropic。今年早些时候,Anthropic的CEO达里奥·阿莫代伊公开指责中国AI公司“窃取”了他们的成果,说他们利用Claude生成的数据训练自己的模型。上个月,Anthropic还致信美国参议员,声称阿里巴巴对他们发起了迄今为止“已知规模最大的模型蒸馏攻击”。Anthropic在今年2月的一份声明中表示:“竞争对手可以利用模型蒸馏,以远低于自主研发所需的时间和成本,获得其他实验室的大量先进能力。”
纳德拉在周日的推文中还提醒企业用户:如果过度依赖领先的大模型服务,本质上是在把自己的专有数据交给模型提供商,然后还要付费去使用这些模型。他认为,企业应该掌握属于自己的AI基础设施和组织知识,而不是依赖单一模型供应商。企业还需要建立自己的模型评估体系以及持续学习机制,让AI能力能随着时间不断提升。
纳德拉的原话是:“这也是为什么企业需要为自身的人力资本和词元资本建立真正可信的边界,使其能够持续积累价值。”他强调:“这应该是一条严格的边界,未经许可,任何信息都不能跨越这条边界,哪怕是AI推理过程中产生的‘智能副产品’也不例外。”
值得注意的是,埃隆·马斯克此前也曾批评过Anthropic收集数据和训练模型的方式。今年2月,在Anthropic指责中国AI模型之后,马斯克在X平台发文称:“Anthropic大规模窃取训练数据,并因此支付了数十亿美元的和解金。这就是事实。”来源:https://www.ithome.com/0/975/986.htm
相关热点
继续查看同栏目近期热点。
延伸阅读
补充最近整理过的热点入口。
