你好,我叫 Parameter——AI 公司里,最沉默的员工
先做个自我介绍。
我的名字叫 Parameter。
中文名称:参数。
每天都被人们挂在嘴边——7B、13B、70B、671B。数字越滚越大,大家也越说越起劲:“参数越多,AI 就越聪明。”可很少有人真正搞清楚,我到底是什么角色。
今天,就来聊聊我自己。
我的工位
我在一家名叫 Transformer 的公司上班。公司规模庞大,部门也分得很细——Embedding 负责翻译部,Attention 负责调查部,Token 整天跑来跑去,老板 Transformer 天天开会。而我,坐在角落里,一句话也不说。
新来的同事总会好奇地问:“你是干什么的?”我笑了笑,回答:“我负责记住。”
我的记性很好
老板每天都在学习。今天看一本小说,明天读一篇论文,后天又研究一万个 GitHub 项目。老板自己记不住,于是把所有的东西都交给我打理。
举个例子:老板发现“Spring”经常和“Boot”一起出现,就说:“记下来。”我点点头,写下来。后来老板又发现“Java”经常搭配“JVM”,我又记下。几年下来,我记了——几千亿条经验。
我不是知识
很多人以为,参数里装的是百科全书。其实不是。你把我打开,会发现里面没有一句中文,也没有一句英文,只有一串串数字:0.0128 -0.9183 0.2219……全是数字。
但神奇的是,老板看到这些数字,就能知道下一句话该怎么说。连我自己都不明白,为什么这些数字会变成知识。
我的工作特别枯燥
每天,老板都会来找我:“这里改一点。”我改。“那里再改一点。”我继续改。一天、两天,一年、两年,不停地改。刚开始我的数值是 0.374,后来变成 0.375,再后来变成 0.3748——只差一点点。可整个公司像我这样的员工,有七十亿个,甚至几千亿个。每个人每天改一点点,最后老板居然学会了写代码、画画、聊天、翻译,甚至写诗。
我的工资特别便宜
公司来了个实习生,叫 Token。他问我:“Parameter 哥,老板一个月给你多少钱?”我笑了:“我没有工资。”“那为什么每天都在工作?”“因为——我是数字。”
整个办公室突然安静了。没错,我们所有 Parameter 都只是一个数字,不会抱怨、不会偷懒、不会请假,只是安安静静地待在那里,等老板需要的时候,贡献一点点力量。
我们人很多
有一天,老板带 Token 参观公司。他说:“这里,七十亿个 Parameter。”Token 瞪大了眼睛:“这么多人?”老板点点头:“隔壁公司,有六千七百一十亿。”Token 腿一软:“那得盖多大的办公楼?”老板没有回答,只是望向窗外。窗外,是一排排看不到尽头的服务器。
新人总会问一个问题
“Parameter 越多,是不是一定越聪明?”老板摇摇头:“员工多,不代表公司一定赚钱。如果员工天天摸鱼,一万人也没用。如果训练有素,一百个人照样能干成大事。”所以,参数多只是潜力更大,真正决定能力的,还有数据、训练、算法,以及时间。
我最怕的事情
后来,老板越来越疯狂。他说:“再招员工。”于是七十亿变成一百亿,一百亿变成五百亿,后来变成几千亿。公司越来越大,我的办公室放不下了,显示器放不下了,内存放不下了,连老板开会都越来越慢。终于有一天,财务冲了进来:“老板!公司没电了!”老板一愣:“怎么可能?”财务喘着气说:“不是没电,是 Parameter 太多,没人搬得动了。”整个会议室一下子安静了。所有人的目光都看向楼下——那里停着一辆辆巨大的卡车,日夜不停地运送着整个公司的员工。有人轻轻说了一句:“请 GPU 部门。”
