第1078章 手机里住个AI神

[笔趣阁信息]:bqg.info 超级好记！

余大嘴满脸疑惑。

顾屿刚才抛出的那个技术名词，触及到了他的知识盲区。

在2025年，随便在数码论坛拉出一个普通网友，对方都能把端侧大模型丶参数压缩这些概念说得头头是道。

可如今是2016年初。

知识蒸馏这个概念，去年三月份才由几位海外顶尖学者联合发表在学术论文上。

这门前沿技术目前还锁在极少数实验室的加密硬碟里。

整个工业界压根就没有人把这东西拿出来大规模商用。

余大嘴没听过实在太正常了。

「顾总，你给我交个底。」余大嘴搓了搓下巴，

「这个蒸馏技术到底是个什么逻辑？」

顾屿没有抛出学术界那些晦涩难懂的专有名词。

他拿起桌上的两个水杯，一个大保温杯，一个小茶杯。

「余总，你把运行在雅安伺服器上的完整版天问三号，看作是这个大保温杯。里面装了几百亿参数，运算能力极强。」

顾屿指了指小茶杯。

「手机端硬体有限，就是这个小茶杯。我们不可能把一大缸水硬倒进小杯子里。」

「常规的做法是把大模型直接砍掉一大半功能，做个残次品。但那样出来的模型就会变成弱智，根本没法理解复杂的语言。」

余大嘴深表赞同地点了点头。

「所以我们要换一种训练思路。」顾屿把两个杯子靠在一起。

「我们不直接压缩大模型，而是让雅安伺服器里的那个庞然大物当老师。用它去专门训练一个参数量只有十几亿的轻量级模型。」

「在训练过程中，大模型处理完数据后的输出结果，直接作为小模型的学习标准。」

顾屿看着余大嘴。

「这等于把大模型经过大量计算得出的核心逻辑和解题思路，直接喂给小模型。剔除掉那些冗长的计算过程，只保留结论。」

「经过蒸馏提纯和量化压缩后的轻量级模型，虽然无法做高深的科研推理，但应对手机端日常的意图理解和任务分发，游刃有余。」

余大嘴听明白了，两眼放光。

「这技术你们跑通了？」

顾屿没有废话，直接转头看了一眼陆知远。

陆知远从公文包里拿出一台厚重的工程测试设备。这是一台加装了散热模块的特殊测试机，屏幕很大。

陆知远当着余大嘴的面，拔掉了设备上的外接天线，又关闭了系统里的区域网开关。

顾屿把测试机推到余大嘴面前。

「设备已经处于绝对断网的物理隔离状态。」

「这里面装着的，就是那个参数量十二亿的蒸馏版测试模型。」顾屿指了指屏幕上的输入框，

「现在它连不上网，没法帮你点外卖，也没法查天气。」

「但你可以试试它对复杂逻辑的理解能力。」

余大嘴来了兴致，搓了搓手，把那台厚重的测试机捧在手里。

他略微思索，在输入框里打下了一段极其日常的测试题。

【我朋友老李下周搬新家，他平时喜欢喝茶，对电子产品不感兴趣。帮我推荐三个五百块以内的乔迁礼物，并分别说明推荐理由。】

本地设备停顿了两三秒钟，屏幕上就开始快速逐行吐出文字。

【根据您的需求，为您推荐以下三款五百元以内的乔迁礼物：】

【一丶景德镇陶瓷茶具套装。老李喜欢喝茶，一套全新的茶具既投其所好，又适合新家待客，价格在预算范围内。】

【二丶精品茶叶礼盒。作为爱茶之人，优质的茶叶是实用且不会出错的消耗品，非常适合作为贺礼。】

【三丶中式造型的室内盆景。不涉及任何电子元素，能为新居增添生机，摆在茶桌旁也非常应景。】

𝓑 𝐐 𝐺.ⓘn f 🅞