第138章 方案顺利通过验证（1 / 2）
第138章方案顺利通过验证
“老婆，你先带着女儿玩一会儿，我去书房处理点儿工作，就一会儿！”思路涌来，郝成回到家不工作的承诺又要食言了。
“十点！”宁荟能怎么样呢，还不是得由着他。
“用不了，最多一个小时！”郝成伸出一根手指指着灯：“我保证！”
“德性！”宁荟笑骂了一句，心里也是感叹：忙点就忙点吧，至少比起去年，这看起来开朗了许多。
……
今天确实不费什么脑筋，因为相关的知识早就在从前整理过了，只是当初没有重视。
来到书房，稍微翻一下之前记录下来的东西，郝成的思如泉涌，一下子就全都冒了出来。
如果说模型的训练提升是在做加法，让模型变得更大更强，那裁切、量化、蒸馏就是在做减法。
很多人可能会有疑问，做减法，那不是让模型变得更弱了吗
理论确实是这样，但有时候，弱不弱的其实不是特别重要，只要使对了劲儿，一样能造的嗷嗷叫，发挥很大的作用。
比如，有些神经元节点的权重非常小，对模型加载信息的影响微乎其微，切掉它们，精度不会降太多，但却能大大的减少资源消耗。
还有，像小沙这样全量全知全能的模型，其部署和每一次的相应运算推理，都需要消耗较大的算力资源。但事实上，每一次都是确有必要的吗
显然并不是！
就拿小沙现在应用最广的软件开发能力来说，它就只需要精准需求的理解以及代码编写能力就够了，至于慢慢在增强的情感映射、主观判断等能力映射这些，那就完全没有必要！
不仅消耗了更多的算力，还拖慢了相应速度。
而且即便是需要的部分，也可以分层去处置：
还是拿软件开发能力来说，最粗略的，那就可以分为两部分：一部分是需求理解，另一部分是根据需求去做开发。
而这第二部分，那就只需要一个“软件开发”的行业模型就够了。
所以，先在输入端就将用户需求分解，然后将小沙按需裁切为软件开发、法律服务、安全服务等小模型，根据分解的需求去调用其中一个，或者几个。
就比如之前被视为经典案例的小沙第一次庭审，那次的应对也不过是需要三个基础能力：语义理解、法律服务、软件开发能力。
只有极少数的情况，才需要去动用小沙的全量模型。
即便需要全量模型，全程调用全量模型，和只在有需要的步骤去调用全量模型，消耗的资源也是大相径庭的，但结果可能是一模一样。
……
“训练提升难住我了，裁切蒸馏还不是手拿把掐！”
深夜课堂学了这么久，郝成还是有几把刷子的，微意识体的模型训练力有未逮，但压缩郝成还是有办法的。
更何况，郝成还有小沙这个绝佳的辅助工具。
↑返回顶部↑