165. 底裤都给你看光(1 / 2)

重生之AI教父 CloseAI 279 字 8个月前

已经成名的孟繁岐,如今在研发技术又或者是写作论文的时候,是否具备理论解释已经不在考虑的范围当中。

在这个比较特殊的领域,算法的实际效果和应用范围才是他关注的重点。

虽然学界接受这一现象可能还需要一定的时间。

但这已经不是孟繁岐关心的事情了,在人工智能技术上面,他一直都是实践派。

结构重参数化虽然在数学上反直觉,但实际的效果确实相当惊艳。

它的主要提升来自两方面,一当然是分支合并带来的提升,原本复杂的支路在推理的时候被合并了起来,节约了计算量。

二却是来自一般人想不到的性能提升。

结构的重参数化,既然可以合并复杂分支,那为什么不在训练的时候,把分支设计得更加复杂一点呢?

反正最后都可以合并起来。

遵循这个思路,重参数化还允许相同的最终结构,通过复杂训练的方式获得更高的性能。

作为最终的结果,重参数化在轻量级网络上,大概取得了1.8倍左右的速度提升。

这个数字看起来没有先前8-9倍那么夸张,但这是在已经优化的高速网络上取得的结果。

在已经优化得很好的结果之上,继续优化的难度当然是更大的,同样是一秒钟的速度提升,后面的那一秒含金量当然不可与前面的同日而语。

就像是百米长跑,原本只能30秒跑完,提升一秒没什么大不了的。

可若是你能跑到10秒左右,再快一秒那可就不得了了,博尔特看了都得给你跪下。

博尔特跪不跪下不知道,马斯克确实是差点跪下了。

他上次与孟繁岐的沟通,一定程度上算是鸡同鸭讲。

从相当程度上,他只是在单纯客观地分析一个现实情况,那就是目前的模型计算量,对特斯拉来说很难负担。

后来特斯拉初版的自动驾驶还是使用了传感器,就是因为计算量负担不起,马斯克也不得不向现实低头。

如果要说他原本的计划,其实是打算从硬件方面解决这个问题的,没有指望孟繁岐能够继续优化。

面对已经比较夸张的提升,马斯克怎么也想不到,还能有什么手段可以继续简化模型的结构。

可偏偏孟繁岐就做到了,而且一共也没用到多久的时间。

不仅精简了计算量,甚至还删掉了网络的分支,现在连内存容量也给他省了下来。

“我我不得不说,我被你的技术实力所折服,这让我太惊讶了。”视频当中,马斯克罕见地露出了笑容,言语之间稍微有一些口吃。

私底下,他是个没那么外向的人,说话的时候,如果有强烈的情绪,经常会有些口吃反复的现象。

“我原本只是在进行分析,确认当前的主要难点到底在哪里,完全没有想过你把它当成了一个任务,并且完成得这么好。”

“我还以为那是来自钢铁侠的高要求呢。”孟繁岐听到这里最开始两眼一黑,敢情自己自作多情了。

但早些继续推动网络的轻量化倒也不是坏事,一方面能加速人工智能技术落地,另一方面也会转移大家的视线,使得业界专注于小模型,而不大会发现大模型的威力。

“并且,如果你想要打造纯视觉自动驾驶系统,优化得再好的小模型也只是门槛中的门槛罢了,距离成型还差很远。”

举报本章错误( 无需登录 )