笔奇阁

繁体版 简体版
笔奇阁 > 科研系学霸 > 第5章 不好意思,我打断一下。

第5章 不好意思,我打断一下。(3 / 4)

己想的?”周昀的回答让他有些意外,就算是他手下那几个要读博的研三的学生,也没有谁的研究课题是完全独立想出来的。

这对于一个研零的学生来说已经是非常不错了。

“你继续。”

周昀翻到下一页ppt,没有文字,ppt上是一些著名的ai公司的logo:“这些都是现在比较著名的ai公司,

gpt,claude,gemini这都是现在世界上顶尖的大模型,不可否认的是,这些大模型的性能都非常强,但相对应的,训练他们所耗费的资源也是海量。

一个先进的图像识别模型可能需要几十甚至上百兆的内存,数以亿计的计算量。

它们就像高性能的跑车,必须在云端数据中心这样的大跑道上才能发挥实力,但是现实生活中,大家的设备都是电脑,手机,摄像头等等。”

说到这里周昀停了一下,将ppt翻到下一页。

老师没有提问,那他就继续讲。

“这种情况下,我们面临一个巨大的挑战:如何让庞大、复杂的ai模型,在这些资源有限的“小设备”上,也能跑得又快又好,还能实时响应?

以下四点是我认为的需要解决的几个痛点:

1.尺寸不符:大模型在小设备上跑不动,或直接装不下。

2.速度滞后:即使勉强能跑,响应速度也慢,用户体验差。

3.能耗巨大:小设备电池续航有限,大模型会迅速耗尽电量。

4.网络依赖:依赖云端意味着有延迟,且断网就失效,隐私也难以保障。”

“不好意思,我打断一下。”

“老师您说。”

“你刚才提到了这些大模型性能虽强,但资源消耗巨大,而现在你想把这些大模型塞进小设备里,其中的难点我理解,

但是,既然这

『加入书签,方便阅读』
点击切换 [繁体版]    [简体版]