听到这个问题,汤智晓扶了扶眼镜,神情既有自豪,也带着一丝无奈。
“马总,自从几年前在您的建议下,我们团队完成了Transformer架构的搭建,并推出了围棋AI‘奕星’之后,我们并没有停下脚步,一直在基于神经网络和深度学习的原理,探索更大规模的推理模型。”
他顿了顿,语气转向了现实的困难。
“但说实话,进展有些缓慢。最大的瓶颈还是在于算力基础,我们现有的服务器集群,已经跑满了。目前我们最大的一个实验性模型,参数量始终很难突破千万级别。再往上,训练的成本和时间就会呈指数级增长,有点难以为继。”
“除此之外,另一个巨大的难题是,可用于训练的高质量数据非常稀缺。所以目前我们团队的主要精力,还是放在应用层面,比如提升图像识别和语音识别的准确率,这些方向对模型参数量的要求没有那么极端。”
马明在一旁补充道:“老汤他们已经很厉害了,我们内部的图片智能分类和语音转文字功能,准确率已经是全球第一了。”
然而,汤智晓的脸上并没有太多得意的神色,他似乎对现状并不满足。
“不过我听说,英伟达那边今年可能会发布一款新的计算卡,叫Tesla K80,据说单卡性能会是上一代的两倍以上。我们正在计划,等它发布后,立刻采购一批,搭建新的服务器集群,或许到时候,能把模型参数再往上提一个数量级。”
听到“千万级别参数”和“Tesla K80”,马宇腾的内心毫无波澜,甚至有点想叹气。
感觉他穿越前的记忆,在几年后OpenAI发布的初代GPT模型,参数量就已经达到1.17亿,更别说后世的那些参数达到万亿级别的大模型。
明讯网络现在即使突破了千万参数,距离真正意义上的“大模型”,依然隔着一道巨大的鸿沟。
实际上,这也不能怪汤智晓他们。
在这个时代,除了明讯因为自己这个穿越者的提醒,早早押注了Transformer架构和模型参数规模之外,全世界几乎所有的AI研究机构,都还没有系统性地认识到“大力出奇迹”的真理。
在GPT-3用石破天惊的效果证明“模型越大、数据越多、算力越强,智能就必然提升”之前,整个业界的主流思路,还是更侧重于针对每一个具体的应用场景,去设计专门的、精巧的模型结构。
他们不知道,当模型规模突破某个神秘的临界点后,会像打通任督二脉一样,突然涌现出小模型完全不具备的、近乎通用的智能。
想到这里,马宇腾决定再“点拨”他们一下。
他看向因为数据问题而皱眉的汤智晓,忽然开口问道:“汤总,你说高质量的训练数据稀缺,这个问题,你们有没有想过换一种思路去解决?”
“换一种思路?”汤智晓有些疑惑。
“对。”马宇腾点了点头,抛出了一个让在场两人都意想不到的方案。
“我们东大,最不缺的是什么?是人。尤其是高素质、低成本的大学生群体。”
“你们完全可以成立一个专门的数据标注部门,或者与各大高校合作,组织在校的大学生,以勤工俭学或者实习的方式,开展大规模的数据标注工作。无论是图片、文本还是语音,我们都可以用人力,去堆出全世界质量最高、规模最大的中文语料库!”
这个想法一出,汤智晓和马明都愣住了。
数据标注?
这听起来像是一个附加值极低的劳动密集型工作。
国外的那些互联网巨头,从来不会将数据标注当成是AI发展的核心。
看到他们的表情,马宇腾就知道他们在想什么。
他加重了语气说道:“千万不要小看这项工作。在我看来,未来AI模型的竞争,算力是入场券,算法是核心驱动,而高质量的数据,就是决定模型能力上限的‘食粮’!”
他的目光变得深邃。
“我甚至可以预言,未来我们东大在AI技术发展上能否盖过花旗国,一个决定性的因素,就在于我们能否建立起比他们规模更大、质量更高的中文训练数据集!”
在他穿越前的时代,国内大模型发展落后于国外的一个重要原因,就是高质量的中文数据在整个互联网数据总量中的占比,远远低于英文。
如果明讯现在就开始,利用东大独有的人力资源优势,抢先开启这项看似“笨重”的工作,未来十年,这将为整个东大的AI产业,构筑起一道旁人无法逾越的数据护城河!
汤智晓呆呆地看着马宇腾,眼镜下的双眼,光芒越来越亮。
他仿佛被打开了一个全新的世界。
是啊!他们一直苦恼于从现有互联网上抓取的数据质量参差不齐,清洗成本极高,为什么不自己动手,去创造一个高质量的数据源呢?
“马总……我明白了!”汤智晓激动地站了起来。
“您这个思路,太重要了!我们之前确实走入误区了!”
马明也迅速领会了其中的战略价值,他看向马宇腾的眼神里,充满了钦佩。
“这件事,你们AI事业部立刻成立专项小组去推进,要钱给钱,要人给人!”马明当场拍板。
看到气氛已经到位,马宇腾这才抛出了今天来的最后一个目的。
“既然说到了算力,我今天来,也是想告诉你们一个好消息。”
他笑着说:“德思半导体那边,我们自己的AI芯片‘朱雀’,已经进入了详细设计阶段。我希望,等芯片流片成功后,明讯的AI事业部能成为它的第一个核心用户,并且在软件生态、开发工具链的建设上,给予全面的支持和适配。”
“我们东大自己的AI芯片?”
这个消息,比刚才的数据标注计划更让马明和汤智晓震惊。
(https://www.mangg.com/id204544/11954051.html)
1秒记住追书网网:www.mangg.com。手机版阅读网址:m.mangg.com