还剩10页未读,继续阅读
本资源只提供10页预览,全部文档请下载后查看!喜欢就下载吧,查找使用更方便
文本内容:
信息技术带动下的产业链发展趋势ChatGPT AI从2022年下半年开始,随着深度学习的发展,以Diffusion、ChatGPT为代表的颠覆性AI应用破圈,标志着人工智能领域的重大突破,引发全球共振不少人将ChatGPT的问世比喻为“蒸汽机”,人工智能就此走向“工业时代”上海人工智能产业投资基金作为上海市级产业投资基金,根据建设人工智能“上海高地”的战略部署,始终密切跟踪技术带来的AI产业链技术及商业模式变迁下面是近期我们对AI技术及产业发展趋势的思考核心观点
1、ChatGPT展现了极强的语义理解、多轮沟通对话、推理演绎能力,代表了人工智能研究范式的改变以Transformer为基础的软硬件标准化趋势的确立让我们有理由相信且为之振奋我们正站在AI工业化革命爆发的拐点一一与其说ChatGPT证明了某一条AI研究路线的成功,倒不如说它更大的意义是证明了AI这些年不断收敛但依然存在多种选择的各类路线里,最终真的是会走出一条路AI工业技术革命终将到来-机器学习分布式框架大模型大算力一定需要多机多卡训练,以ChatGPT为例,训练一次需要
3.14XE23FL0PS算力但从训练到推理的过程,模型参数数量不变,分布式框架加速优化的帮助显著以英伟达A100为例,A100早期训练效率只有20%,经过分布式框架的优化,效率可以提升30T40%,整体效率提升至50犷100%
四、时不我待中国自主大模型的必然、机会和挑战以OpenAI、微软等为代表的发达国家巨头对科技创新和产业升级新一轮密集投入的效果逐步显现,科技革命和工业革命下新一轮“技术一经济范式”变迁也随之逐渐明朗科技工业革命必然伴随理念、知识、制度,甚至社会价值观和国际话语权的深刻变革,引发新一轮的国际和经济竞争ChatGPT的出现意味着AI产业水平化分工的条件基本成熟,世界上并不需要很多个大模型,但大模型参数作为社会底层知识、学习资料的承载,具有极高的社会、经济和文化价值基于全球政治环境、代表中国中大型企业私有化部署的需求、数据跨境的合规风险和安全考虑,我们认为,中国一定会有自己的LLM(大模型)将构建中国自主的大模型视为在AI领域全方位军备竞赛并不为过这需要超大规模智算平台对芯片、系统、网络、存储到数据进行全盘系统优化,需要一个能自主掌控更多环节从而实现全局调优的方案虽然目前我们在算力、高质量数据集、顶尖人才资源、应用生态方面与海外存在较大差距,但以百度、腾讯、阿里为代表的中国科技公司们在这个技术周期里所生长出来云、数据、芯片和复杂系统,已初步拥有了参与这场ChatGPT竞争的“入场券”即使目前各环节依然存在不小的代际差,但我们深信基于多年积累的建模、训练和调参,加大长期的资本和人才投入,深度融合的数据和场景,底层训练数据,我们自主独立的大模型依然存在商业闭环的机会如何追赶?核心能力在于工程化能力和应用规模作为系统工程,AI需要依靠庞大的团队支撑类比搜索引擎公司,搜索引擎壁垒不在于算法本身,而在于工程化的需求,例如谷歌搜索引擎、头条推荐,都需要强大的工程能力OpenAI的GPT-1到GPT-3再到现在的ChatGPT,模型结构没有发生任何变化transformerdecoder,单一产品仍需要几百名正式员工、上千名标注员打磨三年一一AI工程化恰是中国的机会同时,中国基本上所有的互联网公司都是AI公司,中国的规模效应,有望让大模型迅速普及化的改进闭环,成为中国企业迎头追赶的机会人工智能有助于经济的自动化、智能化,AI大模型的最终目标是AGI(通用人工智能)o AI大模型对人类传达信息的载体有了更好的学习,在此基础上各个媒介之间的互通成为可能当这一目标实现的时候,人类各种经济活动产生的信息的生产、传输、分发、消费可实现编程化,万物智能成本无限降低,人类的生产力与创造力得到进一步的解放相信长期的力量上海人工智能基金秉持长期主义,助力人工智能从业者们这场系统战、持久战中保持定力上海人工智能产业基金是经上海市政府批准同意,由国盛集团、临港集团联合市区两级财政及市属大型产业集团共同发起,由上海临港科创投资管理有限公司担任基金管理人,旨在贯彻落实世界人工智能大会成果,加快推进上海人工智能高质量发展基金聚焦人工智能核心技术和关键应用,同时关注优秀创业者陪护和生态资源的持续积累,致力于打造人工智能产业发展各类要素联通的“一站式”平台,助力建设人工智能“上海高地”,同时为产业升级变革创造长期价值ChatGPT的能力展现为人工智能产业链注入了新活力,即使尚处于萌芽期,其展现的创造能力充满想象空间,有望带动AIGC类应用快速爆发人工智能技术作为驱动数据经济的技术底层,有望迎来新的发展机遇,在数字时代赋能人类生产力与创造力进一步解放和革新上海人工智能基金将持续通过技术引领与场景赋能双轮驱动,推动人工智能成为驱动新一轮科技革命和产业变革的重要力量
2、大语言模型使用自然语言交互,颠覆了原有的人机交互方式从键盘鼠标、触摸屏、语音,人机交互方式的改变重塑了信息产业的形态人工智能驱动的自然语言交换不仅加速虚拟世界的建立,带来了生产力的革命,也会重塑生产关系,现实世界的下游应用都有望被重构
3、伴随参数规模增速的不断提升,算力和训练成本仍存在瓶颈,大模型的性能天花板远未到来,甚至算法需要根据硬件优化,包括芯片级优化、数据中心架构优化、机器学习分布式框架在内的软硬件联合调优等算力创新将成为破局关键,转动起AI算力-AI应用的产业飞轮
4、大模型参数是社会底层知识、学习资料的承载,具有极高的社会、经济和文化价值考虑到全球政策环境、企业私有化部署的需求、数据跨境的合规风险等因素,中国独立自主大模型构建的迫切性呼之欲出道阻且长,行之将至如何利用好AI工程化这一构建大模型的核心能力,以及利用中国的规模效应使大模型迅速普及并改进闭环,是破局的机会
一、拐点将至大模型研发范式的改变标志着AI真正走向了工业化生产道路ChatGPT如何能力出众?相比于之前的Chatbot,我们可以看到一个惊人的ChatGPT极好的理解和把握用户意图,具有出良好的多轮沟通对话、记忆、归纳和演绎能力,会甄别高水准答案,知道如何一步一步解决用户问题,有逻辑和条理的输出回答结果ChatGPT背后的技术突围和能力养成?任何AI技术都不是空中楼阁在惊叹以ChatGPT、Diffusion为代表的AIGC所展现的惊人能力的同时,我们看到的是一次深度学习算法、算力提升、数据积累三浪叠加后的“大力出奇迹”,以及背后长达几十年的酝酿•大语言模型LLM标志着AI研究范式的改变拉长NLP技术发展时间周期,早期阶段2013年左右的NLP任务采用传统的“特征提取+机器学习”进行研究,第二阶段转变为“预训练模型+finetune”范式,均致力于“大练模型”,即根据下游任务调整预训练模型,帮助机器理解人的意图而在以ChatGPT为代表的GPT
3.0预训练模型+Prompt”范式中,通过“练大模型”大幅减小预训练的任务和下游任务之间的统计分布差距,让计算机适配人的习惯命令表达方式,提高整体任务的通用性和用户体验,从而使通用底座模型成为可能•模型规模激发能力突变研究表明,大模型许多能力上的惊人突破,并非一个线性的过程,而是在模型尺寸达到一个量级时发生突然的“进化”(ScalingLaw即规模定律)当LLM的参数量达到一定量时(比如100亿),模型的能力将发生突变GPT
3.0模型下1750亿参数量“涌现”出的强大智能表现,验证ScalingLaw生效,由此获得了存在于大模型而非小模型的涌现能力更深度的人类活动信息变成可用数据,进一步激发模型-数据的飞轮效应从神经网络角度看,人脑有约100万亿神经元GPT-3有1750亿参数,预计OpenAI的GPT-4模型参数量将变得更大,但距离人脑的100万亿神经元尚远随着算力的进步,参数规模提升能否带来新的特性值得期待,我们相信大语言模型的新能力会随着参数和模型规模的激增而进一步解锁•标准化趋势正在加速在算法层面,大模型的核心Transformer有统一算法的趋势,图像、自然语言理解、多模态的主要技术路线基本都基于Transformer实现算法的收敛某种程度上使得硬件收敛成为可能,而Transformer加速引擎成为算力必选项虽然目前算法、软件、硬件尚未实现完全标准化,但我们可以清楚的看到LLM标准化进程正在加速,逐渐显现出“通用目的技术”的三个特性即普遍适用性、动态演进性和创新互补性,有望成为驱动工业革命的增长的引擎
二、革故立新,人机交互方式的改变引发生产力的工业化变革,产业链将被重构回顾科技进步和产业变革的历史可以发现,历次科技革命和工业革命都带来了改变人类生产生活的技术、产品和服务科技革命标志性的科学成就以及工业革命的主导技术往往具有颠覆性特征,无一不对解放生产力、推动人类文明演进产生了深远影响•大语言模型所推动的本质变革在于改变了人机交互方式自然语言成为了人机交互媒介,计算机可以理解人类自然语言,而不再依赖固定代码、特定模型等中间层以手机、平板等为载体的人机交互方式可能在元宇宙场景下以更自然的方式展现,移动互联网时代的人工智能应用可能被重塑•交互方式的改变将引发各行各业的生产力革命用以嫁接计算机与人类的软件“中间层”将不复存在,产品形态发生变化,软件可以迅速支持自然语言接口,而不必开发和调用API接口劳动对象、生产关系随之变化,AI软件开发的门槛降低,用户群扩大,企业内部研发和产品的界限将日益模糊;产品根据用户反馈进行直接调整,产业链进一步缩短,生产效率提高新的需求、职业、市场空间、商业模式呼之欲出,数据-模型叠加的产业飞轮将彻底改变很多传统行业和产业格局•规模工业化生产的格局有望体现生产方式从“农耕时代”走向“工业时代”,AI产业生态将从过去每个垂直应用领域做各自模型,变成通过大模型做应用,通用性更强AI产业链将呈现底层基础设施(芯片/云服务商)一大模型一PromptEngineeringPlatform一终端应用的水平化分工我们大胆推测,由于预训练模型需要耗费大量的成本和技术投入,因此类似台积电之于英伟达,大模型/AI平台的入门门槛高,一般参与的对象还是以大规模的互联网公司和行业巨头为主,未来可能只有
1、2家公司是做大模型底层基础设施原本期望通过做垂直化、场景化、个性化模型和应用工具扩张成平台型企业的中间层企业们的竞争可能日益激烈;理解行业痛点并在大模型基础上快速抽取生成场景化、定制化、个性化的小模型,从而实现不同行业和领域的工业流水线式部署的公司才能生存靠近商业的应用型公司,依托AI将落地场景中的真实数据发挥更大价值这某种程度上体现了规模工业化生产的特质,即产业分工,标准化和规模化•所有的下游应用都有望被重构随着基础模型与工具层的崛起,构建应用的成本和难度将大幅降低对于应用开发者来说,所有的下游应用值得被重构传统企业+AI将享受低成本构建应用模型的便利,利用场景和行业know-how优势更快的拥抱数字化转型,大幅提升效率和体验;创业公司AI+聚焦高价值场景,颠覆现有业务,在自己擅长的方向上去做突围,比大厂先一步做出数据飞轮,形成壁垒
三、超越摩尔定律,算力瓶颈下的软硬件联合调优成为破局关键新工业革命的主导技术和产业不再呈现单一性特征,很有可能演变为由多个交叉技术组成的技术簇群,不断同步、掣肘、叠加和“纠缠”回看人工智能产业的发展历史,每一波大发展都是与算力提升和数据爆发相结合软件与算力供需的失衡、能力的追赶不断催生创新技术需求,一旦关键技术迎来突破,将会带动整个产业群的发展•受制于摩尔定律,AI训练成本高企,当前硬件算力的成本和供给远无法满足日益增长的内存和计算需求不仅仅是语言大模型参数规模呈指数增长LLM将更大范围更深度的人类活动信息直接转化为可用数据,引发全球数据量激增根据Google统计,DNN的内存和计算需求每年约增长
1.5倍2016-2020内存增长
0.97-
2.16,算力增长
1.26-
2.16;而算力供给却达不到从2016至2023年,英伟达GPU单位美元的算力增长
7.5倍P1004GFL0PS/$到H10030GFL0PS/S,GPU算力提升约69倍P10022TFL0PS到H1001513TFLOPS,GPU效率提升约59倍P
10073.3TFL0PS/kw到H1004322TFL0PS/kw虽然GPU在各种效率有明显提升,长期o来看,算力需求每年约增长
1.5倍存在一定的不可持续性,我们预计在最好情况下英伟达GPU的算力供给每年增长1倍,按一般技术渗透规律,算力层面还需要一定程度的优化,否则很难和应用形成较好的正反馈效应,从而提升行业的渗透率如何在AI算力上实现技术突破、降低成本、扩大规模,提升AI训练的边际效益,将成为技术创新的焦点催生的算力创新需求包括-芯片级优化过去十年里芯片性能的提升,超过60%直接或间接受益于半导体工艺的提升,而只有17%来自于芯片架构的升级;而摩尔定律放缓,每100m栅极的成本将持续增加(比如从28nm的
1.3美元提升到7nm的
1.52美元),主要由制造这些芯片的复杂性增加所驱动一一即制造步骤的增加,远远达不到经济效益同时,制造难度增加,也将增加良率带来的损失,需要通过将大芯片分成更小的Chiplet提高产量/良率,降低制造成本-数据中心架构优化据英伟达估计,到2030年数据中心能耗占全社会能耗3-13%,而数据中心架构也在演进中,从原先的CPU作为单一算力来源,引入软件架构定义,再到增加GPU、DPU,GPU、DPU的引入使得数据中心三种计算芯片分工明确,从而提升整个数据中心的效率。