AI x Crypto：从零到巅峰

引言

人工智能行业近期的发展被一些人视为第四次工业革命。大模型的出现显著提升了各行各业的效率，据估计为美国提升了约20%的工作效率。同时大模型带来的泛化能力被认为是新的软件设计范式，从过去精确的代码转向更泛化的大模型框架嵌入软件中，能够支持更广泛的模态输入与输出。深度学习技术为AI行业带来了第四次繁荣，这股风潮也影响到了加密货币行业。

本报告将详细探讨AI行业的发展历史、技术分类以及深度学习技术对行业的影响。深入剖析深度学习中GPU、云计算、数据源、边缘设备等产业链上下游的发展现状与趋势。并从本质上探讨加密货币与AI行业的关系，梳理加密货币相关的AI产业链格局。

AI行业的发展历史

AI行业从20世纪50年代起步，为实现人工智能的愿景，学术界和工业界在不同时代不同学科背景下发展出了多种实现人工智能的流派。

现代人工智能技术主要使用"机器学习"这一术语，其理念是让机器依靠数据在任务中反复迭代以改善系统性能。主要步骤是将数据送到算法中训练模型,测试部署模型,使用模型完成自动化的预测任务。

目前机器学习有三大主要流派,分别是联结主义、符号主义和行为主义,分别模仿人类的神经系统、思维、行为。当前以神经网络为代表的联结主义占据上风（也称为深度学习）,主要原因是这种架构有一个输入层一个输出层,但有多个隐藏层,一旦层数以及神经元（参数）的数量足够多,就有足够的机会拟合复杂的通用型任务。通过数据输入,可以不断调整神经元的参数,经历多次数据后该神经元就会达到最佳状态（参数）,这也是其"深度"的由来——足够多的层数和神经元。

基于神经网络的深度学习技术也有多个技术迭代与演进,从最早期的神经网络,到前馈神经网络、RNN、CNN、GAN,最后演进到现代大模型如GPT等使用的Transformer技术。Transformer技术只是神经网络的一个演进方向,多加了一个转换器,用于把所有模态（如音频,视频,图片等）的数据编码成对应的数值来表示。然后再输入到神经网络中,这样神经网络就能拟合任何类型的数据,也就是实现多模态。

AI发展经历了三次技术浪潮: 第一次浪潮是20世纪60年代,是AI技术提出的十年后,这次浪潮是符号主义技术发展引起的,该技术解决了通用的自然语言处理以及人机对话的问题。同时期,专家系统诞生。

第二次AI技术浪潮发生在1997年,IBM深蓝"Blue"以3.5:2.5战胜了国际象棋冠军卡斯帕罗夫(Kasparov),这场胜利被视为人工智能的一个里程碑。

第三次AI技术浪潮发生在2006年。深度学习三巨头Yann LeCun、Geoffrey Hinton以及Yoshua Bengio提出了深度学习的概念,一种以人工神经网络为架构,对资料进行表征学习的算法。之后深度学习的算法逐渐演进,从RNN、GAN到Transformer以及Stable Diffusion,这些算法共同塑造了这第三次技术浪潮,也是联结主义的鼎盛时期。

深度学习产业链

当前大模型语言使用的都是基于神经网络的深度学习方法。以GPT为首的大模型造就了一波人工智能的热潮,大量的玩家涌入这个赛道,市场对于数据、算力的需求大量迸发。本部分主要探索深度学习算法的产业链,其上下游组成,以及上下游的现状与供需关系、未来发展。

基于Transformer技术的GPT为首的LLMs（大模型）训练分为三个步骤:

第一步,预训练。通过给输入层足够多的数据对来寻找该模型下各个神经元最佳的参数,这个过程需要大量的数据,也是最耗费算力的过程。

第二步,微调。给予一批量较少但质量非常高的数据来训练,以提升模型的输出质量。

第三步,强化学习。建立一个"奖励模型"来判定大模型的输出是否高质量,用来自动迭代大模型的参数。

简而言之,在大模型的训练过程中,预训练对数据的量要求非常高,所需耗费的GPU算力也最多;微调需要更高质量的数据来改进参数;强化学习可以通过奖励模型来反复迭代参数以输出更高质量的结果。

影响大模型表现主要由三个方面决定:参数数量、数据量与质量、算力。这三个共同影响了大模型的结果质量和泛化能力。假设参数数量为p,数据量为n（以Token数量计算）,那么通过经验法则可以计算所需的计算量,从而预估需要购买的算力情况以及训练时间。

算力一般以Flops为基本单位,代表一次浮点运算。根据经验法则,预训练一次大模型大概需要6np Flops。推理（输入数据等待大模型输出的过程）大约需要2np Flops。

早期使用CPU芯片进行训练提供算力支持,后来逐渐使用GPU替代,如Nvidia的A100、H100芯片等。因为GPU可以作为专用计算,在能耗效率上远优于CPU。GPU运行浮点运算主要通过Tensor Core模块进行。芯片的FP16/FP32精度下的Flops数据代表其主要计算能力,是芯片的主要衡量指标之一。

假设大模型参数以GPT3为例,有1750亿个参数,1800亿个Token的数据量（约570GB）,那么进行一次预训练需要6np的Flops,约为3.1510^22 Flops。以TFLOPS（Trillion FLOPs）为单位约为3.1510^10 TFLOPS,也就是说一张SXM型号的芯片预训练一次GPT3约需要584天。

由此可见预训练的庞大计算量需要多张最先进芯片共同计算才能实现。GPT4的参数量又是GPT3的十倍,意味着即使数据量不变,芯片数量也要多购买十倍。GPT-4的Token数量为13万亿个,又是GPT-3的十倍,最终GPT-4可能需要超过100倍的芯片算力。

在大模型训练中,数据存储也有问题。GPU的内存空间一般较小（如A100为80GB）,无法容纳全部数据,因此需要考察芯片的带宽,即从硬盘到内存的数据传输速度。同时由于使用多个GPU芯片,还涉及GPU之间的传输速率。所以在很多时候,制约模型训练实践的因素或成本,不一定是芯片的计算能力,更多时候可能是芯片的带宽。因为数据传输很慢,会导致运行模型的时间拉长,电力成本就会提高。

深度学习产业链主要包括以下几个部分:

1. 硬件GPU提供商
2. 云服务提供商
3. 训练数据源提供商
4. 数据库提供商
5. 边缘设备
6. 应用

硬件GPU提供商

目前Nvidia在AI GPU芯片领域处于绝对领先地位。学术界主要使用消费级别的GPU（RTX系列）;工业界主要使用H100、A100等用于大模型的商业化落地。

2023年,Nvidia最先进的H100芯片一经发布就获得了多家公司的认购。全球对H100芯片的需求远远大于供给,其出货周期已达到52周之久。鉴于Nvidia的垄断情况,Google牵头,英特尔、高通、微软、亚马逊共同成立了CUDA联盟,希望共同研发GPU以摆脱Nvidia的影响力。

对于超大型科技公司/云服务提供商/国家级实验室来说,他们动辄购买上千、上万片H100芯片组建HPC（高性能计算中心）。截至2023年底,H100芯片的订购量就超过了50万片。

在Nvidia的芯片供给方面,目前H200的消息已经发出,预计H200的性能是H100性能的两倍,而B100将在2024年底或2025年初推出。目前GPU的发展仍然满足摩尔定律,性能每2年翻一倍,价格下降一半。

云服务提供商

云服务提供商在购买足够的GPU组建HPC后,能够为资金有限的人工智能企业提供弹性的算力以及托管训练解决方案。目前市场主要分为三类云算力提供商:

1. 传统云厂商为代表的超大规模拓展的云算力平台（AWS、Google、Azure）
2. 垂直赛道的云算力平台,主要为AI或高性能计算而布置
3. 推理即服务提供商,主要为客户部署已预训练完毕的模型,进行微调或推理

训练数据源提供商

大模型训练主要经历预训练、微调、强化学习三个步骤。预训练需要大量数据,微调需要高质量数据,因此像Google这种搜索引擎和Reddit这种拥有优质对话数据的公司受到市场广泛关注。

有些开发厂商为了不与通用型大模型竞争,选择在细分领域如金融、医疗、化学等开发,需要特定领域的数据。因此存在为这些大模型提供特定数据的公司,也称为Data labeling company。

对于模型研发企业来说,大量数据、优质数据、特定数据是三种主要的数据诉求。

微软的研究认为,如果小语言模型的数据质量明显优于大语言模型,其性能不一定会差。实际上GPT在原创力和数据上并没有明显优势,主要是其对该方向的押注造就了成功。红杉美国也认为,GPT未来不一定保持竞争优势,因为这方面没有太深的护城河,主要限制来源于算力获取。

根据预测,按照当前模型规模增长情况,2030年所有的低质量和高质量数据都会耗尽。因此业内正在探索人工智能合成数据,以生成无限数据,那么瓶颈就只剩下算力。这个方向仍在探索阶段,值得关注。

数据库提供商

对于AI数据和深度学习训练推理任务,目前业内使用"矢量数据库"。矢量数据库旨在高效地存储、管理和索引海量高维矢量数据。能够将非结构化的数据统一以"向量"的形式存储,适合这些向量的存储和处理。

主要玩家有Chroma、Zilliz、Pinecone、Weaviate等。预计随着数据量需求增加,以及各种细分领域的大模型和应用迸发,对Vector Database的需求将大幅增加。由于这一领域有很强的技术壁垒,投资时更多考虑偏向成熟和有客户的企业。

边缘设备

组建GPU HPC（高性能计算集群）时,通常会消耗大量能量产生热能,需要降温设备保