由于CPU 在AI 计算上的弱点，给了可以实现海量并行计算且能够对进行计算加速的AI 芯片留下了市场空间。从广义上讲，面向AI 计算的芯片都可以称为AI 芯片，包括基于传统架构的GPU、FPGA以及ASIC（专用芯片），也包括正在研究但离商用还有较大差距的类脑芯片、可重构AI 芯片等。

　　云端训练芯片市场较为集中，而推理市场云、边两端均有大量企业参与按照部署位置划分，AI 芯片可以分为云端芯片和边缘端芯片。云端芯片部署位置包括公有云、私有云或者混合云等基础设施，主要用于处理海量数据和大规模计算，而且还要能够支持语音、图片、视频等非结构化应用的计算和传输，一般情况下都是用多个处理器并行完成相关任务；边缘端AI 芯片主要应用于嵌入式、移动终端等领域，如摄像头、智能手机、边缘服务器、工控设备等，此类芯片一般体积小、耗电低，性能要求略低，一般只需具备一两种AI 能力。

　　按照承担的任务分，AI 芯片可以划分为训练芯片和推理芯片。训练是指通过大量标记过的数据在平台上进行“学习”，并形成具备特定功能的神经网络模型；推理则是利用已经训练好的模型输入新数据通过计算得到各种结论。训练芯片对算力、精度要求非常之高，而且还需要具备一定的通用性，以适应多种算法的训练；推理芯片更加注重综合能力，包括算力能耗、时延、成本等因素。

　　综合来看，训练芯片由于对算力的特殊要求，只适合在云端部署，而且多采用的是“CPU+加速芯片”类似的异构模式，加速芯片可以是GPU，也可以是FPGA 或者是ASIC 专用芯片。

　　AI 训练芯片市场集中度高，英伟达和谷歌领先，英特尔和AMD 正在积极切入。推理在云端和终端都可进行，市场门槛相对较低，市场参与者较多。云端推理芯片除了传统的英伟达、谷歌、赛灵思等芯片大厂外，Groq等国际新兴力量也在加入竞争，国内寒武纪、比特大陆也有不错表现；终端推理芯片市场较为分散，场景各异，参与者除了英伟达、英特尔、ARM 和高通之外，国内企业如寒武纪、地平线、云知声、云天励飞等在各自细分领域均有所建树。