fpga, cpu, gpu, asic区别，fpga为何这么牛-凯发k8国际手机网页

 

一、为什么使用 fpga？

众所周知，通用处理器（cpu）的摩尔定律已入暮年，而机器学习和 web 服务的规模却在指数级增长。

人们使用定制硬件来加速常见的计算任务，然而日新月异的行业又要求这些定制的硬件可被重新编程来执行新类型的计算任务。

fpga 正是一种硬件可重构的体系结构。它的英文全称是field programmable gate array，中文名是现场可编程门阵列。

fpga常年来被用作专用芯片（asic）的小批量替代品，然而近年来在微软、百度等公司的数据中心大规模部署，以同时提供强大的计算能力和足够的灵活性。

不同体系结构性能和灵活性的比较

fpga 为什么快？「都是同行衬托得好」。

cpu、gpu 都属于冯·诺依曼结构，指令译码执行、共享内存。fpga 之所以比 cpu 甚至 gpu 能效高，本质上是无指令、无需共享内存的体系结构带来的福利。 

冯氏结构中，由于执行单元（如 cpu 核）可能执行任意指令，就需要有指令存储器、译码器、各种指令的运算器、分支跳转处理逻辑。由于指令流的控制逻辑复杂，不可能有太多条独立的指令流，因此 gpu 使用 simd（单指令流多数据流）来让多个执行单元以同样的步调处理不同的数据，cpu 也支持 simd 指令。

而 fpga 每个逻辑单元的功能在重编程（烧写）时就已经确定，不需要指令

冯氏结构中使用内存有两种作用。一是保存状态，二是在执行单元间通信。

由于内存是共享的，就需要做访问仲裁；为了利用访问局部性，每个执行单元有一个私有的缓存，这就要维持执行部件间缓存的一致性。

对于保存状态的需求，fpga 中的寄存器和片上内存（bram）是属于各自的控制逻辑的，无需不必要的仲裁和缓存。

对于通信的需求，fpga 每个逻辑单元与周围逻辑单元的连接在重编程（烧写）时就已经确定，并不需要通过共享内存来通信。

说了这么多三千英尺高度的话，fpga 实际的表现如何呢？我们分别来看计算密集型任务和通信密集型任务。

 

计算密集型任务的例子包括矩阵运算、图像处理、机器学习、压缩、非对称加密、bing 搜索的排序等。这类任务一般是 cpu 把任务卸载（offload）给 fpga 去执行。对这类任务，目前我们正在用的 altera（似乎应该叫 intel 了，我还是习惯叫 altera……）stratix v fpga 的整数乘法运算性能与 20 核的 cpu 基本相当，浮点乘法运算性能与 8 核的 cpu 基本相当，而比 gpu 低一个数量级。我们即将用上的下一代 fpga，stratix 10，将配备更多的乘法器和硬件浮点运算部件，从而理论上可达到与现在的顶级 gpu 计算卡旗鼓相当的计算能力。

 

 

 

 

在数据中心，fpga 相比 gpu 的核心优势在于延迟。

像 bing 搜索排序这样的任务，要尽可能快地返回搜索结果，就需要尽可能降低每一步的延迟 

如果使用 gpu 来加速，要想充分利用 gpu 的计算能力，batch size 就不能太小，延迟将高达毫秒量级。 

使用 fpga 来加速的话，只需要微秒级的 pcie 延迟（我们现在的 fpga 是作为一块 pcie 加速卡）。

未来 intel 推出通过 qpi 连接的 xeon fpga 之后，cpu 和 fpga 之间的延迟更可以降到 100 纳秒以下，跟访问主存没什么区别了。

fpga 为什么比 gpu 的延迟低这么多？ 

这本质上是体系结构的区别。

fpga 同时拥有流水线并行和数据并行，而 gpu 几乎只有数据并行（流水线深度受限）。 

例如处理一个数据包有 10 个步骤，fpga 可以搭建一个 10 级流水线，流水线的不同级在处理不同的数据包，每个数据包流经 10 级之后处理完成。每处理完成一个数据包，就能马上输出。

而 gpu 的数据并行方法是做 10 个计算单元，每个计算单元也在处理不同的数据包，然而所有的计算单元必须按照统一的步调，做相同的事情（simd，single instruction multiple data）。这就要求 10 个数据包必须一起输入、一起输出，输入输出的延迟增加了。 

当任务是逐个而非成批到达的时候，流水线并行比数据并行可实现更低的延迟。因此对流式计算的任务，fpga 比 gpu 天生有延迟方面的优势。

计算密集型任务，cpu、gpu、fpga、asic 的数量级比较（以 16 位整数乘法为例，数字仅为数量级的估计

asic 专用芯片在吞吐量、延迟和功耗三方面都无可指摘，但微软并没有采用，出于两个原因：

• 数据中心的计算任务是灵活多变的，而 asic 研发成本高、周期长。好不容易大规模部署了一批某种神经网络的加速卡，结果另一种神经网络更火了，钱就白费了。fpga 只需要几百毫秒就可以更新逻辑功能。fpga 的灵活性可以保护投资，事实上，微软现在的 fpga 玩法与最初的设想大不相同。

• 数据中心是租给不同的租户使用的，如果有的机器上有神经网络加速卡，有的机器上有 bing 搜索加速卡，有的机器上有网络虚拟化加速卡，任务的调度和服务器的运维会很麻烦。使用 fpga 可以保持数据中心的同构性。 

接下来看通信密集型任务。

相比计算密集型任务，通信密集型任务对每个输入数据的处理不甚复杂，基本上简单算算就输出了，这时通信往往会成为瓶颈。对称加密、防火墙、网络虚拟化都是通信密集型的例子。

对通信密集型任务，fpga 相比 cpu、gpu 的优势就更大了。

从吞吐量上讲，fpga 上的收发器可以直接接上 40 gbps 甚至 100 gbps 的网线，以线速处理任意大小的数据包；而 cpu 需要从网卡把数据包收上来才能处理，很多网卡是不能线速处理 64 字节的小数据包的。尽管可以通过插多块网卡来达到高性能，但 cpu 和主板支持的 pcie 插槽数量往往有限，而且网卡、交换机本身也价格不菲。

从延迟上讲，网卡把数据包收到 cpu，cpu 再发给网卡，即使使用 dpdk 这样高性能的数据包处理框架，延迟也有 4~5 微秒。更严重的问题是，通用 cpu 的延迟不够稳定。例如当负载较高时，转发延迟可能升到几十微秒甚至更高（如下图所示）；现代操作系统中的时钟中断和任务调度也增加了延迟的不确定性。

clicknp（fpga）与 dell s6000 交换机（商用交换机芯片）、click dpdk（cpu）和 linux（cpu）的转发延迟比较，error bar 表示 5% 和 95%。来源：[5

虽然 gpu 也可以高性能处理数据包，但 gpu 是没有网口的，意味着需要首先把数据包由网卡收上来，再让 gpu 去做处理。这样吞吐量受到 cpu 和/或网卡的限制。gpu 本身的延迟就更不必说了。

那么为什么不把这些网络功能做进网卡，或者使用可编程交换机呢？asic 的灵活性仍然是硬伤。

尽管目前有越来越强大的可编程交换机芯片，比如支持 p4 语言的 tofino，asic 仍然不能做复杂的有状态处理，比如某种自定义的加密算法。

综上，在数据中心里 fpga 的主要优势是稳定又极低的延迟，适用于流式的计算密集型任务和通信密集型任务。

二、微软部署 fpga 的实践

2016 年 9 月，《连线》（wired）杂志发表了一篇《微软把未来押注在 fpga 上》的报道 [3]，讲述了 catapult 项目的前世今生。

紧接着，catapult 项目的老大 doug burger 在 ignite 2016 大会上与微软 ceo satya nadella 一起做了 fpga 加速机器翻译的演 

演示的总计算能力是 103 万 t ops，也就是 1.03 exa-op，相当于 10 万块顶级 gpu 计算卡。一块 fpga（加上板上内存和网络接口等）的功耗大约是 30 w，仅增加了整个服务器功耗的十分之一。

ignite 2016 上的演示：每秒 1 exa-op (10^18) 的机器翻译运算能力

微软部署 fpga 并不是一帆风顺的。对于把 fpga 部署在哪里这个问题，大致经历了三个阶段：

• 专用的 fpga 集群，里面插满了 fpga

• 每台机器一块 fpga，采用专用网络连接

• 每台机器一块 fpga，放在网卡和交换机之间，共享服务器网络

• 微软 fpga 部署方式的三个阶段，来源：[3]

  第一个阶段是专用集群，里面插满了 fpga 加速卡，就像是一个 fpga 组成的超级计算机。

  下图是最早的 bfb 实验板，一块 pcie 卡上放了 6 块 fpga，每台 1u 服务器上又插了 4 块 pcie 卡。

• 

• 最早的 bfb 实验板，上面放了 6 块 fpga。来源：[1]

  可以注意到该公司的名字。在半导体行业，只要批量足够大，芯片的价格都将趋向于沙子的价格。据传闻，正是由于该公司不肯给「沙子的价格」 ，才选择了另一家公 

  当然现在数据中心领域用两家公司 fpga 的都有。只要规模足够大，对 fpga 价格过高的担心将是不必要的。

  最早的 bfb 实验板，1u 服务器上插了 4 块 fpga 卡。来源：[1]

  像超级计算机一样的部署方式，意味着有专门的一个机柜全是上图这种装了 24 块 fpga 的服务器（下图左）。

   这种方式有几个问题：

  • 不同机器的 fpga 之间无法通信，fpga 所能处理问题的规模受限于单台服务器上 fpga 的数量；

  • 数据中心里的其他机器要把任务集中发到这个机柜，构成了 in-cast，网络延迟很难做到稳定。

  • fpga 专用机柜构成了单点故障，只要它一坏，谁都别想加速了；

  • 装 fpga 的服务器是定制的，冷却、运维都增加了麻烦。

  • 

  • 部署 fpga 的三种方式，从中心化到分布式。来源：[1]

    一种不那么激进的方式是，在每个机柜一面部署一台装满 fpga 的服务器（上图中）。这避免了上述问题 (2)(3)，但 (1)(4) 仍然没有解决。

    第二个阶段，为了保证数据中心中服务器的同构性（这也是不用 asic 的一个重要原因），在每台服务器上插一块 fpga（上图右），fpga 之间通过专用网络连接。这也是微软在 isca\'14 上所发表论文采用的部署方式。

  • 此外，通信就必然涉及到调度和仲裁，cpu 由于单核性能的局限和核间通信的低效，调度、仲裁性能受限，硬件则很适合做这种重复工作。因此我的博士研究把 fpga 定义为通信的「大管家」，不管是服务器跟服务器之间的通信，虚拟机跟虚拟机之间的通信，进程跟进程之间的通信，cpu 跟存储设备之间的通信，都可以用 fpga 来加速。

    成也萧何，败也萧何。缺少指令同时是 fpga 的优势和软肋。 

    每做一点不同的事情，就要占用一定的 fpga 逻辑资源。如果要做的事情复杂、重复性不强，就会占用大量的逻辑资源，其中的大部分处于闲置状态。这时就不如用冯·诺依曼结构的处理器。 

    数据中心里的很多任务有很强的局部性和重复性：一部分是虚拟化平台需要做的网络和存储，这些都属于通信；另一部分是客户计算任务里的，比如机器学习、加密解密。

    首先把 fpga 用于它最擅长的通信，日后也许也会像 aws 那样把 fpga 作为计算加速卡租给客户。

    不管通信还是机器学习、加密解密，算法都是很复杂的，如果试图用 fpga 完全取代 cpu，势必会带来 fpga 逻辑资源极大的浪费，也会提高 fpga 程序的开发成本。更实用的做法是fpga 和 cpu 协同工作，局部性和重复性强的归 fpga，复杂的归 cpu。

    当我们用 fpga 加速了 bing 搜索、深度学习等越来越多的服务；当网络虚拟化、存储虚拟化等基础组件的数据平面被 fpga 把持；当 fpga 组成的「数据中心加速平面」成为网络和服务器之间的天堑……似乎有种感觉，fpga 将掌控全局，cpu 上的计算任务反而变得碎片化，受 fpga 的驱使。以往我们是 cpu 为主，把重复的计算任务卸载（offload）到 fpga 上；以后会不会变成 fpga 为主，把复杂的计算任务卸载到 cpu 上呢？随着 xeon fpga 的问世，古老的 soc 会不会在数据中心焕发新生？

    － the end －