PCIe总线基础及FPGA设计实战

PCI Express总线基础及FPGA设计实战

1. PCI Express基础

PCIe总线是基于PCI总线发展起来的，很多基本概念都来自于PCI总线，有必要在介绍PCIe之前了解PCI总线。

1.1 PCI基础

PCI总线作为处理器系统的局部总线，其主要目的是为了连接外部设备，而不是作为处理器系统的系统总线连接Cache和主存储器。PCI总线作为系统总线的延伸，其设计考虑了许多与处理器相关的内容，孤立的研究PCI总线并不可取，因此需要将PCI作为存储器系统的一个部分来研究。

1.1.1 几个重要概念

1) PCI总线空间与处理器空间隔离

PCI设备具有独立的地址空间，即PCI总线地址空间，该空间与存储器地址空间通过HOST主桥隔离。处理器需要通过HOST主桥才能访问PCI设备，而PCI设备需要通过HOST主桥才能方位主存储器。

要注意区分存储器地址空间和PCI总线地址。在一个处理器系统中，存储器域、PCI总线域与HOST主桥的关系如下图。

图中的处理器系统由一个CPU、一个DRAM控制器和两个HOST主桥组成。在这个处理器系统中，包含CPU域、DRAM域、存储器域和PCI总线域地址空间。其中HOST主桥x和HOST主桥y分别管理PCI总线x域与PCI总线y域。CPU访问PCI设备，必须通过HOST主桥进行地址转换，而PCI设备访问存储器设备，也需要HOST主桥进行地址转换。HOST主桥

的一个重要作用就是将存储器访问的存储器地址转换成PCI总线地址。

CPU域地址空间是指CPU所能直接访问的地址空间集合。

DRAM域地址空间是指DRAM控制器所能访问的地址空间集合，又称为主主存储器域。 存储器域是CPU域和DRAM域的集合。存储器域包括CPU内部的通用寄存器、存储器映射寻址的寄存器、主存储器空间和外部设备空间。在Intel的x86处理系统中，外部设备空间与PCI总线域地址空间等效。因为在x86处理器系统中，使用PCI总线同一管理全部外部设备。

值得注意的是，存储器域的外部设备空间，在PCI总线域中还有一个地址映射。当处理器访问PCI设备时，首先访问的是这个设备在存储器域上的PCI设备空间，之后HOST主桥将这个存储器域的PCI总线地址转换成PCI总线域的物理地址，然后通过PCI总线事务访问PCI总线域的地址空间。 2) 可扩展性

PCI总线具有很强的扩展性。在PCI总线中，HOST主桥可以直接推出一条PCI总线，这条总线也是该HOST主桥管理的第一条PCI总线，该总线还可以通过PCI桥扩展一系列PCI总线，并以HOST主桥作为根节点，形成1棵PCI总线树。这些PCI总线都可以连接PCI设备，但是一棵PCI设备树上，最多只能挂接256个PCI设备（包括PCI桥）。 3) 动态配置机制

PCI设备使用的地址可以根据需要由系统软件动态分配。PCI总线使用这种方式合理地解决设备间的地址冲突，从而实现了“即插即用”功能。每一个PCI设备都有独立的配置空间，在配置空间中包含该设备在PCI总线中使用的基地址即BAR地址，从而保证每一个PCI设备使用的物理地址并不相同。PCI桥的配置空间中包含有其下PCI子树所能使用的地址范围。

x86系统的工作流程是：主板上的BIOS程序会扫描PCI/PCIE设备，读取其BAR空间的大小，动态地为PCI/PCIE设备分配地址空间。在调试过中发现，假如将BAR空间设置成2G，x86系统会报no bootable device的错误，原因应该是BIOS给PCIE设备分配了2G的地址空间，暂用了硬盘的地址空间，导致无法加载操作系统。 4) 总线带宽

PCI总线与之前的局部总线相比，极大提高了数据传送带宽，32位/33MHz的PCI总线可以提供132MB/s的峰值带宽，而64位/66MHz的PCI总线可以提供的峰值带宽为532MB/s。虽然PCI总线所能提供的峰值带宽远不能和PCIe总线相比，但是与之前的局部总线ISA、EISA和MCA总线相比，仍然具有极大的优势。

ISA总线的最高主频为8MHz，位宽为16，其峰值带宽为16MB/s；EISA总线的最高主频为8.33MHz，位宽为32，其峰值带宽为33MB/s；而MCA总线的最高主频为10MHz，最高位宽为32，其峰值带宽为40MB/s。PCI总线提供的峰值带宽远高于这些总线。

5) 共享总线机制

PCI设备通过仲裁获得PCI总线的使用权后，才能进行数据传送，在PCI总线上进行数据传送，并不需要处理器进行干预。PCI总线仲裁器不在PCI总线规范定义的范围内，也不一定是HOST主桥和PCI桥的一部分，虽然绝大多数HOST主桥和PCI桥都包含PCI总线仲裁器，但是在某些处理器系统设计中也可以使用独立的PCI总线仲裁器。

PCI设备使用共享总线方式进行数据传递，在同一条总线上，所有PCI设备共享同一总线带宽，这将极大地影响PCI总线的利用率。这种机制显然不如PCIe总线采用的交换结构。 6) 中断机制

PCI总线上的设备可以通过四根中断请求信号INTA~D#向处理器提交中断请求。与ISA总线上的设备不同，PCI总线上的设备可以共享这些中断请求信号，不同的PCI设备可以将这些中断请求信号线与后，与中断控制器的中断请求引脚连接。PCI设备的配置空间记录了该设备使用这四根中断请求信号的信息。

PCI总线还进一步提出了MSI（Message Signal Interrupt）机制，该机制使用存储器写总线事务传递中断请求，并可以使用x86处理器FSB（Front Side Bus）总线提供的Interrupt Message总线事务，从而提高了PCI设备的中断请求效率。

1.1.2 PCI总线的组成结构。

图中与PCI总线相关的模块包括：HOST主桥、PCI总线、PCI桥和PCI设备。PCI总线是由HOST主桥和PCI桥推出，HOST主桥与主存储器控制器在同一级总线上，因此PCI设备可以方便通过HOST主桥访问存储器，即进行DMA操作。在一些简单的处理器系统中，可能不包含PCI桥，此时所有PCI设备都是连接再HOST主桥上推出的PCI总线上。在一些处理器系统中有可能有多个HOST主桥，如图1-1所示处理器系统中含有HOST主桥x和HOST主桥y。

X86处理器的HOST主桥 X86处理器使用南北桥结构连接CPU和PCI设备。其中北桥连接快速设备，如显卡和内存条，并推出PCI总线，HOST主桥包含在北桥中。而南桥连接慢速设备。

1.2 PCIE总线概述

PCI总线使用并行总线结构，在同一条总线上的所有外部设备共享总线带宽，而PCIe总线使用高速查分总线，采用端对端的连接方式，因此在每一条PCIe链路中只能连接两个设备。这使得PCIe与PCI总线采用的拓扑结构有所不同。PCIe总线除了在连接方式上与PCI总线不同之外，还使用一些在网络通信中使用的技术，如支持多种数据路由方式，基于多通路的数据传递方式，和基于报文的数据传送方式，并充分考虑在数据传送中出现的服务质量QoS（Quality of Service）问题。

1.2.1 基于PCIe的系统结构

前期的Intel主板中会集成单独的南北桥芯片，北桥负责连接速度较快的CPU、主存储器以及显卡等元件，南桥负责连接速度较慢的设备，包括硬盘、USB、网卡等。只要CPU读取主存储器，还需要北桥的支持，也就是CPU与主存储器的交流，会占用北桥的带宽。因此新一代的Intel主板架构，大多将北桥存储控制器整合到CPU封装中，CPU直接与主存储器交互，速度较快。

基于PCIe总线的Intel处理器架构

主存储器的速度 SDRAM/DDR 型号 SDRAM SDRAM DDR DDR DDR DDR PC100 PC133 DDR-266 DDR-400 DDR2-900 DDR3-1600 PCIe总线带宽 1x带宽 250Mbytes/sec 500Mbytes/sec ~1GBytes/sec ~2GBytes/sec 16x带宽 4GBytes/sec 8GBytes/sec 16GBytes/sec 32GBytes/sec 数据位宽 64 64 64 64 64 64 内部时钟 100 133 133 200 200 200 频率速度 100 133 266 400 800 1600 带宽 800MBytes/sec 1064MBytes/sec 2.1GBytes/sec 3.2GBytes/sec 6.4GBytes/sec 12.8GBytes/sec 规格 PCIe1.0 PCIe2.0 PCIe3.0 PCIe4.0 SATA总线带宽 版本 SATA1.0 SATA2.0 SATA3.0

带宽 150Mbytes/sec 300Mbytes/sec 600Mbytes/sec

本文来源：https://www.bwwdw.com/article/67bd.html