本文发自 http://www.binss.me/blog/what-is-apic/,转载请注明出处。

由于课题需要,这几天又当了一回手册工程师。

本文主要是对 Intel SDM vol 3 Chapter 10 和 Intel 82093AA 的摘录和翻译。

2017.12.10 更新: 拜读了 @tcbbd 在 https://github.com/GiantVM/doc/blob/master/interrupt_and_io/ 的系列文章,受益匪浅,对本文进行修改

APIC

在 MP 架构下,为支持将中断传递给多个 CPU,引入了 APIC,其包含 LAPIC 和 IOAPIC 。一般来说,所有 LAPIC 都连接到一个 I/O APIC 上,形成一个一对多的结构(不排除有多 IOAPIC 的架构):

有两种工作模式:

  1. 8259A 模式: 禁用 LAPIC, APIC 直连 CPU
  2. 标准模式: 启用 LAPIC,所有的外部中断通过 IOAPIC 接收后转发给对应的 LAPIC

LAPIC

LAPIC (Local Advanced Programmable Interrupt Controller) 是一种负责接收 / 发送中断的芯片,集成在 CPU 内部,每个 CPU 有一个属于自己的 LAPIC。它们通过 APIC ID 进行区分。

每个 LAPIC 都有自己的一系列寄存器、一个内部时钟、一个本地定时设备 和 两条 IRQ 线 LINT0 和 LINT1。

可通过 cpuid (eax=1) 进行读取,如果存在 edx 的返回值中 bit 9 为 1,则表示 LAPIC 存在。 ebx 返回值的 bit 24-31 为 硬件分配的 APIC ID(Initial APIC ID)。

寄存器

APIC 寄存器是一段起始地址为 0xFEE00000 、长度为 4KB 的物理地址区域。在 MP 架构中,初始状态下所有 LAPIC 的寄存器都指向同一段内存空间,之后可以通过 relocate 来重定位到相应区域。

relocate 是P6时代遗留下来的上古特性,当时是为了防止与已经使用了这块地址的程序发生冲突,现在已无人使用。此外还需注意,该页在页表中必须设置为strong uncacheable (UC)

LAPIC 的基本信息会存在 IA32_APIC_BASE MSR 中,其中 bit 8 指示是否 BSP,bit 11 指示 LAPIC 是否启用(关闭再重新启用后 APIC 将回到断电重启时的状态),bit 12-35 为 LAPIC Base,左移 12 位可得到 LAPIC 寄存器起始地址。

LAPIC 寄存器的长度为 32/64/256 bit ,需要通过 32/128 bit 的 load 和 store 进行操作。注意这些寄存器都不属于 MSR 。

常用的寄存器包括:

  • ICR(Interrupt Command Register) 用于发送 IPI

  • IRR(Interrupt Request Register) 当前 LAPIC 接收到的中断请求

  • ISR(In-Service Register) 当前 LAPIC 送入 CPU 中 (CPU 正在处理) 的中断请求

  • TPR(Task Priority Register) 当前 CPU 处理中断所需的优先级

  • PPR(Processor Priority Register) 当前 CPU 处理中断所需的优先级,只读,由 TPR 决定

地址和寄存器的详细映射关系可参考 Table 10-1 Local APIC Register Address Map 。

优先级

中断向量的 bit4-7 为 Interrupt-Priority class ,1 为最低优先级,15 为最高优先级,每个 class 包含 16 个中断向量。0-15 号中断向量的 class 为 0,但其不合法,这些中断永远不会提交。在 Intel 64 和 IA-32 架构中,0-31 号中断向量被保留,因此 class 0-1 不可用。中断向量的 bit0-3 决定了同 class 下的优先级,越大在 class 内的优先级就越高。

软件还可以通过修改 TPR 中的 Task-Priority Class 和 Task-Priority Sub-Class ,配合 ISRV (优先级最高的中断向量号) 可以决定 PPR。

PPR 决定了 CPU 接受的中断。只有 Interrupt-Priority class 大于 Processor-Priority Class 的中断才会被送到 CPU 中(注意, NMI / SMI / INIT / ExtINT / SIPI 不受该限制)。Processor-Priority Sub-Class 不影响中断的送达,只是用来凑数而已。

如果在处理某个中断的时候 LAPIC 收到了一个优先级更高的中断,那么它会立刻发送给 CPU,于是当前 CPU 正在执行的中断处理例程会被打断,CPU 转而执行新中断的中断处理例程,直到该中断处理例程执行完毕后,原先的例程才会被恢复执行。

中断类型

LAPIC 主要处理以下中断:

  • APIC Timer 产生的中断(APIC timer generated interrupts)
  • Performance Monitoring Counter 在 overflow 时产生的中断(Performance monitoring counter interrupts)
  • 温度传感器产生的中断(Thermal Sensor interrupts)
  • LAPIC 内部错误时产生的中断(APIC internal error interrupts)
  • 本地直连 IO 设备 (Locally connected I/O devices) 通过 LINT0 和 LINT1 引脚发来的中断
  • 其他 CPU (甚至是自己,称为 self-interrupt)发来的 IPI(Inter-processor interrupts)
  • IOAPIC 发来的中断

其中前 5 种中断被称为本地中断,LAPIC 在收到后会设置好 LVT(Local Vector Table)的相关寄存器,通过 interrupt delivery protocol 送达 CPU。

LVT 实际上是一片连续的地址空间,每 32-bit 一项,作为各个本地中断源的 APIC register :

register 被划分成多个部分:

  • bit 0-7: Vector,即CPU收到的中断向量号,其中0-15号被视为非法,会产生一个Illegal Vector错误(即ESR的bit 6,详下)
  • bit 8-10: Delivery Mode,有以下几种取值:
  • 000 (Fixed):按Vector的值向CPU发送相应的中断向量号
  • 010 (SMI):向CPU发送一个SMI,此模式下Vector必须为0
  • 100 (NMI):向CPU发送一个NMI,此时Vector会被忽略
  • 111 (ExtINT):令CPU按照响应外部8259A的方式响应中断,这将会引起一个INTA周期,CPU在该周期向外部控制器索取Vector。APIC只支持一个ExtINT中断源,整个系统中应当只有一个CPU的其中一个LVT表项配置为ExtINT模式
  • bit 12: Delivery Status(只读),取0表示空闲,取1表示CPU尚未接受该中断(尚未EOI)
  • bit 13: Interrupt Input Pin Polarity,取0表示active high,取1表示active low
  • bit 14: Remote IRR Flag(只读),若当前接受的中断为fixed mode且是level triggered的,则该位为1表示CPU已经接受中断(已将中断加入IRR),但尚未进行EOI。CPU执行EOI后,该位就恢复到0
  • bit 15: Trigger Mode,取0表示edge triggered,取1表示level triggered(具体使用时尚有许多注意点,详见手册10.5.1节)
  • bit 16: 为Mask,取0表示允许接受中断,取1表示禁止,reset后初始值为1
  • bit 17/17-18: Timer Mode,只有LVT Timer Register有,用于切换APIC Timer的三种模式

最后两种中断通过写 ICR 来发送。当对 ICR 进行写入时,将产生 interrupt message 并通过 system bus(Pentium 4 / Intel Xeon) 或 APIC bus(Pentium / P6 family) 送达目标 LAPIC 。

当有多个 APIC 向通过 system bus / APIC bus 发送 message 时,需要进行仲裁。每个 LAPIC 会被分配一个仲裁优先级(范围为 0-15),优先级最高的拿到 bus,从而能够发送消息。在消息发送完成后,刚刚发送消息的 LAPIC 的仲裁优先级会被设置为 0,其他的 LAPIC 会加 1。

中断发送流程

举个例子:当一个 CPU 想要向其他 CPU 发送中断时,就在自己的 ICR(interrupt command ragister) 中存放对应的中断向量和目标 LAPIC ID 标识。然后由 system bus(Pentium 4 / Intel Xeon) 或 APIC bus(Pentium / P6 family) 直接传递到目标 LAPIC。

中断接收流程

一个 LAPIC 在收到一个 interrupt message 后,执行以下流程:

  1. 判断自己是否属于消息指定的 destination ,如果不是,抛弃该消息
  2. 如果中断的 Delivery Mode 为 NMI / SMI / INIT / ExtINT / SIPI ,则直接将中断发送给 CPU
  3. 如果不是以上的 Mode ,则设置中断消息在 IRR 中对应的 bit。如果 IRR 中 bit 已被设置(没有 open slot),则拒绝该请求,然后给 sender 发送一个 retry 的消息
  4. 对于 IRR 中的中断,LAPIC 每次会根据中断的优先级和当前 CPU 的优先级 PPR 选出一个发送给 CPU,会清空该中断在 IRR 中对应的 bit,并设置该中断在 ISR 中对应的 bit
  5. CPU 在收到 LAPIC 发来的中断后,通过中断 / 异常处理机制进行处理。处理完毕后,向 LAPIC 的 EOI(end-of-interrupt)寄存器进行写入(NMI / SMI / INIT / ExtINT / SIPI 无需写入)
  6. LAPIC 清除 ISR 中该中断对应的 bit(只针对 level-triggered interrupts)
  7. 对于 level-triggered interrupt, EOI 会被发送给所有的 IOAPIC。可以通过设置 Spurious Interrupt Vector Register 的 bit12 来避免 EOI 广播

IRR + ISR 的机制决定了同一个中断最多可以 pending 两次,第一次已被送到 CPU 中进行处理,而第二次处于 IRR 中等待送到 CPU 中。

IOAPIC

IOAPIC (I/O Advanced Programmable Interrupt Controller) 属于 Intel 芯片组的一部分,也就是说通常位于南桥。

像 PIC 一样,连接各个设备,负责接收外部 IO 设备 (Externally connected I/O devices) 发来的中断,典型的 IOAPIC 有 24 个 input 管脚(INTIN0~INTIN23),没有优先级之分。

在某个管脚收到中断后,会进行查表,把中断转换为中断消息转发给对应的 LAPIC 。

寄存器

和 LAPIC 一样,IOAPIC 的寄存器同样是通过映射一片物理地址空间实现的:

  • IOREGSEL(I/O REGISTER SELECT REGISTER): 选择要读写的寄存器
  • IOWIN(I/O WINDOW REGISTER): 读写 IOREGSEL 选中的寄存器
  • IOAPICVER(IOAPIC VERSION REGISTER): IOAPIC 的硬件版本
  • IOAPICARB(IOAPIC ARBITRATION REGISTER): IOAPIC 在总线上的仲裁优先级
  • IOAPICID(IOAPIC IDENTIFICATION REGISTER): IOAPIC 的 ID,在仲裁时将作为 ID 加载到 IOAPICARB 中
  • IOREDTBL(I/O REDIRECTION TABLE REGISTERS): 有 0-23 共 24 个,对应 24 个引脚,每个长 64bit。当该引脚收到中断信号时,将根据该寄存器产生中断消息送给相应的 LAPIC

扩展

xAPIC(extended APIC)

取消了 APIC bus,LAPIC 与 IOAPIC 直接通过 system bus 通信。寄存器通过内存映射到物理地址来进行读写。

在 APIC 规范中 APIC ID 只有 4bit ,因此最多只能支持 15 个 CPU。 xAPIC 扩展到 8bit ,支持 255 个。

x2APIC

x2APIC 将 APIC ID 扩展到 32bit ,占 APIC ID Register 的32位,因此支持 2^32-1 个 CPU。

寄存器被改为只读,只会在开机时由硬件设置一次,其末8位被作为 xAPIC 模式下的 APIC ID 。

新增了 Self IPI Register ,向该寄存器写入 Interrupt Vector 可实现发送一个 Edge Triggered + Fixed Interrupt 的 Self IPI 。

MSI(Message Signaled Interrupt)

PCI Specification 2.2 引入,设备通过向某个 MMIO 地址写入 system-specified message 可实现向 CPU 发送中断的效果。

写入的数据仅能用来决定发送给哪个 CPU,而不能携带更多的信息。

具体的实现方式为设备通过 PCI write command 向 Message Address Register 指示的地址写入 Message Data Register 中内容来向 LAPIC 发送中断。

寄存器

Message Address Register

Message Address Register 的格式如下:

Destination ID 字段存放了中断要发往 LAPIC ID。该 ID 也会记录在 I/O APIC Redirection Table 中每个表项的 bit56-63 。Redirection hint indication 指定了 MSI 是否直接送达 CPU。 Destination mode 指定了 Destination ID 字段存放的是逻辑还是物理 APIC ID 。

Message Data Register

Message Data Register 的格式如下:

Vector 指定了中断向量号, Delivery Mode 定义同传统中断,表示中断类型。Trigger Mode 为触发模式,0 为边缘触发,1 为水平触发。 Level 指定了水平触发中断时处于的电位(边缘触发无须设置该字段)。

优点

允许设备分配 1/2/4/8/16/32 个中断。

传统中断基于的引脚 (pin) 往往被多个设备所共享。中断触发后,OS 需要调用对应的中断处理例程来确定产生中断的设备,耗时较长。而 MSI 中断只属于一个特定的设备,不存在该问题。

传统中断通常是设备写完数据 (DMA) 后,给 CPU 一个中断请求,通知 CPU 进行处理。但是可能由于某些原因(优化?),PCI bridge 或 Memory controller 可能会延迟写数据操作,导致 CPU 在收到中断时,数据还未到达内存。为了解决这个问题,interrupt handlers 必须从通过轮询来确保写操作已经完成,具体操作是访问一个寄存器,只有数据到达内存后,寄存器才会返回值(PCI 事务保证),这样导致性能不好。而 MSI 的中断本质上也是写内存,这样就保证了写内存后发中断这样的流程是串行的,因而避免了轮询的问题。

传统中断先发送到 IOAPIC 后再转发给对应的 LAPIC ,路径较长。MSI 能让设备直接将中断送达 LAPIC 。

缺点

无法保证 Interrupt Latency,MSG 可能会被 Host/Loading Cache 这样就可能会出现 Latency,另外当 Loading 重的时候也可能会出现比较大的 Latency。

MSI-X

PCI 3.0 引入。最多允许设备分配 2048 个中断,给每个中断都分配一个不同的目标地址和 data word,比 MSI 粒度更细(需要 LAPIC 的支持)。