NPLab

You've loaded an old revision of the document! If you save it, you will create a new version with this data.

====== PCI Configuration Space ======

Jedes PCI-Gerät hat seinen eigenen PCI Configuration Space im Speicher. Mit pciconf -l können darüber Informationen zu PCI-Geräten ausgegeben werden. Hier die Ausgabe einer FreeBSD 16.0-CURRENT VM, die über einen VirtualBox Hypervisor auf macOS mit Apple Silicon läuft.

<code>
% pciconf -l
vgapci0@pci0:0:0:0:	class=0x030000 rev=0x00 hdr=0x00 vendor=0x15ad device=0x0406 subvendor=0x15ad subdevice=0x0406
none0@pci0:0:1:0:	class=0x088000 rev=0x00 hdr=0x00 vendor=0x80ee device=0xcafe subvendor=0x0000 subdevice=0x0000
none1@pci0:0:2:0:	class=0x040300 rev=0x01 hdr=0x00 vendor=0x8086 device=0x2668 subvendor=0x8384 subdevice=0x7680
pcib1@pci0:0:3:0:	class=0x060401 rev=0xf2 hdr=0x01 vendor=0x8086 device=0x2448 subvendor=0x0000 subdevice=0x0000
xhci0@pci0:0:6:0:	class=0x0c0330 rev=0x00 hdr=0x00 vendor=0x8086 device=0x1e31 subvendor=0x0000 subdevice=0x0000
em0@pci0:0:8:0:	class=0x020000 rev=0x02 hdr=0x00 vendor=0x8086 device=0x100e subvendor=0x8086 subdevice=0x001e
em1@pci0:0:9:0:	class=0x020000 rev=0x02 hdr=0x00 vendor=0x8086 device=0x100e subvendor=0x8086 subdevice=0x001e
virtio_pci0@pci0:0:10:0:	class=0x020000 rev=0x00 hdr=0x00 vendor=0x1af4 device=0x1000 subvendor=0x1af4 subdevice=0x0001
ahci0@pci0:0:16:0:	class=0x010601 rev=0x02 hdr=0x00 vendor=0x8086 device=0x2829 subvendor=0x0000 subdevice=0x0000
</code>

Hier betrachte ich den VirtIO Netzwerkadapter genauer.

Mit dem Parameter v gibt pciconf die Namen zu den IDs der class, device, usw. aus.

<code>
% pciconf -lv virtio_pci0@pci0:0:10:0
virtio_pci0@pci0:0:10:0:	class=0x020000 rev=0x00 hdr=0x00 vendor=0x1af4 device=0x1000 subvendor=0x1af4 subdevice=0x0001
    vendor     = 'Red Hat, Inc.'
    device     = 'Virtio network device'
    class      = network
    subclass   = ethernet
</code>

Mit dem Parameter r kann pciconf den PCI Configuration Space direkt ausgeben. Der Parameter b gibt an, dass der Configuration Space Byteweise ausgelesen werden soll und 0x0:0x3f gibt den Bereich an, der ausgelesen werden soll.

<code>
% sudo pciconf -rb virtio_pci0@pci0:0:10:0 0x0:0x3f
f4 1a 00 10 17 00 10 00  00 00 00 02 00 00 00 00 
01 00 00 00 00 00 00 00  00 60 85 e1 00 00 00 00 
00 00 00 00 00 00 00 00  00 00 00 00 f4 1a 01 00 
00 00 00 00 40 00 00 00  00 00 00 00 0c 01 00 00 
</code>

Der PCI Configuration Space enthält mehr, als pciconf bisher ausgegeben hat. Es nutzt das folgende Format.

<code>
   Bit 0                   1                   2                   3
       0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1
 Byte +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
    0 |           Vendor ID           |            Device ID          |
      +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
    4 |            Command            |             Status            |
      +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
    8 |  Revision ID  |                  Class Code                   |
      +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   12 | Cache Line S. |  Lat. Timer   |  Header Type  |     BIST      |
      +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   16 |                             BAR 1                             |
      +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   20 |                             BAR 2                             |
      +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   24 |                             BAR 3                             |
      +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   28 |                             BAR 4                             |
      +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   32 |                             BAR 5                             |
      +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   36 |                             BAR 6                             |
      +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   40 |                       Cardbus CIS Pointer                     |
      +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   44 |       Subsystem Vendor ID      |        Subsystem ID          |
      +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   48 |                 Expansion ROM Base Address                    |
      +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   52 | Cap. Pointer  |                   Reserved                    |
      +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   56 |.                           Reserved                           |
      +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   60 |Interrupt Line | Interrupt Pin |    Min Gnt.   |    Max Lat.   |
      +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
</code>

Die Bytes sind in Little Endian. Die ersten zwei Bytes sind also 0x1af4, die die Vendor ID angeben.

Interessant sind die Base Address Registers (BARs), über die weitere Informationen zum PCI-Gerät angegeben werden können. Das BAR selbst ist hauptsächlich die Base Adress, das ist die Adresse unter der sich die BAR Region im Speicher befindet. Darin kodiert ist z. B. der Typ des BAR. Es gibt Memory (0) und I/O (1).

Bei dem PCI-Gerät gibt es zwei BARs. Hier Configuration Space von eben der Teil zu den BARs.

BAR 1 hat Typ 1 (I/O) und Base Address 0. BAR 2 hat Typ 0 (Memory) und Base Address 0xe1856000. Die BARs lassen sich mit pciconf mit dem Parameter b ausgeben.

<code>
% pciconf -lb virtio_pci0@pci0:0:10:0
virtio_pci0@pci0:0:10:0:	class=0x020000 rev=0x00 hdr=0x00 vendor=0x1af4 device=0x1000 subvendor=0x1af4 subdevice=0x0001
    bar   [10] = type I/O Port, range 32, base 0, size 32, enabled
    bar   [18] = type Memory, range 32, base 0xe1856000, size 8192, enabled
</code>

Die Zahl in eckigen Klammern gibt über ein Byte-Offset hexadezimal an wo im Configuration Space der BAR angegeben ist.

VirtIO nutzt im legacy mode den BAR vom Typ I/O und im modern mode den BAR vom Typ Memory. Das PCI-Gerät, was VirtualBox bereistellt ist ein Transitional Device. Das heißt, der unterstützt beide Modi. FreeBSD hat einen Treiber pro Modus (src/sys/dev/virtio/pci/virtio_pci_[legacy|modern].c). Es ruft jeweils die entsprechende device_probe Methode auf und trifft die Entscheidung anhand des Rückgabewertes.

Im Modern Mode zeigen die PCI Capabilities auf, wo sich im der BAR Region welche Informationen finden. Der Capabilites Pointer ist in dem PCI Configuration Space von oben auf 0x40 gesetzt. Das ist ein Pointer auf des erste Element in einer linked list von Capabilites. Die Capabtilites lassen sich mit pciconf über den Parameter c ausgeben.

<code>
% sudo pciconf -lc virtio_pci0@pci0:0:10:0
virtio_pci0@pci0:0:10:0:	class=0x020000 rev=0x00 hdr=0x00 vendor=0x1af4 device=0x1000 subvendor=0x1af4 subdevice=0x0001
    cap 09[40] = vendor (length 16)
    cap 09[50] = vendor (length 20)
    cap 09[64] = vendor (length 16)
    cap 09[74] = vendor (length 20)
    cap 09[88] = vendor (length 16)
</code>

Der erste Wert nach cap gibt die Capability ID an. Der Wert in eckigen Klammern gibt über ein Byte-Offset hexadezimal an wo im Configuration Space die Capability beschrieben steht. Die erste Capability ist also 0x40 = 64 Byte hinter dem Start des Configuration Space zu finden, also direkt hinter dem eben angegebenen Format. Die Bytes lassen sich ebenfalls mit pciconf -rb auslesen.

<code>
% sudo pciconf -rb virtio_pci0@pci0:0:10:0 0x40:0x97
09 50 10 01 02 00 00 00  00 00 00 00 38 00 00 00 
09 64 14 02 02 00 00 00  38 00 00 00 32 00 00 00 
02 00 00 00 09 74 10 03  02 00 00 00 6c 00 00 00 
01 00 00 00 09 88 14 05  02 00 00 00 00 00 00 00 
04 00 00 00 00 00 00 00  09 00 10 04 02 00 00 00 
70 00 00 00 0a 00 00 00
</code>

Das jeweils erste Byte gibt die Capability ID an und das zweite Byte den Offset zur nächsten Capability.
Eine bessere Ausgabe zu den Capabilities bietet lspci, was sich über

<code>
% sudo pkg install pciutils
</code>

installieren lässt. Hier die Ausgabe zu dem PCI-Gerät von lspci.

<code>
% sudo lspci -vv
...
00:0a.0 Ethernet controller: Red Hat, Inc. Virtio network device
	Subsystem: Red Hat, Inc. Device 0001
	Control: I/O+ Mem+ BusMaster+ SpecCycle- MemWINV+ VGASnoop- ParErr- Stepping- SERR- FastB2B- DisINTx-
	Status: Cap+ 66MHz- UDF- FastB2B- ParErr- DEVSEL=fast >TAbort- <TAbort- <MAbort- >SERR- <PERR- INTx-
	Latency: 0
	Interrupt: pin A routed to IRQ 12
	Region 0: I/O ports at 0000
	Region 2: Memory at e1856000 (32-bit, non-prefetchable)
	Capabilities: [40] Vendor Specific Information: VirtIO: CommonCfg
		BAR=2 offset=00000000 size=00000038
	Capabilities: [50] Vendor Specific Information: VirtIO: Notify
		BAR=2 offset=00000038 size=00000032 multiplier=00000002
	Capabilities: [64] Vendor Specific Information: VirtIO: ISR
		BAR=2 offset=0000006c size=00000001
	Capabilities: [74] Vendor Specific Information: VirtIO: <unknown>
		BAR=2 offset=00000000 size=00000004
	Capabilities: [88] Vendor Specific Information: VirtIO: DeviceCfg
		BAR=2 offset=00000070 size=0000000a
...
</code>

Alle Capabilites sind also VirtIO spezifische Capabilites und die Informationen befinden sich im BAR 2, also in dem vom Typ Memory. Das Offset gibt an ab welcher Byte Position die Informationen im BAR sind und size wie viele Bytes die Informationen umfassen.

Mit pciconf kann über den Parameter D eine BAR Region ausgelesen werden.

<code>
% sudo pciconf -D pci0:0:10:0 0x18 | hexdump
0000000 0000 0000 dda3 002f 0000 0000 9823 000f
0000010 0000 0000 0000 0000 0000 0000 0000 0000
0000020 9000 03fa 0001 0000 d000 03fa 0001 0000
0000030 e000 03fa 0001 0000 ffff ffff ffff ffff
0000040 ffff ffff ffff ffff ffff ffff ffff ffff
*
0000060 ffff ffff ffff ffff ffff ffff 0000 0000
0000070 0008 5427 0000 0000 0001 0000 ffff ffff
0000080 ffff ffff ffff ffff ffff ffff ffff ffff
*
0002000

% sudo pciconf -D pci0:0:10:0 0x18 | hexdump -C
00000000  01 00 00 00 01 00 00 00  01 00 00 00 01 00 00 00  |................|
00000010  00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00  |................|
00000020  00 90 fa 03 01 00 00 00  00 d0 fa 03 01 00 00 00  |................|
00000030  00 e0 fa 03 01 00 00 00  ff ff ff ff ff ff ff ff  |................|
00000040  ff ff ff ff ff ff ff ff  ff ff ff ff ff ff ff ff  |................|
*
00000060  ff ff ff ff ff ff ff ff  ff ff ff ff 00 00 00 00  |................|
00000070  08 00 27 54 00 00 00 00  01 00 00 00 ff ff ff ff  |..'T............|
00000080  ff ff ff ff ff ff ff ff  ff ff ff ff ff ff ff ff  |................|
*
00002000
</code>

Die erste Capability vom Typ VirtIO: CommonCfg startet bei Byte 0 und ist 0x38 Byte groß, ist also der Bereich vor den ganzen 0xffff. Beschrieben ist das Format in der VirtIO Spezifikation mit

<code>
struct virtio_pci_common_cfg { 
        /* About the whole device. */ 
        le32 device_feature_select;     /* read-write */ 
        le32 device_feature;            /* read-only for driver */ 
        le32 driver_feature_select;     /* read-write */ 
        le32 driver_feature;            /* read-write */ 
        le16 config_msix_vector;        /* read-write */ 
        le16 num_queues;                /* read-only for driver */ 
        u8 device_status;               /* read-write */ 
        u8 config_generation;           /* read-only for driver */ 
 
        /* About a specific virtqueue. */ 
        le16 queue_select;              /* read-write */ 
        le16 queue_size;                /* read-write */ 
        le16 queue_msix_vector;         /* read-write */ 
        le16 queue_enable;              /* read-write */ 
        le16 queue_notify_off;          /* read-only for driver */ 
        le64 queue_desc;                /* read-write */ 
        le64 queue_driver;              /* read-write */ 
        le64 queue_device;              /* read-write */ 
        le16 queue_notif_config_data;   /* read-only for driver */ 
        le16 queue_reset;               /* read-write */ 
 
        /* About the administration virtqueue. */ 
        le16 admin_queue_index;         /* read-only for driver */ 
        le16 admin_queue_num;         /* read-only for driver */ 
};
</code>

Das VirtualBox PCI-Gerät gibt darüber also z. B. an, welche Features es unterstützt. Für die Features gibt es insgesamt 64 Bit. In device_feature_select wird geschrieben, ob device_feature die unteren 32 Bit (0) oder die oberen 32 Bit (1) anzeigt. In der Ausgabe oben ist in Little Endian gelesen device_feature_select=1, somit gibt das device_feature mit 1 die oberen oberen 32 Bit an. Auf die gleiche Weise schreibt der FreeBSD Treiber die Features, die es davon unterstützt und genutzt werden sollen in driver_feature_select und driver_feature. Auch hier ist in der Ausgabe oben in Little Endian gelesen driver_feature_select=1, somit gibt das driver_feature mit 1 die oberen oberen 32 Bit an.

Mit device_feature_select=0 und driver_feature_select=0 sieht die erste Zeile der Ausgabe in so aus.

In Little Endian gelesen sind die Features vom Device also:

0x1002fdda3 <Version1,GuestAnnounce,CtrlVLANFilter,CtrlRxMode,CtrlVq,Status,MrgRxBuf,TxUFO,TxTSOv6,TxTSOv4,RxUFO,RxLROv6,RxLROv4,MAC,RxChecksum,TxChecksum>.

und die ausgehandelten Features:

0x1000f9823 <Version1,CtrlVLANFilter,CtrlRxMode,CtrlVq,Status,MrgRxBuf,TxTSOv6,TxTSOv4,MAC,RxChecksum,TxChecksum>

Edit summary

Note: By editing this page you agree to license your content under the following license: CC Attribution-Share Alike 4.0 International