Documentation/x86/topology.rst

   1 .. SPDX-License-Identifier: GPL-2.0
   2
   3 ============
   4 x86 Topology
   5 ============
   6
   7 This documents and clarifies the main aspects of x86 topology modelling and
   8 representation in the kernel. Update/change when doing changes to the
   9 respective code.
  10
  11 The architecture-agnostic topology definitions are in
  12 Documentation/admin-guide/cputopology.rst. This file holds x86-specific
  13 differences/specialities which must not necessarily apply to the generic
  14 definitions. Thus, the way to read up on Linux topology on x86 is to start
  15 with the generic one and look at this one in parallel for the x86 specifics.
  16
  17 Needless to say, code should use the generic functions - this file is *only*
  18 here to *document* the inner workings of x86 topology.
  19
  20 Started by Thomas Gleixner <tglx@linutronix.de> and Borislav Petkov <bp@alien8.de>.
  21
  22 The main aim of the topology facilities is to present adequate interfaces to
  23 code which needs to know/query/use the structure of the running system wrt
  24 threads, cores, packages, etc.
  25
  26 The kernel does not care about the concept of physical sockets because a
  27 socket has no relevance to software. It's an electromechanical component. In
  28 the past a socket always contained a single package (see below), but with the
  29 advent of Multi Chip Modules (MCM) a socket can hold more than one package. So
  30 there might be still references to sockets in the code, but they are of
  31 historical nature and should be cleaned up.
  32
  33 The topology of a system is described in the units of:
  34
  35     - packages
  36     - cores
  37     - threads
  38
  39 Package
  40 =======
  41 Packages contain a number of cores plus shared resources, e.g. DRAM
  42 controller, shared caches etc.
  43
  44 AMD nomenclature for package is 'Node'.
  45
  46 Package-related topology information in the kernel:
  47
  48   - cpuinfo_x86.x86_max_cores:
  49
  50     The number of cores in a package. This information is retrieved via CPUID.
  51
  52   - cpuinfo_x86.x86_max_dies:
  53
  54     The number of dies in a package. This information is retrieved via CPUID.
  55
  56   - cpuinfo_x86.phys_proc_id:
  57
  58     The physical ID of the package. This information is retrieved via CPUID
  59     and deduced from the APIC IDs of the cores in the package.
  60
  61   - cpuinfo_x86.logical_proc_id:
  62
  63     The logical ID of the package. As we do not trust BIOSes to enumerate the
  64     packages in a consistent way, we introduced the concept of logical package
  65     ID so we can sanely calculate the number of maximum possible packages in
  66     the system and have the packages enumerated linearly.
  67
  68   - topology_max_packages():
  69
  70     The maximum possible number of packages in the system. Helpful for per
  71     package facilities to preallocate per package information.
  72
  73   - cpu_llc_id:
  74
  75     A per-CPU variable containing:
  76
  77       - On Intel, the first APIC ID of the list of CPUs sharing the Last Level
  78         Cache
  79
  80       - On AMD, the Node ID or Core Complex ID containing the Last Level
  81         Cache. In general, it is a number identifying an LLC uniquely on the
  82         system.
  83
  84 Cores
  85 =====
  86 A core consists of 1 or more threads. It does not matter whether the threads
  87 are SMT- or CMT-type threads.
  88
  89 AMDs nomenclature for a CMT core is "Compute Unit". The kernel always uses
  90 "core".
  91
  92 Core-related topology information in the kernel:
  93
  94   - smp_num_siblings:
  95
  96     The number of threads in a core. The number of threads in a package can be
  97     calculated by::
  98
  99         threads_per_package = cpuinfo_x86.x86_max_cores * smp_num_siblings
 100
 101
 102 Threads
 103 =======
 104 A thread is a single scheduling unit. It's the equivalent to a logical Linux
 105 CPU.
 106
 107 AMDs nomenclature for CMT threads is "Compute Unit Core". The kernel always
 108 uses "thread".
 109
 110 Thread-related topology information in the kernel:
 111
 112   - topology_core_cpumask():
 113
 114     The cpumask contains all online threads in the package to which a thread
 115     belongs.
 116
 117     The number of online threads is also printed in /proc/cpuinfo "siblings."
 118
 119   - topology_sibling_cpumask():
 120
 121     The cpumask contains all online threads in the core to which a thread
 122     belongs.
 123
 124   - topology_logical_package_id():
 125
 126     The logical package ID to which a thread belongs.
 127
 128   - topology_physical_package_id():
 129
 130     The physical package ID to which a thread belongs.
 131
 132   - topology_core_id();
 133
 134     The ID of the core to which a thread belongs. It is also printed in /proc/cpuinfo
 135     "core_id."
 136
 137
 138
 139 System topology examples
 140 ========================
 141
 142 .. note::
 143   The alternative Linux CPU enumeration depends on how the BIOS enumerates the
 144   threads. Many BIOSes enumerate all threads 0 first and then all threads 1.
 145   That has the "advantage" that the logical Linux CPU numbers of threads 0 stay
 146   the same whether threads are enabled or not. That's merely an implementation
 147   detail and has no practical impact.
 148
 149 1) Single Package, Single Core::
 150
 151    [package 0] -> [core 0] -> [thread 0] -> Linux CPU 0
 152
 153 2) Single Package, Dual Core
 154
 155    a) One thread per core::
 156
 157         [package 0] -> [core 0] -> [thread 0] -> Linux CPU 0
 158                     -> [core 1] -> [thread 0] -> Linux CPU 1
 159
 160    b) Two threads per core::
 161
 162         [package 0] -> [core 0] -> [thread 0] -> Linux CPU 0
 163                                 -> [thread 1] -> Linux CPU 1
 164                     -> [core 1] -> [thread 0] -> Linux CPU 2
 165                                 -> [thread 1] -> Linux CPU 3
 166
 167       Alternative enumeration::
 168
 169         [package 0] -> [core 0] -> [thread 0] -> Linux CPU 0
 170                                 -> [thread 1] -> Linux CPU 2
 171                     -> [core 1] -> [thread 0] -> Linux CPU 1
 172                                 -> [thread 1] -> Linux CPU 3
 173
 174       AMD nomenclature for CMT systems::
 175
 176         [node 0] -> [Compute Unit 0] -> [Compute Unit Core 0] -> Linux CPU 0
 177                                      -> [Compute Unit Core 1] -> Linux CPU 1
 178                  -> [Compute Unit 1] -> [Compute Unit Core 0] -> Linux CPU 2
 179                                      -> [Compute Unit Core 1] -> Linux CPU 3
 180
 181 4) Dual Package, Dual Core
 182
 183    a) One thread per core::
 184
 185         [package 0] -> [core 0] -> [thread 0] -> Linux CPU 0
 186                     -> [core 1] -> [thread 0] -> Linux CPU 1
 187
 188         [package 1] -> [core 0] -> [thread 0] -> Linux CPU 2
 189                     -> [core 1] -> [thread 0] -> Linux CPU 3
 190
 191    b) Two threads per core::
 192
 193         [package 0] -> [core 0] -> [thread 0] -> Linux CPU 0
 194                                 -> [thread 1] -> Linux CPU 1
 195                     -> [core 1] -> [thread 0] -> Linux CPU 2
 196                                 -> [thread 1] -> Linux CPU 3
 197
 198         [package 1] -> [core 0] -> [thread 0] -> Linux CPU 4
 199                                 -> [thread 1] -> Linux CPU 5
 200                     -> [core 1] -> [thread 0] -> Linux CPU 6
 201                                 -> [thread 1] -> Linux CPU 7
 202
 203       Alternative enumeration::
 204
 205         [package 0] -> [core 0] -> [thread 0] -> Linux CPU 0
 206                                 -> [thread 1] -> Linux CPU 4
 207                     -> [core 1] -> [thread 0] -> Linux CPU 1
 208                                 -> [thread 1] -> Linux CPU 5
 209
 210         [package 1] -> [core 0] -> [thread 0] -> Linux CPU 2
 211                                 -> [thread 1] -> Linux CPU 6
 212                     -> [core 1] -> [thread 0] -> Linux CPU 3
 213                                 -> [thread 1] -> Linux CPU 7
 214
 215       AMD nomenclature for CMT systems::
 216
 217         [node 0] -> [Compute Unit 0] -> [Compute Unit Core 0] -> Linux CPU 0
 218                                      -> [Compute Unit Core 1] -> Linux CPU 1
 219                  -> [Compute Unit 1] -> [Compute Unit Core 0] -> Linux CPU 2
 220                                      -> [Compute Unit Core 1] -> Linux CPU 3
 221
 222         [node 1] -> [Compute Unit 0] -> [Compute Unit Core 0] -> Linux CPU 4
 223                                      -> [Compute Unit Core 1] -> Linux CPU 5
 224                  -> [Compute Unit 1] -> [Compute Unit Core 0] -> Linux CPU 6
 225                                      -> [Compute Unit Core 1] -> Linux CPU 7