Merge branch 'kvm-tdp-mmu-atomicity-fix' into HEAD
authorPaolo Bonzini <pbonzini@redhat.com>
Tue, 3 May 2022 11:23:08 +0000 (07:23 -0400)
committerPaolo Bonzini <pbonzini@redhat.com>
Tue, 3 May 2022 11:29:30 +0000 (07:29 -0400)
We are dropping A/D bits (and W bits) in the TDP MMU.  Even if mmu_lock
is held for write, as volatile SPTEs can be written by other tasks/vCPUs
outside of mmu_lock.

Attempting to prove that bug exposed another notable goof, which has been
lurking for a decade, give or take: KVM treats _all_ MMU-writable SPTEs
as volatile, even though KVM never clears WRITABLE outside of MMU lock.
As a result, the legacy MMU (and the TDP MMU if not fixed) uses XCHG to
update writable SPTEs.

The fix does not seem to have an easily-measurable affect on performance;
page faults are so slow that wasting even a few hundred cycles is dwarfed
by the base cost.

1  2 
arch/x86/kvm/mmu/mmu.c
arch/x86/kvm/mmu/spte.c
arch/x86/kvm/mmu/spte.h
arch/x86/kvm/mmu/tdp_mmu.c

Simple merge
Simple merge
Simple merge
Simple merge