io_uring: cancel reqs shouldn't kill overflow list
authorPavel Begunkov <asml.silence@gmail.com>
Thu, 17 Dec 2020 00:24:35 +0000 (00:24 +0000)
committerJens Axboe <axboe@kernel.dk>
Thu, 17 Dec 2020 15:40:45 +0000 (08:40 -0700)
commitcda286f0715c82f8117e166afd42cca068876dde
tree1b63e33470acada3fa84b45c68a1d5d888652c52
parent4bc4a912534a72f1c96f483448f0be16e5a48063
io_uring: cancel reqs shouldn't kill overflow list

io_uring_cancel_task_requests() doesn't imply that the ring is going
away, it may continue to work well after that. The problem is that it
sets ->cq_overflow_flushed effectively disabling the CQ overflow feature

Split setting cq_overflow_flushed from flush, and do the first one only
on exit. It's ok in terms of cancellations because there is a
io_uring->in_idle check in __io_cqring_fill_event().

It also fixes a race with setting ->cq_overflow_flushed in
io_uring_cancel_task_requests, whuch's is not atomic and a part of a
bitmask with other flags. Though, the only other flag that's not set
during init is drain_next, so it's not as bad for sane architectures.

Signed-off-by: Pavel Begunkov <asml.silence@gmail.com>
Fixes: 0f2122045b946 ("io_uring: don't rely on weak ->files references")
Signed-off-by: Jens Axboe <axboe@kernel.dk>
fs/io_uring.c