io_uring: fix race condition in task_work add and clear
authorJens Axboe <axboe@kernel.dk>
Fri, 26 Feb 2021 21:54:16 +0000 (14:54 -0700)
committerJens Axboe <axboe@kernel.dk>
Thu, 4 Mar 2021 13:35:00 +0000 (06:35 -0700)
commit1d5f360dd1a3c04e00a52af74dd84fdb0e1d454b
treea26bed315a950ca6ae429ce7a2922eb6b3e369b9
parentafcc4015d1bf5659b8c722aff679e9b8c41ee156
io_uring: fix race condition in task_work add and clear

We clear the bit marking the ctx task_work as active after having run
the queued work, but we really should be clearing it before. Otherwise
we can hit a tiny race ala:

CPU0 CPU1
io_task_work_add() tctx_task_work()
run_work
add_to_list
test_and_set_bit
clear_bit
already set

and CPU0 will return thinking the task_work is queued, while in reality
it's already being run. If we hit the condition after __tctx_task_work()
found no more work, but before we've cleared the bit, then we'll end up
thinking it's queued and will be run. In reality it is queued, but we
didn't queue the ctx task_work to ensure that it gets run.

Fixes: 7cbf1722d5fc ("io_uring: provide FIFO ordering for task_work")
Signed-off-by: Jens Axboe <axboe@kernel.dk>
fs/io_uring.c