gpio/grgpio: fix deadlock in grgpio_irq_unmap()