usb: gadget: u_serial: remove WARN_ON on null port