drivers/net/wireless/ath/ath11k/core.c

   1 // SPDX-License-Identifier: BSD-3-Clause-Clear
   2 /*
   3  * Copyright (c) 2018-2019 The Linux Foundation. All rights reserved.
   4  */
   5
   6 #include <linux/module.h>
   7 #include <linux/slab.h>
   8 #include <linux/remoteproc.h>
   9 #include <linux/firmware.h>
  10 #include "core.h"
  11 #include "dp_tx.h"
  12 #include "dp_rx.h"
  13 #include "debug.h"
  14 #include "hif.h"
  15
  16 unsigned int ath11k_debug_mask;
  17 EXPORT_SYMBOL(ath11k_debug_mask);
  18 module_param_named(debug_mask, ath11k_debug_mask, uint, 0644);
  19 MODULE_PARM_DESC(debug_mask, "Debugging mask");
  20
  21 static unsigned int ath11k_crypto_mode;
  22 module_param_named(crypto_mode, ath11k_crypto_mode, uint, 0644);
  23 MODULE_PARM_DESC(crypto_mode, "crypto mode: 0-hardware, 1-software");
  24
  25 /* frame mode values are mapped as per enum ath11k_hw_txrx_mode */
  26 unsigned int ath11k_frame_mode = ATH11K_HW_TXRX_NATIVE_WIFI;
  27 module_param_named(frame_mode, ath11k_frame_mode, uint, 0644);
  28 MODULE_PARM_DESC(frame_mode,
  29                  "Datapath frame mode (0: raw, 1: native wifi (default), 2: ethernet)");
  30
  31 static const struct ath11k_hw_params ath11k_hw_params[] = {
  32         {
  33                 .hw_rev = ATH11K_HW_IPQ8074,
  34                 .name = "ipq8074 hw2.0",
  35                 .fw = {
  36                         .dir = "IPQ8074/hw2.0",
  37                         .board_size = 256 * 1024,
  38                         .cal_size = 256 * 1024,
  39                 },
  40                 .max_radios = 3,
  41                 .bdf_addr = 0x4B0C0000,
  42                 .hw_ops = &ipq8074_ops,
  43                 .ring_mask = &ath11k_hw_ring_mask_ipq8074,
  44                 .internal_sleep_clock = false,
  45                 .regs = &ipq8074_regs,
  46                 .host_ce_config = ath11k_host_ce_config_ipq8074,
  47                 .ce_count = 12,
  48                 .target_ce_config = ath11k_target_ce_config_wlan_ipq8074,
  49                 .target_ce_count = 11,
  50                 .svc_to_ce_map = ath11k_target_service_to_ce_map_wlan_ipq8074,
  51                 .svc_to_ce_map_len = 21,
  52                 .single_pdev_only = false,
  53                 .needs_band_to_mac = true,
  54                 .rxdma1_enable = true,
  55                 .num_rxmda_per_pdev = 1,
  56                 .rx_mac_buf_ring = false,
  57                 .vdev_start_delay = false,
  58                 .htt_peer_map_v2 = true,
  59                 .tcl_0_only = false,
  60                 .spectral_fft_sz = 2,
  61
  62                 .interface_modes = BIT(NL80211_IFTYPE_STATION) |
  63                                         BIT(NL80211_IFTYPE_AP) |
  64                                         BIT(NL80211_IFTYPE_MESH_POINT),
  65                 .supports_monitor = true,
  66         },
  67         {
  68                 .hw_rev = ATH11K_HW_IPQ6018_HW10,
  69                 .name = "ipq6018 hw1.0",
  70                 .fw = {
  71                         .dir = "IPQ6018/hw1.0",
  72                         .board_size = 256 * 1024,
  73                         .cal_size = 256 * 1024,
  74                 },
  75                 .max_radios = 2,
  76                 .bdf_addr = 0x4ABC0000,
  77                 .hw_ops = &ipq6018_ops,
  78                 .ring_mask = &ath11k_hw_ring_mask_ipq8074,
  79                 .internal_sleep_clock = false,
  80                 .regs = &ipq8074_regs,
  81                 .host_ce_config = ath11k_host_ce_config_ipq8074,
  82                 .ce_count = 12,
  83                 .target_ce_config = ath11k_target_ce_config_wlan_ipq8074,
  84                 .target_ce_count = 11,
  85                 .svc_to_ce_map = ath11k_target_service_to_ce_map_wlan_ipq6018,
  86                 .svc_to_ce_map_len = 19,
  87                 .single_pdev_only = false,
  88                 .needs_band_to_mac = true,
  89                 .rxdma1_enable = true,
  90                 .num_rxmda_per_pdev = 1,
  91                 .rx_mac_buf_ring = false,
  92                 .vdev_start_delay = false,
  93                 .htt_peer_map_v2 = true,
  94                 .tcl_0_only = false,
  95                 .spectral_fft_sz = 4,
  96
  97                 .interface_modes = BIT(NL80211_IFTYPE_STATION) |
  98                                         BIT(NL80211_IFTYPE_AP) |
  99                                         BIT(NL80211_IFTYPE_MESH_POINT),
 100                 .supports_monitor = true,
 101         },
 102         {
 103                 .name = "qca6390 hw2.0",
 104                 .hw_rev = ATH11K_HW_QCA6390_HW20,
 105                 .fw = {
 106                         .dir = "QCA6390/hw2.0",
 107                         .board_size = 256 * 1024,
 108                         .cal_size = 256 * 1024,
 109                 },
 110                 .max_radios = 3,
 111                 .bdf_addr = 0x4B0C0000,
 112                 .hw_ops = &qca6390_ops,
 113                 .ring_mask = &ath11k_hw_ring_mask_qca6390,
 114                 .internal_sleep_clock = true,
 115                 .regs = &qca6390_regs,
 116                 .host_ce_config = ath11k_host_ce_config_qca6390,
 117                 .ce_count = 9,
 118                 .target_ce_config = ath11k_target_ce_config_wlan_qca6390,
 119                 .target_ce_count = 9,
 120                 .svc_to_ce_map = ath11k_target_service_to_ce_map_wlan_qca6390,
 121                 .svc_to_ce_map_len = 14,
 122                 .single_pdev_only = true,
 123                 .needs_band_to_mac = false,
 124                 .rxdma1_enable = false,
 125                 .num_rxmda_per_pdev = 2,
 126                 .rx_mac_buf_ring = true,
 127                 .vdev_start_delay = true,
 128                 .htt_peer_map_v2 = false,
 129                 .tcl_0_only = true,
 130                 .spectral_fft_sz = 0,
 131
 132                 .interface_modes = BIT(NL80211_IFTYPE_STATION) |
 133                                         BIT(NL80211_IFTYPE_AP),
 134                 .supports_monitor = false,
 135         },
 136 };
 137
 138 static int ath11k_core_create_board_name(struct ath11k_base *ab, char *name,
 139                                          size_t name_len)
 140 {
 141         scnprintf(name, name_len,
 142                   "bus=%s,qmi-chip-id=%d,qmi-board-id=%d",
 143                   ath11k_bus_str(ab->hif.bus),
 144                   ab->qmi.target.chip_id,
 145                   ab->qmi.target.board_id);
 146
 147         ath11k_dbg(ab, ATH11K_DBG_BOOT, "boot using board name '%s'\n", name);
 148
 149         return 0;
 150 }
 151
 152 const struct firmware *ath11k_core_firmware_request(struct ath11k_base *ab,
 153                                                     const char *file)
 154 {
 155         const struct firmware *fw;
 156         char path[100];
 157         int ret;
 158
 159         if (file == NULL)
 160                 return ERR_PTR(-ENOENT);
 161
 162         ath11k_core_create_firmware_path(ab, file, path, sizeof(path));
 163
 164         ret = firmware_request_nowarn(&fw, path, ab->dev);
 165         if (ret)
 166                 return ERR_PTR(ret);
 167
 168         ath11k_dbg(ab, ATH11K_DBG_BOOT, "boot firmware request %s size %zu\n",
 169                    path, fw->size);
 170
 171         return fw;
 172 }
 173
 174 void ath11k_core_free_bdf(struct ath11k_base *ab, struct ath11k_board_data *bd)
 175 {
 176         if (!IS_ERR(bd->fw))
 177                 release_firmware(bd->fw);
 178
 179         memset(bd, 0, sizeof(*bd));
 180 }
 181
 182 static int ath11k_core_parse_bd_ie_board(struct ath11k_base *ab,
 183                                          struct ath11k_board_data *bd,
 184                                          const void *buf, size_t buf_len,
 185                                          const char *boardname,
 186                                          int bd_ie_type)
 187 {
 188         const struct ath11k_fw_ie *hdr;
 189         bool name_match_found;
 190         int ret, board_ie_id;
 191         size_t board_ie_len;
 192         const void *board_ie_data;
 193
 194         name_match_found = false;
 195
 196         /* go through ATH11K_BD_IE_BOARD_ elements */
 197         while (buf_len > sizeof(struct ath11k_fw_ie)) {
 198                 hdr = buf;
 199                 board_ie_id = le32_to_cpu(hdr->id);
 200                 board_ie_len = le32_to_cpu(hdr->len);
 201                 board_ie_data = hdr->data;
 202
 203                 buf_len -= sizeof(*hdr);
 204                 buf += sizeof(*hdr);
 205
 206                 if (buf_len < ALIGN(board_ie_len, 4)) {
 207                         ath11k_err(ab, "invalid ATH11K_BD_IE_BOARD length: %zu < %zu\n",
 208                                    buf_len, ALIGN(board_ie_len, 4));
 209                         ret = -EINVAL;
 210                         goto out;
 211                 }
 212
 213                 switch (board_ie_id) {
 214                 case ATH11K_BD_IE_BOARD_NAME:
 215                         ath11k_dbg_dump(ab, ATH11K_DBG_BOOT, "board name", "",
 216                                         board_ie_data, board_ie_len);
 217
 218                         if (board_ie_len != strlen(boardname))
 219                                 break;
 220
 221                         ret = memcmp(board_ie_data, boardname, strlen(boardname));
 222                         if (ret)
 223                                 break;
 224
 225                         name_match_found = true;
 226                         ath11k_dbg(ab, ATH11K_DBG_BOOT,
 227                                    "boot found match for name '%s'",
 228                                    boardname);
 229                         break;
 230                 case ATH11K_BD_IE_BOARD_DATA:
 231                         if (!name_match_found)
 232                                 /* no match found */
 233                                 break;
 234
 235                         ath11k_dbg(ab, ATH11K_DBG_BOOT,
 236                                    "boot found board data for '%s'", boardname);
 237
 238                         bd->data = board_ie_data;
 239                         bd->len = board_ie_len;
 240
 241                         ret = 0;
 242                         goto out;
 243                 default:
 244                         ath11k_warn(ab, "unknown ATH11K_BD_IE_BOARD found: %d\n",
 245                                     board_ie_id);
 246                         break;
 247                 }
 248
 249                 /* jump over the padding */
 250                 board_ie_len = ALIGN(board_ie_len, 4);
 251
 252                 buf_len -= board_ie_len;
 253                 buf += board_ie_len;
 254         }
 255
 256         /* no match found */
 257         ret = -ENOENT;
 258
 259 out:
 260         return ret;
 261 }
 262
 263 static int ath11k_core_fetch_board_data_api_n(struct ath11k_base *ab,
 264                                               struct ath11k_board_data *bd,
 265                                               const char *boardname)
 266 {
 267         size_t len, magic_len;
 268         const u8 *data;
 269         char *filename, filepath[100];
 270         size_t ie_len;
 271         struct ath11k_fw_ie *hdr;
 272         int ret, ie_id;
 273
 274         filename = ATH11K_BOARD_API2_FILE;
 275
 276         if (!bd->fw)
 277                 bd->fw = ath11k_core_firmware_request(ab, filename);
 278
 279         if (IS_ERR(bd->fw))
 280                 return PTR_ERR(bd->fw);
 281
 282         data = bd->fw->data;
 283         len = bd->fw->size;
 284
 285         ath11k_core_create_firmware_path(ab, filename,
 286                                          filepath, sizeof(filepath));
 287
 288         /* magic has extra null byte padded */
 289         magic_len = strlen(ATH11K_BOARD_MAGIC) + 1;
 290         if (len < magic_len) {
 291                 ath11k_err(ab, "failed to find magic value in %s, file too short: %zu\n",
 292                            filepath, len);
 293                 ret = -EINVAL;
 294                 goto err;
 295         }
 296
 297         if (memcmp(data, ATH11K_BOARD_MAGIC, magic_len)) {
 298                 ath11k_err(ab, "found invalid board magic\n");
 299                 ret = -EINVAL;
 300                 goto err;
 301         }
 302
 303         /* magic is padded to 4 bytes */
 304         magic_len = ALIGN(magic_len, 4);
 305         if (len < magic_len) {
 306                 ath11k_err(ab, "failed: %s too small to contain board data, len: %zu\n",
 307                            filepath, len);
 308                 ret = -EINVAL;
 309                 goto err;
 310         }
 311
 312         data += magic_len;
 313         len -= magic_len;
 314
 315         while (len > sizeof(struct ath11k_fw_ie)) {
 316                 hdr = (struct ath11k_fw_ie *)data;
 317                 ie_id = le32_to_cpu(hdr->id);
 318                 ie_len = le32_to_cpu(hdr->len);
 319
 320                 len -= sizeof(*hdr);
 321                 data = hdr->data;
 322
 323                 if (len < ALIGN(ie_len, 4)) {
 324                         ath11k_err(ab, "invalid length for board ie_id %d ie_len %zu len %zu\n",
 325                                    ie_id, ie_len, len);
 326                         return -EINVAL;
 327                 }
 328
 329                 switch (ie_id) {
 330                 case ATH11K_BD_IE_BOARD:
 331                         ret = ath11k_core_parse_bd_ie_board(ab, bd, data,
 332                                                             ie_len,
 333                                                             boardname,
 334                                                             ATH11K_BD_IE_BOARD);
 335                         if (ret == -ENOENT)
 336                                 /* no match found, continue */
 337                                 break;
 338                         else if (ret)
 339                                 /* there was an error, bail out */
 340                                 goto err;
 341                         /* either found or error, so stop searching */
 342                         goto out;
 343                 }
 344
 345                 /* jump over the padding */
 346                 ie_len = ALIGN(ie_len, 4);
 347
 348                 len -= ie_len;
 349                 data += ie_len;
 350         }
 351
 352 out:
 353         if (!bd->data || !bd->len) {
 354                 ath11k_err(ab,
 355                            "failed to fetch board data for %s from %s\n",
 356                            boardname, filepath);
 357                 ret = -ENODATA;
 358                 goto err;
 359         }
 360
 361         return 0;
 362
 363 err:
 364         ath11k_core_free_bdf(ab, bd);
 365         return ret;
 366 }
 367
 368 static int ath11k_core_fetch_board_data_api_1(struct ath11k_base *ab,
 369                                               struct ath11k_board_data *bd)
 370 {
 371         bd->fw = ath11k_core_firmware_request(ab, ATH11K_DEFAULT_BOARD_FILE);
 372         if (IS_ERR(bd->fw))
 373                 return PTR_ERR(bd->fw);
 374
 375         bd->data = bd->fw->data;
 376         bd->len = bd->fw->size;
 377
 378         return 0;
 379 }
 380
 381 #define BOARD_NAME_SIZE 100
 382 int ath11k_core_fetch_bdf(struct ath11k_base *ab, struct ath11k_board_data *bd)
 383 {
 384         char boardname[BOARD_NAME_SIZE];
 385         int ret;
 386
 387         ret = ath11k_core_create_board_name(ab, boardname, BOARD_NAME_SIZE);
 388         if (ret) {
 389                 ath11k_err(ab, "failed to create board name: %d", ret);
 390                 return ret;
 391         }
 392
 393         ab->bd_api = 2;
 394         ret = ath11k_core_fetch_board_data_api_n(ab, bd, boardname);
 395         if (!ret)
 396                 goto success;
 397
 398         ab->bd_api = 1;
 399         ret = ath11k_core_fetch_board_data_api_1(ab, bd);
 400         if (ret) {
 401                 ath11k_err(ab, "failed to fetch board-2.bin or board.bin from %s\n",
 402                            ab->hw_params.fw.dir);
 403                 return ret;
 404         }
 405
 406 success:
 407         ath11k_dbg(ab, ATH11K_DBG_BOOT, "using board api %d\n", ab->bd_api);
 408         return 0;
 409 }
 410
 411 static void ath11k_core_stop(struct ath11k_base *ab)
 412 {
 413         if (!test_bit(ATH11K_FLAG_CRASH_FLUSH, &ab->dev_flags))
 414                 ath11k_qmi_firmware_stop(ab);
 415         ath11k_hif_stop(ab);
 416         ath11k_wmi_detach(ab);
 417         ath11k_dp_pdev_reo_cleanup(ab);
 418
 419         /* De-Init of components as needed */
 420 }
 421
 422 static int ath11k_core_soc_create(struct ath11k_base *ab)
 423 {
 424         int ret;
 425
 426         ret = ath11k_qmi_init_service(ab);
 427         if (ret) {
 428                 ath11k_err(ab, "failed to initialize qmi :%d\n", ret);
 429                 return ret;
 430         }
 431
 432         ret = ath11k_debugfs_soc_create(ab);
 433         if (ret) {
 434                 ath11k_err(ab, "failed to create ath11k debugfs\n");
 435                 goto err_qmi_deinit;
 436         }
 437
 438         ret = ath11k_hif_power_up(ab);
 439         if (ret) {
 440                 ath11k_err(ab, "failed to power up :%d\n", ret);
 441                 goto err_debugfs_reg;
 442         }
 443
 444         return 0;
 445
 446 err_debugfs_reg:
 447         ath11k_debugfs_soc_destroy(ab);
 448 err_qmi_deinit:
 449         ath11k_qmi_deinit_service(ab);
 450         return ret;
 451 }
 452
 453 static void ath11k_core_soc_destroy(struct ath11k_base *ab)
 454 {
 455         ath11k_debugfs_soc_destroy(ab);
 456         ath11k_dp_free(ab);
 457         ath11k_reg_free(ab);
 458         ath11k_qmi_deinit_service(ab);
 459 }
 460
 461 static int ath11k_core_pdev_create(struct ath11k_base *ab)
 462 {
 463         int ret;
 464
 465         ret = ath11k_debugfs_pdev_create(ab);
 466         if (ret) {
 467                 ath11k_err(ab, "failed to create core pdev debugfs: %d\n", ret);
 468                 return ret;
 469         }
 470
 471         ret = ath11k_mac_register(ab);
 472         if (ret) {
 473                 ath11k_err(ab, "failed register the radio with mac80211: %d\n", ret);
 474                 goto err_pdev_debug;
 475         }
 476
 477         ret = ath11k_dp_pdev_alloc(ab);
 478         if (ret) {
 479                 ath11k_err(ab, "failed to attach DP pdev: %d\n", ret);
 480                 goto err_mac_unregister;
 481         }
 482
 483         ret = ath11k_thermal_register(ab);
 484         if (ret) {
 485                 ath11k_err(ab, "could not register thermal device: %d\n",
 486                            ret);
 487                 goto err_dp_pdev_free;
 488         }
 489
 490         ret = ath11k_spectral_init(ab);
 491         if (ret) {
 492                 ath11k_err(ab, "failed to init spectral %d\n", ret);
 493                 goto err_thermal_unregister;
 494         }
 495
 496         return 0;
 497
 498 err_thermal_unregister:
 499         ath11k_thermal_unregister(ab);
 500 err_dp_pdev_free:
 501         ath11k_dp_pdev_free(ab);
 502 err_mac_unregister:
 503         ath11k_mac_unregister(ab);
 504 err_pdev_debug:
 505         ath11k_debugfs_pdev_destroy(ab);
 506
 507         return ret;
 508 }
 509
 510 static void ath11k_core_pdev_destroy(struct ath11k_base *ab)
 511 {
 512         ath11k_spectral_deinit(ab);
 513         ath11k_thermal_unregister(ab);
 514         ath11k_mac_unregister(ab);
 515         ath11k_hif_irq_disable(ab);
 516         ath11k_dp_pdev_free(ab);
 517         ath11k_debugfs_pdev_destroy(ab);
 518 }
 519
 520 static int ath11k_core_start(struct ath11k_base *ab,
 521                              enum ath11k_firmware_mode mode)
 522 {
 523         int ret;
 524
 525         ret = ath11k_qmi_firmware_start(ab, mode);
 526         if (ret) {
 527                 ath11k_err(ab, "failed to attach wmi: %d\n", ret);
 528                 return ret;
 529         }
 530
 531         ret = ath11k_wmi_attach(ab);
 532         if (ret) {
 533                 ath11k_err(ab, "failed to attach wmi: %d\n", ret);
 534                 goto err_firmware_stop;
 535         }
 536
 537         ret = ath11k_htc_init(ab);
 538         if (ret) {
 539                 ath11k_err(ab, "failed to init htc: %d\n", ret);
 540                 goto err_wmi_detach;
 541         }
 542
 543         ret = ath11k_hif_start(ab);
 544         if (ret) {
 545                 ath11k_err(ab, "failed to start HIF: %d\n", ret);
 546                 goto err_wmi_detach;
 547         }
 548
 549         ret = ath11k_htc_wait_target(&ab->htc);
 550         if (ret) {
 551                 ath11k_err(ab, "failed to connect to HTC: %d\n", ret);
 552                 goto err_hif_stop;
 553         }
 554
 555         ret = ath11k_dp_htt_connect(&ab->dp);
 556         if (ret) {
 557                 ath11k_err(ab, "failed to connect to HTT: %d\n", ret);
 558                 goto err_hif_stop;
 559         }
 560
 561         ret = ath11k_wmi_connect(ab);
 562         if (ret) {
 563                 ath11k_err(ab, "failed to connect wmi: %d\n", ret);
 564                 goto err_hif_stop;
 565         }
 566
 567         ret = ath11k_htc_start(&ab->htc);
 568         if (ret) {
 569                 ath11k_err(ab, "failed to start HTC: %d\n", ret);
 570                 goto err_hif_stop;
 571         }
 572
 573         ret = ath11k_wmi_wait_for_service_ready(ab);
 574         if (ret) {
 575                 ath11k_err(ab, "failed to receive wmi service ready event: %d\n",
 576                            ret);
 577                 goto err_hif_stop;
 578         }
 579
 580         ret = ath11k_mac_allocate(ab);
 581         if (ret) {
 582                 ath11k_err(ab, "failed to create new hw device with mac80211 :%d\n",
 583                            ret);
 584                 goto err_hif_stop;
 585         }
 586
 587         ath11k_dp_pdev_pre_alloc(ab);
 588
 589         ret = ath11k_dp_pdev_reo_setup(ab);
 590         if (ret) {
 591                 ath11k_err(ab, "failed to initialize reo destination rings: %d\n", ret);
 592                 goto err_mac_destroy;
 593         }
 594
 595         ret = ath11k_wmi_cmd_init(ab);
 596         if (ret) {
 597                 ath11k_err(ab, "failed to send wmi init cmd: %d\n", ret);
 598                 goto err_reo_cleanup;
 599         }
 600
 601         ret = ath11k_wmi_wait_for_unified_ready(ab);
 602         if (ret) {
 603                 ath11k_err(ab, "failed to receive wmi unified ready event: %d\n",
 604                            ret);
 605                 goto err_reo_cleanup;
 606         }
 607
 608         ret = ath11k_dp_tx_htt_h2t_ver_req_msg(ab);
 609         if (ret) {
 610                 ath11k_err(ab, "failed to send htt version request message: %d\n",
 611                            ret);
 612                 goto err_reo_cleanup;
 613         }
 614
 615         return 0;
 616
 617 err_reo_cleanup:
 618         ath11k_dp_pdev_reo_cleanup(ab);
 619 err_mac_destroy:
 620         ath11k_mac_destroy(ab);
 621 err_hif_stop:
 622         ath11k_hif_stop(ab);
 623 err_wmi_detach:
 624         ath11k_wmi_detach(ab);
 625 err_firmware_stop:
 626         ath11k_qmi_firmware_stop(ab);
 627
 628         return ret;
 629 }
 630
 631 int ath11k_core_qmi_firmware_ready(struct ath11k_base *ab)
 632 {
 633         int ret;
 634
 635         ret = ath11k_ce_init_pipes(ab);
 636         if (ret) {
 637                 ath11k_err(ab, "failed to initialize CE: %d\n", ret);
 638                 return ret;
 639         }
 640
 641         ret = ath11k_dp_alloc(ab);
 642         if (ret) {
 643                 ath11k_err(ab, "failed to init DP: %d\n", ret);
 644                 return ret;
 645         }
 646
 647         switch (ath11k_crypto_mode) {
 648         case ATH11K_CRYPT_MODE_SW:
 649                 set_bit(ATH11K_FLAG_HW_CRYPTO_DISABLED, &ab->dev_flags);
 650                 set_bit(ATH11K_FLAG_RAW_MODE, &ab->dev_flags);
 651                 break;
 652         case ATH11K_CRYPT_MODE_HW:
 653                 clear_bit(ATH11K_FLAG_HW_CRYPTO_DISABLED, &ab->dev_flags);
 654                 clear_bit(ATH11K_FLAG_RAW_MODE, &ab->dev_flags);
 655                 break;
 656         default:
 657                 ath11k_info(ab, "invalid crypto_mode: %d\n", ath11k_crypto_mode);
 658                 return -EINVAL;
 659         }
 660
 661         if (ath11k_frame_mode == ATH11K_HW_TXRX_RAW)
 662                 set_bit(ATH11K_FLAG_RAW_MODE, &ab->dev_flags);
 663
 664         mutex_lock(&ab->core_lock);
 665         ret = ath11k_core_start(ab, ATH11K_FIRMWARE_MODE_NORMAL);
 666         if (ret) {
 667                 ath11k_err(ab, "failed to start core: %d\n", ret);
 668                 goto err_dp_free;
 669         }
 670
 671         ret = ath11k_core_pdev_create(ab);
 672         if (ret) {
 673                 ath11k_err(ab, "failed to create pdev core: %d\n", ret);
 674                 goto err_core_stop;
 675         }
 676         ath11k_hif_irq_enable(ab);
 677         mutex_unlock(&ab->core_lock);
 678
 679         return 0;
 680
 681 err_core_stop:
 682         ath11k_core_stop(ab);
 683         ath11k_mac_destroy(ab);
 684 err_dp_free:
 685         ath11k_dp_free(ab);
 686         mutex_unlock(&ab->core_lock);
 687         return ret;
 688 }
 689
 690 static int ath11k_core_reconfigure_on_crash(struct ath11k_base *ab)
 691 {
 692         int ret;
 693
 694         mutex_lock(&ab->core_lock);
 695         ath11k_thermal_unregister(ab);
 696         ath11k_hif_irq_disable(ab);
 697         ath11k_dp_pdev_free(ab);
 698         ath11k_spectral_deinit(ab);
 699         ath11k_hif_stop(ab);
 700         ath11k_wmi_detach(ab);
 701         ath11k_dp_pdev_reo_cleanup(ab);
 702         mutex_unlock(&ab->core_lock);
 703
 704         ath11k_dp_free(ab);
 705         ath11k_hal_srng_deinit(ab);
 706
 707         ab->free_vdev_map = (1LL << (ab->num_radios * TARGET_NUM_VDEVS)) - 1;
 708
 709         ret = ath11k_hal_srng_init(ab);
 710         if (ret)
 711                 return ret;
 712
 713         clear_bit(ATH11K_FLAG_CRASH_FLUSH, &ab->dev_flags);
 714
 715         ret = ath11k_core_qmi_firmware_ready(ab);
 716         if (ret)
 717                 goto err_hal_srng_deinit;
 718
 719         clear_bit(ATH11K_FLAG_RECOVERY, &ab->dev_flags);
 720
 721         return 0;
 722
 723 err_hal_srng_deinit:
 724         ath11k_hal_srng_deinit(ab);
 725         return ret;
 726 }
 727
 728 void ath11k_core_halt(struct ath11k *ar)
 729 {
 730         struct ath11k_base *ab = ar->ab;
 731
 732         lockdep_assert_held(&ar->conf_mutex);
 733
 734         ar->num_created_vdevs = 0;
 735         ar->allocated_vdev_map = 0;
 736
 737         ath11k_mac_scan_finish(ar);
 738         ath11k_mac_peer_cleanup_all(ar);
 739         cancel_delayed_work_sync(&ar->scan.timeout);
 740         cancel_work_sync(&ar->regd_update_work);
 741
 742         rcu_assign_pointer(ab->pdevs_active[ar->pdev_idx], NULL);
 743         synchronize_rcu();
 744         INIT_LIST_HEAD(&ar->arvifs);
 745         idr_init(&ar->txmgmt_idr);
 746 }
 747
 748 static void ath11k_core_restart(struct work_struct *work)
 749 {
 750         struct ath11k_base *ab = container_of(work, struct ath11k_base, restart_work);
 751         struct ath11k *ar;
 752         struct ath11k_pdev *pdev;
 753         int i, ret = 0;
 754
 755         spin_lock_bh(&ab->base_lock);
 756         ab->stats.fw_crash_counter++;
 757         spin_unlock_bh(&ab->base_lock);
 758
 759         for (i = 0; i < ab->num_radios; i++) {
 760                 pdev = &ab->pdevs[i];
 761                 ar = pdev->ar;
 762                 if (!ar || ar->state == ATH11K_STATE_OFF)
 763                         continue;
 764
 765                 ieee80211_stop_queues(ar->hw);
 766                 ath11k_mac_drain_tx(ar);
 767                 complete(&ar->scan.started);
 768                 complete(&ar->scan.completed);
 769                 complete(&ar->peer_assoc_done);
 770                 complete(&ar->install_key_done);
 771                 complete(&ar->vdev_setup_done);
 772                 complete(&ar->bss_survey_done);
 773                 complete(&ar->thermal.wmi_sync);
 774
 775                 wake_up(&ar->dp.tx_empty_waitq);
 776                 idr_for_each(&ar->txmgmt_idr,
 777                              ath11k_mac_tx_mgmt_pending_free, ar);
 778                 idr_destroy(&ar->txmgmt_idr);
 779         }
 780
 781         wake_up(&ab->wmi_ab.tx_credits_wq);
 782         wake_up(&ab->peer_mapping_wq);
 783
 784         ret = ath11k_core_reconfigure_on_crash(ab);
 785         if (ret) {
 786                 ath11k_err(ab, "failed to reconfigure driver on crash recovery\n");
 787                 return;
 788         }
 789
 790         for (i = 0; i < ab->num_radios; i++) {
 791                 pdev = &ab->pdevs[i];
 792                 ar = pdev->ar;
 793                 if (!ar || ar->state == ATH11K_STATE_OFF)
 794                         continue;
 795
 796                 mutex_lock(&ar->conf_mutex);
 797
 798                 switch (ar->state) {
 799                 case ATH11K_STATE_ON:
 800                         ar->state = ATH11K_STATE_RESTARTING;
 801                         ath11k_core_halt(ar);
 802                         ieee80211_restart_hw(ar->hw);
 803                         break;
 804                 case ATH11K_STATE_OFF:
 805                         ath11k_warn(ab,
 806                                     "cannot restart radio %d that hasn't been started\n",
 807                                     i);
 808                         break;
 809                 case ATH11K_STATE_RESTARTING:
 810                         break;
 811                 case ATH11K_STATE_RESTARTED:
 812                         ar->state = ATH11K_STATE_WEDGED;
 813                         fallthrough;
 814                 case ATH11K_STATE_WEDGED:
 815                         ath11k_warn(ab,
 816                                     "device is wedged, will not restart radio %d\n", i);
 817                         break;
 818                 }
 819                 mutex_unlock(&ar->conf_mutex);
 820         }
 821         complete(&ab->driver_recovery);
 822 }
 823
 824 static int ath11k_init_hw_params(struct ath11k_base *ab)
 825 {
 826         const struct ath11k_hw_params *hw_params = NULL;
 827         int i;
 828
 829         for (i = 0; i < ARRAY_SIZE(ath11k_hw_params); i++) {
 830                 hw_params = &ath11k_hw_params[i];
 831
 832                 if (hw_params->hw_rev == ab->hw_rev)
 833                         break;
 834         }
 835
 836         if (i == ARRAY_SIZE(ath11k_hw_params)) {
 837                 ath11k_err(ab, "Unsupported hardware version: 0x%x\n", ab->hw_rev);
 838                 return -EINVAL;
 839         }
 840
 841         ab->hw_params = *hw_params;
 842
 843         ath11k_dbg(ab, ATH11K_DBG_BOOT, "Hardware name %s\n", ab->hw_params.name);
 844
 845         return 0;
 846 }
 847
 848 int ath11k_core_pre_init(struct ath11k_base *ab)
 849 {
 850         int ret;
 851
 852         ret = ath11k_init_hw_params(ab);
 853         if (ret) {
 854                 ath11k_err(ab, "failed to get hw params: %d\n", ret);
 855                 return ret;
 856         }
 857
 858         return 0;
 859 }
 860 EXPORT_SYMBOL(ath11k_core_pre_init);
 861
 862 int ath11k_core_init(struct ath11k_base *ab)
 863 {
 864         int ret;
 865
 866         ret = ath11k_core_soc_create(ab);
 867         if (ret) {
 868                 ath11k_err(ab, "failed to create soc core: %d\n", ret);
 869                 return ret;
 870         }
 871
 872         return 0;
 873 }
 874 EXPORT_SYMBOL(ath11k_core_init);
 875
 876 void ath11k_core_deinit(struct ath11k_base *ab)
 877 {
 878         mutex_lock(&ab->core_lock);
 879
 880         ath11k_core_pdev_destroy(ab);
 881         ath11k_core_stop(ab);
 882
 883         mutex_unlock(&ab->core_lock);
 884
 885         ath11k_hif_power_down(ab);
 886         ath11k_mac_destroy(ab);
 887         ath11k_core_soc_destroy(ab);
 888 }
 889 EXPORT_SYMBOL(ath11k_core_deinit);
 890
 891 void ath11k_core_free(struct ath11k_base *ab)
 892 {
 893         kfree(ab);
 894 }
 895 EXPORT_SYMBOL(ath11k_core_free);
 896
 897 struct ath11k_base *ath11k_core_alloc(struct device *dev, size_t priv_size,
 898                                       enum ath11k_bus bus,
 899                                       const struct ath11k_bus_params *bus_params)
 900 {
 901         struct ath11k_base *ab;
 902
 903         ab = kzalloc(sizeof(*ab) + priv_size, GFP_KERNEL);
 904         if (!ab)
 905                 return NULL;
 906
 907         init_completion(&ab->driver_recovery);
 908
 909         ab->workqueue = create_singlethread_workqueue("ath11k_wq");
 910         if (!ab->workqueue)
 911                 goto err_sc_free;
 912
 913         mutex_init(&ab->core_lock);
 914         spin_lock_init(&ab->base_lock);
 915
 916         INIT_LIST_HEAD(&ab->peers);
 917         init_waitqueue_head(&ab->peer_mapping_wq);
 918         init_waitqueue_head(&ab->wmi_ab.tx_credits_wq);
 919         INIT_WORK(&ab->restart_work, ath11k_core_restart);
 920         timer_setup(&ab->rx_replenish_retry, ath11k_ce_rx_replenish_retry, 0);
 921         ab->dev = dev;
 922         ab->bus_params = *bus_params;
 923         ab->hif.bus = bus;
 924
 925         return ab;
 926
 927 err_sc_free:
 928         kfree(ab);
 929         return NULL;
 930 }
 931 EXPORT_SYMBOL(ath11k_core_alloc);
 932
 933 MODULE_DESCRIPTION("Core module for Qualcomm Atheros 802.11ax wireless LAN cards.");
 934 MODULE_LICENSE("Dual BSD/GPL");