block/partitions/core.c

   1 // SPDX-License-Identifier: GPL-2.0
   2 /*
   3  * Copyright (C) 1991-1998  Linus Torvalds
   4  * Re-organised Feb 1998 Russell King
   5  * Copyright (C) 2020 Christoph Hellwig
   6  */
   7 #include <linux/fs.h>
   8 #include <linux/slab.h>
   9 #include <linux/ctype.h>
  10 #include <linux/genhd.h>
  11 #include <linux/vmalloc.h>
  12 #include <linux/blktrace_api.h>
  13 #include <linux/raid/detect.h>
  14 #include "check.h"
  15
  16 static int (*check_part[])(struct parsed_partitions *) = {
  17         /*
  18          * Probe partition formats with tables at disk address 0
  19          * that also have an ADFS boot block at 0xdc0.
  20          */
  21 #ifdef CONFIG_ACORN_PARTITION_ICS
  22         adfspart_check_ICS,
  23 #endif
  24 #ifdef CONFIG_ACORN_PARTITION_POWERTEC
  25         adfspart_check_POWERTEC,
  26 #endif
  27 #ifdef CONFIG_ACORN_PARTITION_EESOX
  28         adfspart_check_EESOX,
  29 #endif
  30
  31         /*
  32          * Now move on to formats that only have partition info at
  33          * disk address 0xdc0.  Since these may also have stale
  34          * PC/BIOS partition tables, they need to come before
  35          * the msdos entry.
  36          */
  37 #ifdef CONFIG_ACORN_PARTITION_CUMANA
  38         adfspart_check_CUMANA,
  39 #endif
  40 #ifdef CONFIG_ACORN_PARTITION_ADFS
  41         adfspart_check_ADFS,
  42 #endif
  43
  44 #ifdef CONFIG_CMDLINE_PARTITION
  45         cmdline_partition,
  46 #endif
  47 #ifdef CONFIG_EFI_PARTITION
  48         efi_partition,          /* this must come before msdos */
  49 #endif
  50 #ifdef CONFIG_SGI_PARTITION
  51         sgi_partition,
  52 #endif
  53 #ifdef CONFIG_LDM_PARTITION
  54         ldm_partition,          /* this must come before msdos */
  55 #endif
  56 #ifdef CONFIG_MSDOS_PARTITION
  57         msdos_partition,
  58 #endif
  59 #ifdef CONFIG_OSF_PARTITION
  60         osf_partition,
  61 #endif
  62 #ifdef CONFIG_SUN_PARTITION
  63         sun_partition,
  64 #endif
  65 #ifdef CONFIG_AMIGA_PARTITION
  66         amiga_partition,
  67 #endif
  68 #ifdef CONFIG_ATARI_PARTITION
  69         atari_partition,
  70 #endif
  71 #ifdef CONFIG_MAC_PARTITION
  72         mac_partition,
  73 #endif
  74 #ifdef CONFIG_ULTRIX_PARTITION
  75         ultrix_partition,
  76 #endif
  77 #ifdef CONFIG_IBM_PARTITION
  78         ibm_partition,
  79 #endif
  80 #ifdef CONFIG_KARMA_PARTITION
  81         karma_partition,
  82 #endif
  83 #ifdef CONFIG_SYSV68_PARTITION
  84         sysv68_partition,
  85 #endif
  86         NULL
  87 };
  88
  89 static void bdev_set_nr_sectors(struct block_device *bdev, sector_t sectors)
  90 {
  91         unsigned long flags;
  92
  93         spin_lock_irqsave(&bdev->bd_size_lock, flags);
  94         i_size_write(bdev->bd_inode, (loff_t)sectors << SECTOR_SHIFT);
  95         spin_unlock_irqrestore(&bdev->bd_size_lock, flags);
  96 }
  97
  98 static struct parsed_partitions *allocate_partitions(struct gendisk *hd)
  99 {
 100         struct parsed_partitions *state;
 101         int nr;
 102
 103         state = kzalloc(sizeof(*state), GFP_KERNEL);
 104         if (!state)
 105                 return NULL;
 106
 107         nr = disk_max_parts(hd);
 108         state->parts = vzalloc(array_size(nr, sizeof(state->parts[0])));
 109         if (!state->parts) {
 110                 kfree(state);
 111                 return NULL;
 112         }
 113
 114         state->limit = nr;
 115
 116         return state;
 117 }
 118
 119 static void free_partitions(struct parsed_partitions *state)
 120 {
 121         vfree(state->parts);
 122         kfree(state);
 123 }
 124
 125 static struct parsed_partitions *check_partition(struct gendisk *hd,
 126                 struct block_device *bdev)
 127 {
 128         struct parsed_partitions *state;
 129         int i, res, err;
 130
 131         state = allocate_partitions(hd);
 132         if (!state)
 133                 return NULL;
 134         state->pp_buf = (char *)__get_free_page(GFP_KERNEL);
 135         if (!state->pp_buf) {
 136                 free_partitions(state);
 137                 return NULL;
 138         }
 139         state->pp_buf[0] = '\0';
 140
 141         state->bdev = bdev;
 142         disk_name(hd, 0, state->name);
 143         snprintf(state->pp_buf, PAGE_SIZE, " %s:", state->name);
 144         if (isdigit(state->name[strlen(state->name)-1]))
 145                 sprintf(state->name, "p");
 146
 147         i = res = err = 0;
 148         while (!res && check_part[i]) {
 149                 memset(state->parts, 0, state->limit * sizeof(state->parts[0]));
 150                 res = check_part[i++](state);
 151                 if (res < 0) {
 152                         /*
 153                          * We have hit an I/O error which we don't report now.
 154                          * But record it, and let the others do their job.
 155                          */
 156                         err = res;
 157                         res = 0;
 158                 }
 159
 160         }
 161         if (res > 0) {
 162                 printk(KERN_INFO "%s", state->pp_buf);
 163
 164                 free_page((unsigned long)state->pp_buf);
 165                 return state;
 166         }
 167         if (state->access_beyond_eod)
 168                 err = -ENOSPC;
 169         /*
 170          * The partition is unrecognized. So report I/O errors if there were any
 171          */
 172         if (err)
 173                 res = err;
 174         if (res) {
 175                 strlcat(state->pp_buf,
 176                         " unable to read partition table\n", PAGE_SIZE);
 177                 printk(KERN_INFO "%s", state->pp_buf);
 178         }
 179
 180         free_page((unsigned long)state->pp_buf);
 181         free_partitions(state);
 182         return ERR_PTR(res);
 183 }
 184
 185 static ssize_t part_partition_show(struct device *dev,
 186                                    struct device_attribute *attr, char *buf)
 187 {
 188         return sprintf(buf, "%d\n", dev_to_bdev(dev)->bd_partno);
 189 }
 190
 191 static ssize_t part_start_show(struct device *dev,
 192                                struct device_attribute *attr, char *buf)
 193 {
 194         return sprintf(buf, "%llu\n", dev_to_bdev(dev)->bd_start_sect);
 195 }
 196
 197 static ssize_t part_ro_show(struct device *dev,
 198                             struct device_attribute *attr, char *buf)
 199 {
 200         return sprintf(buf, "%d\n", bdev_read_only(dev_to_bdev(dev)));
 201 }
 202
 203 static ssize_t part_alignment_offset_show(struct device *dev,
 204                                           struct device_attribute *attr, char *buf)
 205 {
 206         struct block_device *bdev = dev_to_bdev(dev);
 207
 208         return sprintf(buf, "%u\n",
 209                 queue_limit_alignment_offset(&bdev->bd_disk->queue->limits,
 210                                 bdev->bd_start_sect));
 211 }
 212
 213 static ssize_t part_discard_alignment_show(struct device *dev,
 214                                            struct device_attribute *attr, char *buf)
 215 {
 216         struct block_device *bdev = dev_to_bdev(dev);
 217
 218         return sprintf(buf, "%u\n",
 219                 queue_limit_discard_alignment(&bdev->bd_disk->queue->limits,
 220                                 bdev->bd_start_sect));
 221 }
 222
 223 static DEVICE_ATTR(partition, 0444, part_partition_show, NULL);
 224 static DEVICE_ATTR(start, 0444, part_start_show, NULL);
 225 static DEVICE_ATTR(size, 0444, part_size_show, NULL);
 226 static DEVICE_ATTR(ro, 0444, part_ro_show, NULL);
 227 static DEVICE_ATTR(alignment_offset, 0444, part_alignment_offset_show, NULL);
 228 static DEVICE_ATTR(discard_alignment, 0444, part_discard_alignment_show, NULL);
 229 static DEVICE_ATTR(stat, 0444, part_stat_show, NULL);
 230 static DEVICE_ATTR(inflight, 0444, part_inflight_show, NULL);
 231 #ifdef CONFIG_FAIL_MAKE_REQUEST
 232 static struct device_attribute dev_attr_fail =
 233         __ATTR(make-it-fail, 0644, part_fail_show, part_fail_store);
 234 #endif
 235
 236 static struct attribute *part_attrs[] = {
 237         &dev_attr_partition.attr,
 238         &dev_attr_start.attr,
 239         &dev_attr_size.attr,
 240         &dev_attr_ro.attr,
 241         &dev_attr_alignment_offset.attr,
 242         &dev_attr_discard_alignment.attr,
 243         &dev_attr_stat.attr,
 244         &dev_attr_inflight.attr,
 245 #ifdef CONFIG_FAIL_MAKE_REQUEST
 246         &dev_attr_fail.attr,
 247 #endif
 248         NULL
 249 };
 250
 251 static struct attribute_group part_attr_group = {
 252         .attrs = part_attrs,
 253 };
 254
 255 static const struct attribute_group *part_attr_groups[] = {
 256         &part_attr_group,
 257 #ifdef CONFIG_BLK_DEV_IO_TRACE
 258         &blk_trace_attr_group,
 259 #endif
 260         NULL
 261 };
 262
 263 static void part_release(struct device *dev)
 264 {
 265         blk_free_devt(dev->devt);
 266         bdput(dev_to_bdev(dev));
 267 }
 268
 269 static int part_uevent(struct device *dev, struct kobj_uevent_env *env)
 270 {
 271         struct block_device *part = dev_to_bdev(dev);
 272
 273         add_uevent_var(env, "PARTN=%u", part->bd_partno);
 274         if (part->bd_meta_info && part->bd_meta_info->volname[0])
 275                 add_uevent_var(env, "PARTNAME=%s", part->bd_meta_info->volname);
 276         return 0;
 277 }
 278
 279 struct device_type part_type = {
 280         .name           = "partition",
 281         .groups         = part_attr_groups,
 282         .release        = part_release,
 283         .uevent         = part_uevent,
 284 };
 285
 286 /*
 287  * Must be called either with bd_mutex held, before a disk can be opened or
 288  * after all disk users are gone.
 289  */
 290 void delete_partition(struct block_device *part)
 291 {
 292         xa_erase(&part->bd_disk->part_tbl, part->bd_partno);
 293         kobject_put(part->bd_holder_dir);
 294         device_del(&part->bd_device);
 295
 296         /*
 297          * Remove the block device from the inode hash, so that it cannot be
 298          * looked up any more even when openers still hold references.
 299          */
 300         remove_inode_hash(part->bd_inode);
 301
 302         put_device(&part->bd_device);
 303 }
 304
 305 static ssize_t whole_disk_show(struct device *dev,
 306                                struct device_attribute *attr, char *buf)
 307 {
 308         return 0;
 309 }
 310 static DEVICE_ATTR(whole_disk, 0444, whole_disk_show, NULL);
 311
 312 /*
 313  * Must be called either with bd_mutex held, before a disk can be opened or
 314  * after all disk users are gone.
 315  */
 316 static struct block_device *add_partition(struct gendisk *disk, int partno,
 317                                 sector_t start, sector_t len, int flags,
 318                                 struct partition_meta_info *info)
 319 {
 320         dev_t devt = MKDEV(0, 0);
 321         struct device *ddev = disk_to_dev(disk);
 322         struct device *pdev;
 323         struct block_device *bdev;
 324         const char *dname;
 325         int err;
 326
 327         /*
 328          * Partitions are not supported on zoned block devices that are used as
 329          * such.
 330          */
 331         switch (disk->queue->limits.zoned) {
 332         case BLK_ZONED_HM:
 333                 pr_warn("%s: partitions not supported on host managed zoned block device\n",
 334                         disk->disk_name);
 335                 return ERR_PTR(-ENXIO);
 336         case BLK_ZONED_HA:
 337                 pr_info("%s: disabling host aware zoned block device support due to partitions\n",
 338                         disk->disk_name);
 339                 blk_queue_set_zoned(disk, BLK_ZONED_NONE);
 340                 break;
 341         case BLK_ZONED_NONE:
 342                 break;
 343         }
 344
 345         if (xa_load(&disk->part_tbl, partno))
 346                 return ERR_PTR(-EBUSY);
 347
 348         bdev = bdev_alloc(disk, partno);
 349         if (!bdev)
 350                 return ERR_PTR(-ENOMEM);
 351
 352         bdev->bd_start_sect = start;
 353         bdev_set_nr_sectors(bdev, len);
 354
 355         if (info) {
 356                 err = -ENOMEM;
 357                 bdev->bd_meta_info = kmemdup(info, sizeof(*info), GFP_KERNEL);
 358                 if (!bdev->bd_meta_info)
 359                         goto out_bdput;
 360         }
 361
 362         pdev = &bdev->bd_device;
 363         dname = dev_name(ddev);
 364         if (isdigit(dname[strlen(dname) - 1]))
 365                 dev_set_name(pdev, "%sp%d", dname, partno);
 366         else
 367                 dev_set_name(pdev, "%s%d", dname, partno);
 368
 369         device_initialize(pdev);
 370         pdev->class = &block_class;
 371         pdev->type = &part_type;
 372         pdev->parent = ddev;
 373
 374         err = blk_alloc_devt(bdev, &devt);
 375         if (err)
 376                 goto out_put;
 377         pdev->devt = devt;
 378
 379         /* delay uevent until 'holders' subdir is created */
 380         dev_set_uevent_suppress(pdev, 1);
 381         err = device_add(pdev);
 382         if (err)
 383                 goto out_put;
 384
 385         err = -ENOMEM;
 386         bdev->bd_holder_dir = kobject_create_and_add("holders", &pdev->kobj);
 387         if (!bdev->bd_holder_dir)
 388                 goto out_del;
 389
 390         dev_set_uevent_suppress(pdev, 0);
 391         if (flags & ADDPART_FLAG_WHOLEDISK) {
 392                 err = device_create_file(pdev, &dev_attr_whole_disk);
 393                 if (err)
 394                         goto out_del;
 395         }
 396
 397         /* everything is up and running, commence */
 398         err = xa_insert(&disk->part_tbl, partno, bdev, GFP_KERNEL);
 399         if (err)
 400                 goto out_del;
 401         bdev_add(bdev, devt);
 402
 403         /* suppress uevent if the disk suppresses it */
 404         if (!dev_get_uevent_suppress(ddev))
 405                 kobject_uevent(&pdev->kobj, KOBJ_ADD);
 406         return bdev;
 407
 408 out_bdput:
 409         bdput(bdev);
 410         return ERR_PTR(err);
 411 out_del:
 412         kobject_put(bdev->bd_holder_dir);
 413         device_del(pdev);
 414 out_put:
 415         put_device(pdev);
 416         return ERR_PTR(err);
 417 }
 418
 419 static bool partition_overlaps(struct gendisk *disk, sector_t start,
 420                 sector_t length, int skip_partno)
 421 {
 422         struct disk_part_iter piter;
 423         struct block_device *part;
 424         bool overlap = false;
 425
 426         disk_part_iter_init(&piter, disk, DISK_PITER_INCL_EMPTY);
 427         while ((part = disk_part_iter_next(&piter))) {
 428                 if (part->bd_partno == skip_partno ||
 429                     start >= part->bd_start_sect + bdev_nr_sectors(part) ||
 430                     start + length <= part->bd_start_sect)
 431                         continue;
 432                 overlap = true;
 433                 break;
 434         }
 435
 436         disk_part_iter_exit(&piter);
 437         return overlap;
 438 }
 439
 440 int bdev_add_partition(struct block_device *bdev, int partno,
 441                 sector_t start, sector_t length)
 442 {
 443         struct block_device *part;
 444
 445         mutex_lock(&bdev->bd_mutex);
 446         if (partition_overlaps(bdev->bd_disk, start, length, -1)) {
 447                 mutex_unlock(&bdev->bd_mutex);
 448                 return -EBUSY;
 449         }
 450
 451         part = add_partition(bdev->bd_disk, partno, start, length,
 452                         ADDPART_FLAG_NONE, NULL);
 453         mutex_unlock(&bdev->bd_mutex);
 454         return PTR_ERR_OR_ZERO(part);
 455 }
 456
 457 int bdev_del_partition(struct block_device *bdev, int partno)
 458 {
 459         struct block_device *part;
 460         int ret;
 461
 462         part = bdget_disk(bdev->bd_disk, partno);
 463         if (!part)
 464                 return -ENXIO;
 465
 466         mutex_lock(&part->bd_mutex);
 467         mutex_lock_nested(&bdev->bd_mutex, 1);
 468
 469         ret = -EBUSY;
 470         if (part->bd_openers)
 471                 goto out_unlock;
 472
 473         sync_blockdev(part);
 474         invalidate_bdev(part);
 475
 476         delete_partition(part);
 477         ret = 0;
 478 out_unlock:
 479         mutex_unlock(&bdev->bd_mutex);
 480         mutex_unlock(&part->bd_mutex);
 481         bdput(part);
 482         return ret;
 483 }
 484
 485 int bdev_resize_partition(struct block_device *bdev, int partno,
 486                 sector_t start, sector_t length)
 487 {
 488         struct block_device *part;
 489         int ret = 0;
 490
 491         part = bdget_disk(bdev->bd_disk, partno);
 492         if (!part)
 493                 return -ENXIO;
 494
 495         mutex_lock(&part->bd_mutex);
 496         mutex_lock_nested(&bdev->bd_mutex, 1);
 497         ret = -EINVAL;
 498         if (start != part->bd_start_sect)
 499                 goto out_unlock;
 500
 501         ret = -EBUSY;
 502         if (partition_overlaps(bdev->bd_disk, start, length, partno))
 503                 goto out_unlock;
 504
 505         bdev_set_nr_sectors(part, length);
 506
 507         ret = 0;
 508 out_unlock:
 509         mutex_unlock(&part->bd_mutex);
 510         mutex_unlock(&bdev->bd_mutex);
 511         bdput(part);
 512         return ret;
 513 }
 514
 515 static bool disk_unlock_native_capacity(struct gendisk *disk)
 516 {
 517         const struct block_device_operations *bdops = disk->fops;
 518
 519         if (bdops->unlock_native_capacity &&
 520             !(disk->flags & GENHD_FL_NATIVE_CAPACITY)) {
 521                 printk(KERN_CONT "enabling native capacity\n");
 522                 bdops->unlock_native_capacity(disk);
 523                 disk->flags |= GENHD_FL_NATIVE_CAPACITY;
 524                 return true;
 525         } else {
 526                 printk(KERN_CONT "truncated\n");
 527                 return false;
 528         }
 529 }
 530
 531 int blk_drop_partitions(struct block_device *bdev)
 532 {
 533         struct disk_part_iter piter;
 534         struct block_device *part;
 535
 536         if (bdev->bd_part_count)
 537                 return -EBUSY;
 538
 539         sync_blockdev(bdev);
 540         invalidate_bdev(bdev);
 541
 542         disk_part_iter_init(&piter, bdev->bd_disk, DISK_PITER_INCL_EMPTY);
 543         while ((part = disk_part_iter_next(&piter)))
 544                 delete_partition(part);
 545         disk_part_iter_exit(&piter);
 546
 547         return 0;
 548 }
 549 #ifdef CONFIG_S390
 550 /* for historic reasons in the DASD driver */
 551 EXPORT_SYMBOL_GPL(blk_drop_partitions);
 552 #endif
 553
 554 static bool blk_add_partition(struct gendisk *disk, struct block_device *bdev,
 555                 struct parsed_partitions *state, int p)
 556 {
 557         sector_t size = state->parts[p].size;
 558         sector_t from = state->parts[p].from;
 559         struct block_device *part;
 560
 561         if (!size)
 562                 return true;
 563
 564         if (from >= get_capacity(disk)) {
 565                 printk(KERN_WARNING
 566                        "%s: p%d start %llu is beyond EOD, ",
 567                        disk->disk_name, p, (unsigned long long) from);
 568                 if (disk_unlock_native_capacity(disk))
 569                         return false;
 570                 return true;
 571         }
 572
 573         if (from + size > get_capacity(disk)) {
 574                 printk(KERN_WARNING
 575                        "%s: p%d size %llu extends beyond EOD, ",
 576                        disk->disk_name, p, (unsigned long long) size);
 577
 578                 if (disk_unlock_native_capacity(disk))
 579                         return false;
 580
 581                 /*
 582                  * We can not ignore partitions of broken tables created by for
 583                  * example camera firmware, but we limit them to the end of the
 584                  * disk to avoid creating invalid block devices.
 585                  */
 586                 size = get_capacity(disk) - from;
 587         }
 588
 589         part = add_partition(disk, p, from, size, state->parts[p].flags,
 590                              &state->parts[p].info);
 591         if (IS_ERR(part) && PTR_ERR(part) != -ENXIO) {
 592                 printk(KERN_ERR " %s: p%d could not be added: %ld\n",
 593                        disk->disk_name, p, -PTR_ERR(part));
 594                 return true;
 595         }
 596
 597         if (IS_BUILTIN(CONFIG_BLK_DEV_MD) &&
 598             (state->parts[p].flags & ADDPART_FLAG_RAID))
 599                 md_autodetect_dev(part->bd_dev);
 600
 601         return true;
 602 }
 603
 604 int blk_add_partitions(struct gendisk *disk, struct block_device *bdev)
 605 {
 606         struct parsed_partitions *state;
 607         int ret = -EAGAIN, p;
 608
 609         if (!disk_part_scan_enabled(disk))
 610                 return 0;
 611
 612         state = check_partition(disk, bdev);
 613         if (!state)
 614                 return 0;
 615         if (IS_ERR(state)) {
 616                 /*
 617                  * I/O error reading the partition table.  If we tried to read
 618                  * beyond EOD, retry after unlocking the native capacity.
 619                  */
 620                 if (PTR_ERR(state) == -ENOSPC) {
 621                         printk(KERN_WARNING "%s: partition table beyond EOD, ",
 622                                disk->disk_name);
 623                         if (disk_unlock_native_capacity(disk))
 624                                 return -EAGAIN;
 625                 }
 626                 return -EIO;
 627         }
 628
 629         /*
 630          * Partitions are not supported on host managed zoned block devices.
 631          */
 632         if (disk->queue->limits.zoned == BLK_ZONED_HM) {
 633                 pr_warn("%s: ignoring partition table on host managed zoned block device\n",
 634                         disk->disk_name);
 635                 ret = 0;
 636                 goto out_free_state;
 637         }
 638
 639         /*
 640          * If we read beyond EOD, try unlocking native capacity even if the
 641          * partition table was successfully read as we could be missing some
 642          * partitions.
 643          */
 644         if (state->access_beyond_eod) {
 645                 printk(KERN_WARNING
 646                        "%s: partition table partially beyond EOD, ",
 647                        disk->disk_name);
 648                 if (disk_unlock_native_capacity(disk))
 649                         goto out_free_state;
 650         }
 651
 652         /* tell userspace that the media / partition table may have changed */
 653         kobject_uevent(&disk_to_dev(disk)->kobj, KOBJ_CHANGE);
 654
 655         for (p = 1; p < state->limit; p++)
 656                 if (!blk_add_partition(disk, bdev, state, p))
 657                         goto out_free_state;
 658
 659         ret = 0;
 660 out_free_state:
 661         free_partitions(state);
 662         return ret;
 663 }
 664
 665 void *read_part_sector(struct parsed_partitions *state, sector_t n, Sector *p)
 666 {
 667         struct address_space *mapping = state->bdev->bd_inode->i_mapping;
 668         struct page *page;
 669
 670         if (n >= get_capacity(state->bdev->bd_disk)) {
 671                 state->access_beyond_eod = true;
 672                 return NULL;
 673         }
 674
 675         page = read_mapping_page(mapping,
 676                         (pgoff_t)(n >> (PAGE_SHIFT - 9)), NULL);
 677         if (IS_ERR(page))
 678                 goto out;
 679         if (PageError(page))
 680                 goto out_put_page;
 681
 682         p->v = page;
 683         return (unsigned char *)page_address(page) +
 684                         ((n & ((1 << (PAGE_SHIFT - 9)) - 1)) << SECTOR_SHIFT);
 685 out_put_page:
 686         put_page(page);
 687 out:
 688         p->v = NULL;
 689         return NULL;
 690 }