b0c588d1aa2937fcba41b68cc4ce71ffb4706d3c
[linux-2.6-microblaze.git] / include / linux / genhd.h
1 /* SPDX-License-Identifier: GPL-2.0 */
2 #ifndef _LINUX_GENHD_H
3 #define _LINUX_GENHD_H
4
5 /*
6  *      genhd.h Copyright (C) 1992 Drew Eckhardt
7  *      Generic hard disk header file by  
8  *              Drew Eckhardt
9  *
10  *              <drew@colorado.edu>
11  */
12
13 #include <linux/types.h>
14 #include <linux/kdev_t.h>
15 #include <linux/rcupdate.h>
16 #include <linux/slab.h>
17 #include <linux/percpu-refcount.h>
18 #include <linux/uuid.h>
19 #include <linux/blk_types.h>
20 #include <asm/local.h>
21
22 #ifdef CONFIG_BLOCK
23
24 #define dev_to_disk(device)     container_of((device), struct gendisk, part0.__dev)
25 #define dev_to_part(device)     container_of((device), struct hd_struct, __dev)
26 #define disk_to_dev(disk)       (&(disk)->part0.__dev)
27 #define part_to_dev(part)       (&((part)->__dev))
28
29 extern struct device_type part_type;
30 extern struct kobject *block_depr;
31 extern struct class block_class;
32
33 #define DISK_MAX_PARTS                  256
34 #define DISK_NAME_LEN                   32
35
36 #include <linux/major.h>
37 #include <linux/device.h>
38 #include <linux/smp.h>
39 #include <linux/string.h>
40 #include <linux/fs.h>
41 #include <linux/workqueue.h>
42
43 struct disk_stats {
44         u64 nsecs[NR_STAT_GROUPS];
45         unsigned long sectors[NR_STAT_GROUPS];
46         unsigned long ios[NR_STAT_GROUPS];
47         unsigned long merges[NR_STAT_GROUPS];
48         unsigned long io_ticks;
49         unsigned long time_in_queue;
50         local_t in_flight[2];
51 };
52
53 #define PARTITION_META_INFO_VOLNAMELTH  64
54 /*
55  * Enough for the string representation of any kind of UUID plus NULL.
56  * EFI UUID is 36 characters. MSDOS UUID is 11 characters.
57  */
58 #define PARTITION_META_INFO_UUIDLTH     (UUID_STRING_LEN + 1)
59
60 struct partition_meta_info {
61         char uuid[PARTITION_META_INFO_UUIDLTH];
62         u8 volname[PARTITION_META_INFO_VOLNAMELTH];
63 };
64
65 struct hd_struct {
66         sector_t start_sect;
67         /*
68          * nr_sects is protected by sequence counter. One might extend a
69          * partition while IO is happening to it and update of nr_sects
70          * can be non-atomic on 32bit machines with 64bit sector_t.
71          */
72         sector_t nr_sects;
73         seqcount_t nr_sects_seq;
74         sector_t alignment_offset;
75         unsigned int discard_alignment;
76         struct device __dev;
77         struct kobject *holder_dir;
78         int policy, partno;
79         struct partition_meta_info *info;
80 #ifdef CONFIG_FAIL_MAKE_REQUEST
81         int make_it_fail;
82 #endif
83         unsigned long stamp;
84 #ifdef  CONFIG_SMP
85         struct disk_stats __percpu *dkstats;
86 #else
87         struct disk_stats dkstats;
88 #endif
89         struct percpu_ref ref;
90         struct rcu_work rcu_work;
91 };
92
93 /**
94  * DOC: genhd capability flags
95  *
96  * ``GENHD_FL_REMOVABLE`` (0x0001): indicates that the block device
97  * gives access to removable media.
98  * When set, the device remains present even when media is not
99  * inserted.
100  * Must not be set for devices which are removed entirely when the
101  * media is removed.
102  *
103  * ``GENHD_FL_CD`` (0x0008): the block device is a CD-ROM-style
104  * device.
105  * Affects responses to the ``CDROM_GET_CAPABILITY`` ioctl.
106  *
107  * ``GENHD_FL_UP`` (0x0010): indicates that the block device is "up",
108  * with a similar meaning to network interfaces.
109  *
110  * ``GENHD_FL_SUPPRESS_PARTITION_INFO`` (0x0020): don't include
111  * partition information in ``/proc/partitions`` or in the output of
112  * printk_all_partitions().
113  * Used for the null block device and some MMC devices.
114  *
115  * ``GENHD_FL_EXT_DEVT`` (0x0040): the driver supports extended
116  * dynamic ``dev_t``, i.e. it wants extended device numbers
117  * (``BLOCK_EXT_MAJOR``).
118  * This affects the maximum number of partitions.
119  *
120  * ``GENHD_FL_NATIVE_CAPACITY`` (0x0080): based on information in the
121  * partition table, the device's capacity has been extended to its
122  * native capacity; i.e. the device has hidden capacity used by one
123  * of the partitions (this is a flag used so that native capacity is
124  * only ever unlocked once).
125  *
126  * ``GENHD_FL_BLOCK_EVENTS_ON_EXCL_WRITE`` (0x0100): event polling is
127  * blocked whenever a writer holds an exclusive lock.
128  *
129  * ``GENHD_FL_NO_PART_SCAN`` (0x0200): partition scanning is disabled.
130  * Used for loop devices in their default settings and some MMC
131  * devices.
132  *
133  * ``GENHD_FL_HIDDEN`` (0x0400): the block device is hidden; it
134  * doesn't produce events, doesn't appear in sysfs, and doesn't have
135  * an associated ``bdev``.
136  * Implies ``GENHD_FL_SUPPRESS_PARTITION_INFO`` and
137  * ``GENHD_FL_NO_PART_SCAN``.
138  * Used for multipath devices.
139  */
140 #define GENHD_FL_REMOVABLE                      0x0001
141 /* 2 is unused (used to be GENHD_FL_DRIVERFS) */
142 /* 4 is unused (used to be GENHD_FL_MEDIA_CHANGE_NOTIFY) */
143 #define GENHD_FL_CD                             0x0008
144 #define GENHD_FL_UP                             0x0010
145 #define GENHD_FL_SUPPRESS_PARTITION_INFO        0x0020
146 #define GENHD_FL_EXT_DEVT                       0x0040
147 #define GENHD_FL_NATIVE_CAPACITY                0x0080
148 #define GENHD_FL_BLOCK_EVENTS_ON_EXCL_WRITE     0x0100
149 #define GENHD_FL_NO_PART_SCAN                   0x0200
150 #define GENHD_FL_HIDDEN                         0x0400
151
152 enum {
153         DISK_EVENT_MEDIA_CHANGE                 = 1 << 0, /* media changed */
154         DISK_EVENT_EJECT_REQUEST                = 1 << 1, /* eject requested */
155 };
156
157 enum {
158         /* Poll even if events_poll_msecs is unset */
159         DISK_EVENT_FLAG_POLL                    = 1 << 0,
160         /* Forward events to udev */
161         DISK_EVENT_FLAG_UEVENT                  = 1 << 1,
162 };
163
164 struct disk_part_tbl {
165         struct rcu_head rcu_head;
166         int len;
167         struct hd_struct __rcu *last_lookup;
168         struct hd_struct __rcu *part[];
169 };
170
171 struct disk_events;
172 struct badblocks;
173
174 #if defined(CONFIG_BLK_DEV_INTEGRITY)
175
176 struct blk_integrity {
177         const struct blk_integrity_profile      *profile;
178         unsigned char                           flags;
179         unsigned char                           tuple_size;
180         unsigned char                           interval_exp;
181         unsigned char                           tag_size;
182 };
183
184 #endif  /* CONFIG_BLK_DEV_INTEGRITY */
185
186 struct gendisk {
187         /* major, first_minor and minors are input parameters only,
188          * don't use directly.  Use disk_devt() and disk_max_parts().
189          */
190         int major;                      /* major number of driver */
191         int first_minor;
192         int minors;                     /* maximum number of minors, =1 for
193                                          * disks that can't be partitioned. */
194
195         char disk_name[DISK_NAME_LEN];  /* name of major driver */
196         char *(*devnode)(struct gendisk *gd, umode_t *mode);
197
198         unsigned short events;          /* supported events */
199         unsigned short event_flags;     /* flags related to event processing */
200
201         /* Array of pointers to partitions indexed by partno.
202          * Protected with matching bdev lock but stat and other
203          * non-critical accesses use RCU.  Always access through
204          * helpers.
205          */
206         struct disk_part_tbl __rcu *part_tbl;
207         struct hd_struct part0;
208
209         const struct block_device_operations *fops;
210         struct request_queue *queue;
211         void *private_data;
212
213         int flags;
214         struct rw_semaphore lookup_sem;
215         struct kobject *slave_dir;
216
217         struct timer_rand_state *random;
218         atomic_t sync_io;               /* RAID */
219         struct disk_events *ev;
220 #ifdef  CONFIG_BLK_DEV_INTEGRITY
221         struct kobject integrity_kobj;
222 #endif  /* CONFIG_BLK_DEV_INTEGRITY */
223         int node_id;
224         struct badblocks *bb;
225         struct lockdep_map lockdep_map;
226 };
227
228 static inline struct gendisk *part_to_disk(struct hd_struct *part)
229 {
230         if (likely(part)) {
231                 if (part->partno)
232                         return dev_to_disk(part_to_dev(part)->parent);
233                 else
234                         return dev_to_disk(part_to_dev(part));
235         }
236         return NULL;
237 }
238
239 static inline int disk_max_parts(struct gendisk *disk)
240 {
241         if (disk->flags & GENHD_FL_EXT_DEVT)
242                 return DISK_MAX_PARTS;
243         return disk->minors;
244 }
245
246 static inline bool disk_part_scan_enabled(struct gendisk *disk)
247 {
248         return disk_max_parts(disk) > 1 &&
249                 !(disk->flags & GENHD_FL_NO_PART_SCAN);
250 }
251
252 static inline bool disk_has_partitions(struct gendisk *disk)
253 {
254         bool ret = false;
255
256         rcu_read_lock();
257         if (rcu_dereference(disk->part_tbl)->len > 1)
258                 ret = true;
259         rcu_read_unlock();
260
261         return ret;
262 }
263
264 static inline dev_t disk_devt(struct gendisk *disk)
265 {
266         return MKDEV(disk->major, disk->first_minor);
267 }
268
269 static inline dev_t part_devt(struct hd_struct *part)
270 {
271         return part_to_dev(part)->devt;
272 }
273
274 extern struct hd_struct *__disk_get_part(struct gendisk *disk, int partno);
275 extern struct hd_struct *disk_get_part(struct gendisk *disk, int partno);
276
277 static inline void disk_put_part(struct hd_struct *part)
278 {
279         if (likely(part))
280                 put_device(part_to_dev(part));
281 }
282
283 /*
284  * Smarter partition iterator without context limits.
285  */
286 #define DISK_PITER_REVERSE      (1 << 0) /* iterate in the reverse direction */
287 #define DISK_PITER_INCL_EMPTY   (1 << 1) /* include 0-sized parts */
288 #define DISK_PITER_INCL_PART0   (1 << 2) /* include partition 0 */
289 #define DISK_PITER_INCL_EMPTY_PART0 (1 << 3) /* include empty partition 0 */
290
291 struct disk_part_iter {
292         struct gendisk          *disk;
293         struct hd_struct        *part;
294         int                     idx;
295         unsigned int            flags;
296 };
297
298 extern void disk_part_iter_init(struct disk_part_iter *piter,
299                                  struct gendisk *disk, unsigned int flags);
300 extern struct hd_struct *disk_part_iter_next(struct disk_part_iter *piter);
301 extern void disk_part_iter_exit(struct disk_part_iter *piter);
302
303 extern struct hd_struct *disk_map_sector_rcu(struct gendisk *disk,
304                                              sector_t sector);
305
306 /*
307  * Macros to operate on percpu disk statistics:
308  *
309  * {disk|part|all}_stat_{add|sub|inc|dec}() modify the stat counters
310  * and should be called between disk_stat_lock() and
311  * disk_stat_unlock().
312  *
313  * part_stat_read() can be called at any time.
314  *
315  * part_stat_{add|set_all}() and {init|free}_part_stats are for
316  * internal use only.
317  */
318 #ifdef  CONFIG_SMP
319 #define part_stat_lock()        ({ rcu_read_lock(); get_cpu(); })
320 #define part_stat_unlock()      do { put_cpu(); rcu_read_unlock(); } while (0)
321
322 #define part_stat_get_cpu(part, field, cpu)                                     \
323         (per_cpu_ptr((part)->dkstats, (cpu))->field)
324
325 #define part_stat_get(part, field)                                      \
326         part_stat_get_cpu(part, field, smp_processor_id())
327
328 #define part_stat_read(part, field)                                     \
329 ({                                                                      \
330         typeof((part)->dkstats->field) res = 0;                         \
331         unsigned int _cpu;                                              \
332         for_each_possible_cpu(_cpu)                                     \
333                 res += per_cpu_ptr((part)->dkstats, _cpu)->field;       \
334         res;                                                            \
335 })
336
337 static inline void part_stat_set_all(struct hd_struct *part, int value)
338 {
339         int i;
340
341         for_each_possible_cpu(i)
342                 memset(per_cpu_ptr(part->dkstats, i), value,
343                                 sizeof(struct disk_stats));
344 }
345
346 static inline int init_part_stats(struct hd_struct *part)
347 {
348         part->dkstats = alloc_percpu(struct disk_stats);
349         if (!part->dkstats)
350                 return 0;
351         return 1;
352 }
353
354 static inline void free_part_stats(struct hd_struct *part)
355 {
356         free_percpu(part->dkstats);
357 }
358
359 #else /* !CONFIG_SMP */
360 #define part_stat_lock()        ({ rcu_read_lock(); 0; })
361 #define part_stat_unlock()      rcu_read_unlock()
362
363 #define part_stat_get(part, field)              ((part)->dkstats.field)
364 #define part_stat_get_cpu(part, field, cpu)     part_stat_get(part, field)
365 #define part_stat_read(part, field)             part_stat_get(part, field)
366
367 static inline void part_stat_set_all(struct hd_struct *part, int value)
368 {
369         memset(&part->dkstats, value, sizeof(struct disk_stats));
370 }
371
372 static inline int init_part_stats(struct hd_struct *part)
373 {
374         return 1;
375 }
376
377 static inline void free_part_stats(struct hd_struct *part)
378 {
379 }
380
381 #endif /* CONFIG_SMP */
382
383 #define part_stat_read_accum(part, field)                               \
384         (part_stat_read(part, field[STAT_READ]) +                       \
385          part_stat_read(part, field[STAT_WRITE]) +                      \
386          part_stat_read(part, field[STAT_DISCARD]))
387
388 #define __part_stat_add(part, field, addnd)                             \
389         (part_stat_get(part, field) += (addnd))
390
391 #define part_stat_add(part, field, addnd)       do {                    \
392         __part_stat_add((part), field, addnd);                          \
393         if ((part)->partno)                                             \
394                 __part_stat_add(&part_to_disk((part))->part0,           \
395                                 field, addnd);                          \
396 } while (0)
397
398 #define part_stat_dec(gendiskp, field)                                  \
399         part_stat_add(gendiskp, field, -1)
400 #define part_stat_inc(gendiskp, field)                                  \
401         part_stat_add(gendiskp, field, 1)
402 #define part_stat_sub(gendiskp, field, subnd)                           \
403         part_stat_add(gendiskp, field, -subnd)
404
405 #define part_stat_local_dec(gendiskp, field)                            \
406         local_dec(&(part_stat_get(gendiskp, field)))
407 #define part_stat_local_inc(gendiskp, field)                            \
408         local_inc(&(part_stat_get(gendiskp, field)))
409 #define part_stat_local_read(gendiskp, field)                           \
410         local_read(&(part_stat_get(gendiskp, field)))
411 #define part_stat_local_read_cpu(gendiskp, field, cpu)                  \
412         local_read(&(part_stat_get_cpu(gendiskp, field, cpu)))
413
414 unsigned int part_in_flight(struct request_queue *q, struct hd_struct *part);
415 void part_in_flight_rw(struct request_queue *q, struct hd_struct *part,
416                        unsigned int inflight[2]);
417 void part_dec_in_flight(struct request_queue *q, struct hd_struct *part,
418                         int rw);
419 void part_inc_in_flight(struct request_queue *q, struct hd_struct *part,
420                         int rw);
421
422 void update_io_ticks(struct hd_struct *part, unsigned long now, bool end);
423
424 /* block/genhd.c */
425 extern void device_add_disk(struct device *parent, struct gendisk *disk,
426                             const struct attribute_group **groups);
427 static inline void add_disk(struct gendisk *disk)
428 {
429         device_add_disk(NULL, disk, NULL);
430 }
431 extern void device_add_disk_no_queue_reg(struct device *parent, struct gendisk *disk);
432 static inline void add_disk_no_queue_reg(struct gendisk *disk)
433 {
434         device_add_disk_no_queue_reg(NULL, disk);
435 }
436
437 extern void del_gendisk(struct gendisk *gp);
438 extern struct gendisk *get_gendisk(dev_t dev, int *partno);
439 extern struct block_device *bdget_disk(struct gendisk *disk, int partno);
440
441 extern void set_device_ro(struct block_device *bdev, int flag);
442 extern void set_disk_ro(struct gendisk *disk, int flag);
443
444 static inline int get_disk_ro(struct gendisk *disk)
445 {
446         return disk->part0.policy;
447 }
448
449 extern void disk_block_events(struct gendisk *disk);
450 extern void disk_unblock_events(struct gendisk *disk);
451 extern void disk_flush_events(struct gendisk *disk, unsigned int mask);
452 extern void set_capacity_revalidate_and_notify(struct gendisk *disk,
453                         sector_t size, bool revalidate);
454 extern unsigned int disk_clear_events(struct gendisk *disk, unsigned int mask);
455
456 /* drivers/char/random.c */
457 extern void add_disk_randomness(struct gendisk *disk) __latent_entropy;
458 extern void rand_initialize_disk(struct gendisk *disk);
459
460 static inline sector_t get_start_sect(struct block_device *bdev)
461 {
462         return bdev->bd_part->start_sect;
463 }
464 static inline sector_t get_capacity(struct gendisk *disk)
465 {
466         return disk->part0.nr_sects;
467 }
468 static inline void set_capacity(struct gendisk *disk, sector_t size)
469 {
470         disk->part0.nr_sects = size;
471 }
472
473 #define ADDPART_FLAG_NONE       0
474 #define ADDPART_FLAG_RAID       1
475 #define ADDPART_FLAG_WHOLEDISK  2
476
477 extern int blk_alloc_devt(struct hd_struct *part, dev_t *devt);
478 extern void blk_free_devt(dev_t devt);
479 extern void blk_invalidate_devt(dev_t devt);
480 extern dev_t blk_lookup_devt(const char *name, int partno);
481 extern char *disk_name (struct gendisk *hd, int partno, char *buf);
482
483 int bdev_disk_changed(struct block_device *bdev, bool invalidate);
484 int blk_add_partitions(struct gendisk *disk, struct block_device *bdev);
485 int blk_drop_partitions(struct gendisk *disk, struct block_device *bdev);
486 extern int disk_expand_part_tbl(struct gendisk *disk, int target);
487 extern struct hd_struct * __must_check add_partition(struct gendisk *disk,
488                                                      int partno, sector_t start,
489                                                      sector_t len, int flags,
490                                                      struct partition_meta_info
491                                                        *info);
492 extern void __delete_partition(struct percpu_ref *);
493 extern void delete_partition(struct gendisk *, int);
494 extern void printk_all_partitions(void);
495
496 extern struct gendisk *__alloc_disk_node(int minors, int node_id);
497 extern struct kobject *get_disk_and_module(struct gendisk *disk);
498 extern void put_disk(struct gendisk *disk);
499 extern void put_disk_and_module(struct gendisk *disk);
500 extern void blk_register_region(dev_t devt, unsigned long range,
501                         struct module *module,
502                         struct kobject *(*probe)(dev_t, int *, void *),
503                         int (*lock)(dev_t, void *),
504                         void *data);
505 extern void blk_unregister_region(dev_t devt, unsigned long range);
506
507 #define alloc_disk_node(minors, node_id)                                \
508 ({                                                                      \
509         static struct lock_class_key __key;                             \
510         const char *__name;                                             \
511         struct gendisk *__disk;                                         \
512                                                                         \
513         __name = "(gendisk_completion)"#minors"("#node_id")";           \
514                                                                         \
515         __disk = __alloc_disk_node(minors, node_id);                    \
516                                                                         \
517         if (__disk)                                                     \
518                 lockdep_init_map(&__disk->lockdep_map, __name, &__key, 0); \
519                                                                         \
520         __disk;                                                         \
521 })
522
523 #define alloc_disk(minors) alloc_disk_node(minors, NUMA_NO_NODE)
524
525 static inline int hd_ref_init(struct hd_struct *part)
526 {
527         if (percpu_ref_init(&part->ref, __delete_partition, 0,
528                                 GFP_KERNEL))
529                 return -ENOMEM;
530         return 0;
531 }
532
533 static inline void hd_struct_get(struct hd_struct *part)
534 {
535         percpu_ref_get(&part->ref);
536 }
537
538 static inline int hd_struct_try_get(struct hd_struct *part)
539 {
540         return percpu_ref_tryget_live(&part->ref);
541 }
542
543 static inline void hd_struct_put(struct hd_struct *part)
544 {
545         percpu_ref_put(&part->ref);
546 }
547
548 static inline void hd_struct_kill(struct hd_struct *part)
549 {
550         percpu_ref_kill(&part->ref);
551 }
552
553 static inline void hd_free_part(struct hd_struct *part)
554 {
555         free_part_stats(part);
556         kfree(part->info);
557         percpu_ref_exit(&part->ref);
558 }
559
560 /*
561  * Any access of part->nr_sects which is not protected by partition
562  * bd_mutex or gendisk bdev bd_mutex, should be done using this
563  * accessor function.
564  *
565  * Code written along the lines of i_size_read() and i_size_write().
566  * CONFIG_PREEMPTION case optimizes the case of UP kernel with preemption
567  * on.
568  */
569 static inline sector_t part_nr_sects_read(struct hd_struct *part)
570 {
571 #if BITS_PER_LONG==32 && defined(CONFIG_SMP)
572         sector_t nr_sects;
573         unsigned seq;
574         do {
575                 seq = read_seqcount_begin(&part->nr_sects_seq);
576                 nr_sects = part->nr_sects;
577         } while (read_seqcount_retry(&part->nr_sects_seq, seq));
578         return nr_sects;
579 #elif BITS_PER_LONG==32 && defined(CONFIG_PREEMPTION)
580         sector_t nr_sects;
581
582         preempt_disable();
583         nr_sects = part->nr_sects;
584         preempt_enable();
585         return nr_sects;
586 #else
587         return part->nr_sects;
588 #endif
589 }
590
591 /*
592  * Should be called with mutex lock held (typically bd_mutex) of partition
593  * to provide mutual exlusion among writers otherwise seqcount might be
594  * left in wrong state leaving the readers spinning infinitely.
595  */
596 static inline void part_nr_sects_write(struct hd_struct *part, sector_t size)
597 {
598 #if BITS_PER_LONG==32 && defined(CONFIG_SMP)
599         write_seqcount_begin(&part->nr_sects_seq);
600         part->nr_sects = size;
601         write_seqcount_end(&part->nr_sects_seq);
602 #elif BITS_PER_LONG==32 && defined(CONFIG_PREEMPTION)
603         preempt_disable();
604         part->nr_sects = size;
605         preempt_enable();
606 #else
607         part->nr_sects = size;
608 #endif
609 }
610
611 #if defined(CONFIG_BLK_DEV_INTEGRITY)
612 extern void blk_integrity_add(struct gendisk *);
613 extern void blk_integrity_del(struct gendisk *);
614 #else   /* CONFIG_BLK_DEV_INTEGRITY */
615 static inline void blk_integrity_add(struct gendisk *disk) { }
616 static inline void blk_integrity_del(struct gendisk *disk) { }
617 #endif  /* CONFIG_BLK_DEV_INTEGRITY */
618
619 #else /* CONFIG_BLOCK */
620
621 static inline void printk_all_partitions(void) { }
622
623 static inline dev_t blk_lookup_devt(const char *name, int partno)
624 {
625         dev_t devt = MKDEV(0, 0);
626         return devt;
627 }
628 #endif /* CONFIG_BLOCK */
629
630 #endif /* _LINUX_GENHD_H */