Merge tag 'for-5.13-rc2-tag' of git://git.kernel.org/pub/scm/linux/kernel/git/kdave...
[linux-2.6-microblaze.git] / drivers / hwmon / fam15h_power.c
1 // SPDX-License-Identifier: GPL-2.0-or-later
2 /*
3  * fam15h_power.c - AMD Family 15h processor power monitoring
4  *
5  * Copyright (c) 2011-2016 Advanced Micro Devices, Inc.
6  * Author: Andreas Herrmann <herrmann.der.user@googlemail.com>
7  */
8
9 #include <linux/err.h>
10 #include <linux/hwmon.h>
11 #include <linux/hwmon-sysfs.h>
12 #include <linux/init.h>
13 #include <linux/module.h>
14 #include <linux/pci.h>
15 #include <linux/bitops.h>
16 #include <linux/cpu.h>
17 #include <linux/cpumask.h>
18 #include <linux/time.h>
19 #include <linux/sched.h>
20 #include <asm/processor.h>
21 #include <asm/msr.h>
22
23 MODULE_DESCRIPTION("AMD Family 15h CPU processor power monitor");
24 MODULE_AUTHOR("Andreas Herrmann <herrmann.der.user@googlemail.com>");
25 MODULE_LICENSE("GPL");
26
27 /* D18F3 */
28 #define REG_NORTHBRIDGE_CAP             0xe8
29
30 /* D18F4 */
31 #define REG_PROCESSOR_TDP               0x1b8
32
33 /* D18F5 */
34 #define REG_TDP_RUNNING_AVERAGE         0xe0
35 #define REG_TDP_LIMIT3                  0xe8
36
37 #define FAM15H_MIN_NUM_ATTRS            2
38 #define FAM15H_NUM_GROUPS               2
39 #define MAX_CUS                         8
40
41 /* set maximum interval as 1 second */
42 #define MAX_INTERVAL                    1000
43
44 #define PCI_DEVICE_ID_AMD_15H_M70H_NB_F4 0x15b4
45
46 struct fam15h_power_data {
47         struct pci_dev *pdev;
48         unsigned int tdp_to_watts;
49         unsigned int base_tdp;
50         unsigned int processor_pwr_watts;
51         unsigned int cpu_pwr_sample_ratio;
52         const struct attribute_group *groups[FAM15H_NUM_GROUPS];
53         struct attribute_group group;
54         /* maximum accumulated power of a compute unit */
55         u64 max_cu_acc_power;
56         /* accumulated power of the compute units */
57         u64 cu_acc_power[MAX_CUS];
58         /* performance timestamp counter */
59         u64 cpu_sw_pwr_ptsc[MAX_CUS];
60         /* online/offline status of current compute unit */
61         int cu_on[MAX_CUS];
62         unsigned long power_period;
63 };
64
65 static bool is_carrizo_or_later(void)
66 {
67         return boot_cpu_data.x86 == 0x15 && boot_cpu_data.x86_model >= 0x60;
68 }
69
70 static ssize_t power1_input_show(struct device *dev,
71                                  struct device_attribute *attr, char *buf)
72 {
73         u32 val, tdp_limit, running_avg_range;
74         s32 running_avg_capture;
75         u64 curr_pwr_watts;
76         struct fam15h_power_data *data = dev_get_drvdata(dev);
77         struct pci_dev *f4 = data->pdev;
78
79         pci_bus_read_config_dword(f4->bus, PCI_DEVFN(PCI_SLOT(f4->devfn), 5),
80                                   REG_TDP_RUNNING_AVERAGE, &val);
81
82         /*
83          * On Carrizo and later platforms, TdpRunAvgAccCap bit field
84          * is extended to 4:31 from 4:25.
85          */
86         if (is_carrizo_or_later()) {
87                 running_avg_capture = val >> 4;
88                 running_avg_capture = sign_extend32(running_avg_capture, 27);
89         } else {
90                 running_avg_capture = (val >> 4) & 0x3fffff;
91                 running_avg_capture = sign_extend32(running_avg_capture, 21);
92         }
93
94         running_avg_range = (val & 0xf) + 1;
95
96         pci_bus_read_config_dword(f4->bus, PCI_DEVFN(PCI_SLOT(f4->devfn), 5),
97                                   REG_TDP_LIMIT3, &val);
98
99         /*
100          * On Carrizo and later platforms, ApmTdpLimit bit field
101          * is extended to 16:31 from 16:28.
102          */
103         if (is_carrizo_or_later())
104                 tdp_limit = val >> 16;
105         else
106                 tdp_limit = (val >> 16) & 0x1fff;
107
108         curr_pwr_watts = ((u64)(tdp_limit +
109                                 data->base_tdp)) << running_avg_range;
110         curr_pwr_watts -= running_avg_capture;
111         curr_pwr_watts *= data->tdp_to_watts;
112
113         /*
114          * Convert to microWatt
115          *
116          * power is in Watt provided as fixed point integer with
117          * scaling factor 1/(2^16).  For conversion we use
118          * (10^6)/(2^16) = 15625/(2^10)
119          */
120         curr_pwr_watts = (curr_pwr_watts * 15625) >> (10 + running_avg_range);
121         return sprintf(buf, "%u\n", (unsigned int) curr_pwr_watts);
122 }
123 static DEVICE_ATTR_RO(power1_input);
124
125 static ssize_t power1_crit_show(struct device *dev,
126                                 struct device_attribute *attr, char *buf)
127 {
128         struct fam15h_power_data *data = dev_get_drvdata(dev);
129
130         return sprintf(buf, "%u\n", data->processor_pwr_watts);
131 }
132 static DEVICE_ATTR_RO(power1_crit);
133
134 static void do_read_registers_on_cu(void *_data)
135 {
136         struct fam15h_power_data *data = _data;
137         int cpu, cu;
138
139         cpu = smp_processor_id();
140
141         /*
142          * With the new x86 topology modelling, cpu core id actually
143          * is compute unit id.
144          */
145         cu = cpu_data(cpu).cpu_core_id;
146
147         rdmsrl_safe(MSR_F15H_CU_PWR_ACCUMULATOR, &data->cu_acc_power[cu]);
148         rdmsrl_safe(MSR_F15H_PTSC, &data->cpu_sw_pwr_ptsc[cu]);
149
150         data->cu_on[cu] = 1;
151 }
152
153 /*
154  * This function is only able to be called when CPUID
155  * Fn8000_0007:EDX[12] is set.
156  */
157 static int read_registers(struct fam15h_power_data *data)
158 {
159         int core, this_core;
160         cpumask_var_t mask;
161         int ret, cpu;
162
163         ret = zalloc_cpumask_var(&mask, GFP_KERNEL);
164         if (!ret)
165                 return -ENOMEM;
166
167         memset(data->cu_on, 0, sizeof(int) * MAX_CUS);
168
169         get_online_cpus();
170
171         /*
172          * Choose the first online core of each compute unit, and then
173          * read their MSR value of power and ptsc in a single IPI,
174          * because the MSR value of CPU core represent the compute
175          * unit's.
176          */
177         core = -1;
178
179         for_each_online_cpu(cpu) {
180                 this_core = topology_core_id(cpu);
181
182                 if (this_core == core)
183                         continue;
184
185                 core = this_core;
186
187                 /* get any CPU on this compute unit */
188                 cpumask_set_cpu(cpumask_any(topology_sibling_cpumask(cpu)), mask);
189         }
190
191         on_each_cpu_mask(mask, do_read_registers_on_cu, data, true);
192
193         put_online_cpus();
194         free_cpumask_var(mask);
195
196         return 0;
197 }
198
199 static ssize_t power1_average_show(struct device *dev,
200                                    struct device_attribute *attr, char *buf)
201 {
202         struct fam15h_power_data *data = dev_get_drvdata(dev);
203         u64 prev_cu_acc_power[MAX_CUS], prev_ptsc[MAX_CUS],
204             jdelta[MAX_CUS];
205         u64 tdelta, avg_acc;
206         int cu, cu_num, ret;
207         signed long leftover;
208
209         /*
210          * With the new x86 topology modelling, x86_max_cores is the
211          * compute unit number.
212          */
213         cu_num = boot_cpu_data.x86_max_cores;
214
215         ret = read_registers(data);
216         if (ret)
217                 return 0;
218
219         for (cu = 0; cu < cu_num; cu++) {
220                 prev_cu_acc_power[cu] = data->cu_acc_power[cu];
221                 prev_ptsc[cu] = data->cpu_sw_pwr_ptsc[cu];
222         }
223
224         leftover = schedule_timeout_interruptible(msecs_to_jiffies(data->power_period));
225         if (leftover)
226                 return 0;
227
228         ret = read_registers(data);
229         if (ret)
230                 return 0;
231
232         for (cu = 0, avg_acc = 0; cu < cu_num; cu++) {
233                 /* check if current compute unit is online */
234                 if (data->cu_on[cu] == 0)
235                         continue;
236
237                 if (data->cu_acc_power[cu] < prev_cu_acc_power[cu]) {
238                         jdelta[cu] = data->max_cu_acc_power + data->cu_acc_power[cu];
239                         jdelta[cu] -= prev_cu_acc_power[cu];
240                 } else {
241                         jdelta[cu] = data->cu_acc_power[cu] - prev_cu_acc_power[cu];
242                 }
243                 tdelta = data->cpu_sw_pwr_ptsc[cu] - prev_ptsc[cu];
244                 jdelta[cu] *= data->cpu_pwr_sample_ratio * 1000;
245                 do_div(jdelta[cu], tdelta);
246
247                 /* the unit is microWatt */
248                 avg_acc += jdelta[cu];
249         }
250
251         return sprintf(buf, "%llu\n", (unsigned long long)avg_acc);
252 }
253 static DEVICE_ATTR_RO(power1_average);
254
255 static ssize_t power1_average_interval_show(struct device *dev,
256                                             struct device_attribute *attr,
257                                             char *buf)
258 {
259         struct fam15h_power_data *data = dev_get_drvdata(dev);
260
261         return sprintf(buf, "%lu\n", data->power_period);
262 }
263
264 static ssize_t power1_average_interval_store(struct device *dev,
265                                              struct device_attribute *attr,
266                                              const char *buf, size_t count)
267 {
268         struct fam15h_power_data *data = dev_get_drvdata(dev);
269         unsigned long temp;
270         int ret;
271
272         ret = kstrtoul(buf, 10, &temp);
273         if (ret)
274                 return ret;
275
276         if (temp > MAX_INTERVAL)
277                 return -EINVAL;
278
279         /* the interval value should be greater than 0 */
280         if (temp <= 0)
281                 return -EINVAL;
282
283         data->power_period = temp;
284
285         return count;
286 }
287 static DEVICE_ATTR_RW(power1_average_interval);
288
289 static int fam15h_power_init_attrs(struct pci_dev *pdev,
290                                    struct fam15h_power_data *data)
291 {
292         int n = FAM15H_MIN_NUM_ATTRS;
293         struct attribute **fam15h_power_attrs;
294         struct cpuinfo_x86 *c = &boot_cpu_data;
295
296         if (c->x86 == 0x15 &&
297             (c->x86_model <= 0xf ||
298              (c->x86_model >= 0x60 && c->x86_model <= 0x7f)))
299                 n += 1;
300
301         /* check if processor supports accumulated power */
302         if (boot_cpu_has(X86_FEATURE_ACC_POWER))
303                 n += 2;
304
305         fam15h_power_attrs = devm_kcalloc(&pdev->dev, n,
306                                           sizeof(*fam15h_power_attrs),
307                                           GFP_KERNEL);
308
309         if (!fam15h_power_attrs)
310                 return -ENOMEM;
311
312         n = 0;
313         fam15h_power_attrs[n++] = &dev_attr_power1_crit.attr;
314         if (c->x86 == 0x15 &&
315             (c->x86_model <= 0xf ||
316              (c->x86_model >= 0x60 && c->x86_model <= 0x7f)))
317                 fam15h_power_attrs[n++] = &dev_attr_power1_input.attr;
318
319         if (boot_cpu_has(X86_FEATURE_ACC_POWER)) {
320                 fam15h_power_attrs[n++] = &dev_attr_power1_average.attr;
321                 fam15h_power_attrs[n++] = &dev_attr_power1_average_interval.attr;
322         }
323
324         data->group.attrs = fam15h_power_attrs;
325
326         return 0;
327 }
328
329 static bool should_load_on_this_node(struct pci_dev *f4)
330 {
331         u32 val;
332
333         pci_bus_read_config_dword(f4->bus, PCI_DEVFN(PCI_SLOT(f4->devfn), 3),
334                                   REG_NORTHBRIDGE_CAP, &val);
335         if ((val & BIT(29)) && ((val >> 30) & 3))
336                 return false;
337
338         return true;
339 }
340
341 /*
342  * Newer BKDG versions have an updated recommendation on how to properly
343  * initialize the running average range (was: 0xE, now: 0x9). This avoids
344  * counter saturations resulting in bogus power readings.
345  * We correct this value ourselves to cope with older BIOSes.
346  */
347 static const struct pci_device_id affected_device[] = {
348         { PCI_VDEVICE(AMD, PCI_DEVICE_ID_AMD_15H_NB_F4) },
349         { 0 }
350 };
351
352 static void tweak_runavg_range(struct pci_dev *pdev)
353 {
354         u32 val;
355
356         /*
357          * let this quirk apply only to the current version of the
358          * northbridge, since future versions may change the behavior
359          */
360         if (!pci_match_id(affected_device, pdev))
361                 return;
362
363         pci_bus_read_config_dword(pdev->bus,
364                 PCI_DEVFN(PCI_SLOT(pdev->devfn), 5),
365                 REG_TDP_RUNNING_AVERAGE, &val);
366         if ((val & 0xf) != 0xe)
367                 return;
368
369         val &= ~0xf;
370         val |=  0x9;
371         pci_bus_write_config_dword(pdev->bus,
372                 PCI_DEVFN(PCI_SLOT(pdev->devfn), 5),
373                 REG_TDP_RUNNING_AVERAGE, val);
374 }
375
376 #ifdef CONFIG_PM
377 static int fam15h_power_resume(struct pci_dev *pdev)
378 {
379         tweak_runavg_range(pdev);
380         return 0;
381 }
382 #else
383 #define fam15h_power_resume NULL
384 #endif
385
386 static int fam15h_power_init_data(struct pci_dev *f4,
387                                   struct fam15h_power_data *data)
388 {
389         u32 val;
390         u64 tmp;
391         int ret;
392
393         pci_read_config_dword(f4, REG_PROCESSOR_TDP, &val);
394         data->base_tdp = val >> 16;
395         tmp = val & 0xffff;
396
397         pci_bus_read_config_dword(f4->bus, PCI_DEVFN(PCI_SLOT(f4->devfn), 5),
398                                   REG_TDP_LIMIT3, &val);
399
400         data->tdp_to_watts = ((val & 0x3ff) << 6) | ((val >> 10) & 0x3f);
401         tmp *= data->tdp_to_watts;
402
403         /* result not allowed to be >= 256W */
404         if ((tmp >> 16) >= 256)
405                 dev_warn(&f4->dev,
406                          "Bogus value for ProcessorPwrWatts (processor_pwr_watts>=%u)\n",
407                          (unsigned int) (tmp >> 16));
408
409         /* convert to microWatt */
410         data->processor_pwr_watts = (tmp * 15625) >> 10;
411
412         ret = fam15h_power_init_attrs(f4, data);
413         if (ret)
414                 return ret;
415
416
417         /* CPUID Fn8000_0007:EDX[12] indicates to support accumulated power */
418         if (!boot_cpu_has(X86_FEATURE_ACC_POWER))
419                 return 0;
420
421         /*
422          * determine the ratio of the compute unit power accumulator
423          * sample period to the PTSC counter period by executing CPUID
424          * Fn8000_0007:ECX
425          */
426         data->cpu_pwr_sample_ratio = cpuid_ecx(0x80000007);
427
428         if (rdmsrl_safe(MSR_F15H_CU_MAX_PWR_ACCUMULATOR, &tmp)) {
429                 pr_err("Failed to read max compute unit power accumulator MSR\n");
430                 return -ENODEV;
431         }
432
433         data->max_cu_acc_power = tmp;
434
435         /*
436          * Milliseconds are a reasonable interval for the measurement.
437          * But it shouldn't set too long here, because several seconds
438          * would cause the read function to hang. So set default
439          * interval as 10 ms.
440          */
441         data->power_period = 10;
442
443         return read_registers(data);
444 }
445
446 static int fam15h_power_probe(struct pci_dev *pdev,
447                               const struct pci_device_id *id)
448 {
449         struct fam15h_power_data *data;
450         struct device *dev = &pdev->dev;
451         struct device *hwmon_dev;
452         int ret;
453
454         /*
455          * though we ignore every other northbridge, we still have to
456          * do the tweaking on _each_ node in MCM processors as the counters
457          * are working hand-in-hand
458          */
459         tweak_runavg_range(pdev);
460
461         if (!should_load_on_this_node(pdev))
462                 return -ENODEV;
463
464         data = devm_kzalloc(dev, sizeof(struct fam15h_power_data), GFP_KERNEL);
465         if (!data)
466                 return -ENOMEM;
467
468         ret = fam15h_power_init_data(pdev, data);
469         if (ret)
470                 return ret;
471
472         data->pdev = pdev;
473
474         data->groups[0] = &data->group;
475
476         hwmon_dev = devm_hwmon_device_register_with_groups(dev, "fam15h_power",
477                                                            data,
478                                                            &data->groups[0]);
479         return PTR_ERR_OR_ZERO(hwmon_dev);
480 }
481
482 static const struct pci_device_id fam15h_power_id_table[] = {
483         { PCI_VDEVICE(AMD, PCI_DEVICE_ID_AMD_15H_NB_F4) },
484         { PCI_VDEVICE(AMD, PCI_DEVICE_ID_AMD_15H_M30H_NB_F4) },
485         { PCI_VDEVICE(AMD, PCI_DEVICE_ID_AMD_15H_M60H_NB_F4) },
486         { PCI_VDEVICE(AMD, PCI_DEVICE_ID_AMD_15H_M70H_NB_F4) },
487         { PCI_VDEVICE(AMD, PCI_DEVICE_ID_AMD_16H_NB_F4) },
488         { PCI_VDEVICE(AMD, PCI_DEVICE_ID_AMD_16H_M30H_NB_F4) },
489         {}
490 };
491 MODULE_DEVICE_TABLE(pci, fam15h_power_id_table);
492
493 static struct pci_driver fam15h_power_driver = {
494         .name = "fam15h_power",
495         .id_table = fam15h_power_id_table,
496         .probe = fam15h_power_probe,
497         .resume = fam15h_power_resume,
498 };
499
500 module_pci_driver(fam15h_power_driver);