drivers/dma/s3c24xx-dma.c

   1 /*
   2  * S3C24XX DMA handling
   3  *
   4  * Copyright (c) 2013 Heiko Stuebner <heiko@sntech.de>
   5  *
   6  * based on amba-pl08x.c
   7  *
   8  * Copyright (c) 2006 ARM Ltd.
   9  * Copyright (c) 2010 ST-Ericsson SA
  10  *
  11  * Author: Peter Pearse <peter.pearse@arm.com>
  12  * Author: Linus Walleij <linus.walleij@stericsson.com>
  13  *
  14  * This program is free software; you can redistribute it and/or modify it
  15  * under the terms of the GNU General Public License as published by the Free
  16  * Software Foundation; either version 2 of the License, or (at your option)
  17  * any later version.
  18  *
  19  * The DMA controllers in S3C24XX SoCs have a varying number of DMA signals
  20  * that can be routed to any of the 4 to 8 hardware-channels.
  21  *
  22  * Therefore on these DMA controllers the number of channels
  23  * and the number of incoming DMA signals are two totally different things.
  24  * It is usually not possible to theoretically handle all physical signals,
  25  * so a multiplexing scheme with possible denial of use is necessary.
  26  *
  27  * Open items:
  28  * - bursts
  29  */
  30
  31 #include <linux/platform_device.h>
  32 #include <linux/types.h>
  33 #include <linux/dmaengine.h>
  34 #include <linux/dma-mapping.h>
  35 #include <linux/interrupt.h>
  36 #include <linux/clk.h>
  37 #include <linux/module.h>
  38 #include <linux/slab.h>
  39 #include <linux/platform_data/dma-s3c24xx.h>
  40
  41 #include "dmaengine.h"
  42 #include "virt-dma.h"
  43
  44 #define MAX_DMA_CHANNELS        8
  45
  46 #define S3C24XX_DISRC                   0x00
  47 #define S3C24XX_DISRCC                  0x04
  48 #define S3C24XX_DISRCC_INC_INCREMENT    0
  49 #define S3C24XX_DISRCC_INC_FIXED        BIT(0)
  50 #define S3C24XX_DISRCC_LOC_AHB          0
  51 #define S3C24XX_DISRCC_LOC_APB          BIT(1)
  52
  53 #define S3C24XX_DIDST                   0x08
  54 #define S3C24XX_DIDSTC                  0x0c
  55 #define S3C24XX_DIDSTC_INC_INCREMENT    0
  56 #define S3C24XX_DIDSTC_INC_FIXED        BIT(0)
  57 #define S3C24XX_DIDSTC_LOC_AHB          0
  58 #define S3C24XX_DIDSTC_LOC_APB          BIT(1)
  59 #define S3C24XX_DIDSTC_INT_TC0          0
  60 #define S3C24XX_DIDSTC_INT_RELOAD       BIT(2)
  61
  62 #define S3C24XX_DCON                    0x10
  63
  64 #define S3C24XX_DCON_TC_MASK            0xfffff
  65 #define S3C24XX_DCON_DSZ_BYTE           (0 << 20)
  66 #define S3C24XX_DCON_DSZ_HALFWORD       (1 << 20)
  67 #define S3C24XX_DCON_DSZ_WORD           (2 << 20)
  68 #define S3C24XX_DCON_DSZ_MASK           (3 << 20)
  69 #define S3C24XX_DCON_DSZ_SHIFT          20
  70 #define S3C24XX_DCON_AUTORELOAD         0
  71 #define S3C24XX_DCON_NORELOAD           BIT(22)
  72 #define S3C24XX_DCON_HWTRIG             BIT(23)
  73 #define S3C24XX_DCON_HWSRC_SHIFT        24
  74 #define S3C24XX_DCON_SERV_SINGLE        0
  75 #define S3C24XX_DCON_SERV_WHOLE         BIT(27)
  76 #define S3C24XX_DCON_TSZ_UNIT           0
  77 #define S3C24XX_DCON_TSZ_BURST4         BIT(28)
  78 #define S3C24XX_DCON_INT                BIT(29)
  79 #define S3C24XX_DCON_SYNC_PCLK          0
  80 #define S3C24XX_DCON_SYNC_HCLK          BIT(30)
  81 #define S3C24XX_DCON_DEMAND             0
  82 #define S3C24XX_DCON_HANDSHAKE          BIT(31)
  83
  84 #define S3C24XX_DSTAT                   0x14
  85 #define S3C24XX_DSTAT_STAT_BUSY         BIT(20)
  86 #define S3C24XX_DSTAT_CURRTC_MASK       0xfffff
  87
  88 #define S3C24XX_DMASKTRIG               0x20
  89 #define S3C24XX_DMASKTRIG_SWTRIG        BIT(0)
  90 #define S3C24XX_DMASKTRIG_ON            BIT(1)
  91 #define S3C24XX_DMASKTRIG_STOP          BIT(2)
  92
  93 #define S3C24XX_DMAREQSEL               0x24
  94 #define S3C24XX_DMAREQSEL_HW            BIT(0)
  95
  96 /*
  97  * S3C2410, S3C2440 and S3C2442 SoCs cannot select any physical channel
  98  * for a DMA source. Instead only specific channels are valid.
  99  * All of these SoCs have 4 physical channels and the number of request
 100  * source bits is 3. Additionally we also need 1 bit to mark the channel
 101  * as valid.
 102  * Therefore we separate the chansel element of the channel data into 4
 103  * parts of 4 bits each, to hold the information if the channel is valid
 104  * and the hw request source to use.
 105  *
 106  * Example:
 107  * SDI is valid on channels 0, 2 and 3 - with varying hw request sources.
 108  * For it the chansel field would look like
 109  *
 110  * ((BIT(3) | 1) << 3 * 4) | // channel 3, with request source 1
 111  * ((BIT(3) | 2) << 2 * 4) | // channel 2, with request source 2
 112  * ((BIT(3) | 2) << 0 * 4)   // channel 0, with request source 2
 113  */
 114 #define S3C24XX_CHANSEL_WIDTH           4
 115 #define S3C24XX_CHANSEL_VALID           BIT(3)
 116 #define S3C24XX_CHANSEL_REQ_MASK        7
 117
 118 /*
 119  * struct soc_data - vendor-specific config parameters for individual SoCs
 120  * @stride: spacing between the registers of each channel
 121  * @has_reqsel: does the controller use the newer requestselection mechanism
 122  * @has_clocks: are controllable dma-clocks present
 123  */
 124 struct soc_data {
 125         int stride;
 126         bool has_reqsel;
 127         bool has_clocks;
 128 };
 129
 130 /*
 131  * enum s3c24xx_dma_chan_state - holds the virtual channel states
 132  * @S3C24XX_DMA_CHAN_IDLE: the channel is idle
 133  * @S3C24XX_DMA_CHAN_RUNNING: the channel has allocated a physical transport
 134  * channel and is running a transfer on it
 135  * @S3C24XX_DMA_CHAN_WAITING: the channel is waiting for a physical transport
 136  * channel to become available (only pertains to memcpy channels)
 137  */
 138 enum s3c24xx_dma_chan_state {
 139         S3C24XX_DMA_CHAN_IDLE,
 140         S3C24XX_DMA_CHAN_RUNNING,
 141         S3C24XX_DMA_CHAN_WAITING,
 142 };
 143
 144 /*
 145  * struct s3c24xx_sg - structure containing data per sg
 146  * @src_addr: src address of sg
 147  * @dst_addr: dst address of sg
 148  * @len: transfer len in bytes
 149  * @node: node for txd's dsg_list
 150  */
 151 struct s3c24xx_sg {
 152         dma_addr_t src_addr;
 153         dma_addr_t dst_addr;
 154         size_t len;
 155         struct list_head node;
 156 };
 157
 158 /*
 159  * struct s3c24xx_txd - wrapper for struct dma_async_tx_descriptor
 160  * @vd: virtual DMA descriptor
 161  * @dsg_list: list of children sg's
 162  * @at: sg currently being transfered
 163  * @width: transfer width
 164  * @disrcc: value for source control register
 165  * @didstc: value for destination control register
 166  * @dcon: base value for dcon register
 167  * @cyclic: indicate cyclic transfer
 168  */
 169 struct s3c24xx_txd {
 170         struct virt_dma_desc vd;
 171         struct list_head dsg_list;
 172         struct list_head *at;
 173         u8 width;
 174         u32 disrcc;
 175         u32 didstc;
 176         u32 dcon;
 177         bool cyclic;
 178 };
 179
 180 struct s3c24xx_dma_chan;
 181
 182 /*
 183  * struct s3c24xx_dma_phy - holder for the physical channels
 184  * @id: physical index to this channel
 185  * @valid: does the channel have all required elements
 186  * @base: virtual memory base (remapped) for the this channel
 187  * @irq: interrupt for this channel
 188  * @clk: clock for this channel
 189  * @lock: a lock to use when altering an instance of this struct
 190  * @serving: virtual channel currently being served by this physicalchannel
 191  * @host: a pointer to the host (internal use)
 192  */
 193 struct s3c24xx_dma_phy {
 194         unsigned int                    id;
 195         bool                            valid;
 196         void __iomem                    *base;
 197         int                             irq;
 198         struct clk                      *clk;
 199         spinlock_t                      lock;
 200         struct s3c24xx_dma_chan         *serving;
 201         struct s3c24xx_dma_engine       *host;
 202 };
 203
 204 /*
 205  * struct s3c24xx_dma_chan - this structure wraps a DMA ENGINE channel
 206  * @id: the id of the channel
 207  * @name: name of the channel
 208  * @vc: wrappped virtual channel
 209  * @phy: the physical channel utilized by this channel, if there is one
 210  * @runtime_addr: address for RX/TX according to the runtime config
 211  * @at: active transaction on this channel
 212  * @lock: a lock for this channel data
 213  * @host: a pointer to the host (internal use)
 214  * @state: whether the channel is idle, running etc
 215  * @slave: whether this channel is a device (slave) or for memcpy
 216  */
 217 struct s3c24xx_dma_chan {
 218         int id;
 219         const char *name;
 220         struct virt_dma_chan vc;
 221         struct s3c24xx_dma_phy *phy;
 222         struct dma_slave_config cfg;
 223         struct s3c24xx_txd *at;
 224         struct s3c24xx_dma_engine *host;
 225         enum s3c24xx_dma_chan_state state;
 226         bool slave;
 227 };
 228
 229 /*
 230  * struct s3c24xx_dma_engine - the local state holder for the S3C24XX
 231  * @pdev: the corresponding platform device
 232  * @pdata: platform data passed in from the platform/machine
 233  * @base: virtual memory base (remapped)
 234  * @slave: slave engine for this instance
 235  * @memcpy: memcpy engine for this instance
 236  * @phy_chans: array of data for the physical channels
 237  */
 238 struct s3c24xx_dma_engine {
 239         struct platform_device                  *pdev;
 240         const struct s3c24xx_dma_platdata       *pdata;
 241         struct soc_data                         *sdata;
 242         void __iomem                            *base;
 243         struct dma_device                       slave;
 244         struct dma_device                       memcpy;
 245         struct s3c24xx_dma_phy                  *phy_chans;
 246 };
 247
 248 /*
 249  * Physical channel handling
 250  */
 251
 252 /*
 253  * Check whether a certain channel is busy or not.
 254  */
 255 static int s3c24xx_dma_phy_busy(struct s3c24xx_dma_phy *phy)
 256 {
 257         unsigned int val = readl(phy->base + S3C24XX_DSTAT);
 258         return val & S3C24XX_DSTAT_STAT_BUSY;
 259 }
 260
 261 static bool s3c24xx_dma_phy_valid(struct s3c24xx_dma_chan *s3cchan,
 262                                   struct s3c24xx_dma_phy *phy)
 263 {
 264         struct s3c24xx_dma_engine *s3cdma = s3cchan->host;
 265         const struct s3c24xx_dma_platdata *pdata = s3cdma->pdata;
 266         struct s3c24xx_dma_channel *cdata = &pdata->channels[s3cchan->id];
 267         int phyvalid;
 268
 269         /* every phy is valid for memcopy channels */
 270         if (!s3cchan->slave)
 271                 return true;
 272
 273         /* On newer variants all phys can be used for all virtual channels */
 274         if (s3cdma->sdata->has_reqsel)
 275                 return true;
 276
 277         phyvalid = (cdata->chansel >> (phy->id * S3C24XX_CHANSEL_WIDTH));
 278         return (phyvalid & S3C24XX_CHANSEL_VALID) ? true : false;
 279 }
 280
 281 /*
 282  * Allocate a physical channel for a virtual channel
 283  *
 284  * Try to locate a physical channel to be used for this transfer. If all
 285  * are taken return NULL and the requester will have to cope by using
 286  * some fallback PIO mode or retrying later.
 287  */
 288 static
 289 struct s3c24xx_dma_phy *s3c24xx_dma_get_phy(struct s3c24xx_dma_chan *s3cchan)
 290 {
 291         struct s3c24xx_dma_engine *s3cdma = s3cchan->host;
 292         struct s3c24xx_dma_phy *phy = NULL;
 293         unsigned long flags;
 294         int i;
 295         int ret;
 296
 297         for (i = 0; i < s3cdma->pdata->num_phy_channels; i++) {
 298                 phy = &s3cdma->phy_chans[i];
 299
 300                 if (!phy->valid)
 301                         continue;
 302
 303                 if (!s3c24xx_dma_phy_valid(s3cchan, phy))
 304                         continue;
 305
 306                 spin_lock_irqsave(&phy->lock, flags);
 307
 308                 if (!phy->serving) {
 309                         phy->serving = s3cchan;
 310                         spin_unlock_irqrestore(&phy->lock, flags);
 311                         break;
 312                 }
 313
 314                 spin_unlock_irqrestore(&phy->lock, flags);
 315         }
 316
 317         /* No physical channel available, cope with it */
 318         if (i == s3cdma->pdata->num_phy_channels) {
 319                 dev_warn(&s3cdma->pdev->dev, "no phy channel available\n");
 320                 return NULL;
 321         }
 322
 323         /* start the phy clock */
 324         if (s3cdma->sdata->has_clocks) {
 325                 ret = clk_enable(phy->clk);
 326                 if (ret) {
 327                         dev_err(&s3cdma->pdev->dev, "could not enable clock for channel %d, err %d\n",
 328                                 phy->id, ret);
 329                         phy->serving = NULL;
 330                         return NULL;
 331                 }
 332         }
 333
 334         return phy;
 335 }
 336
 337 /*
 338  * Mark the physical channel as free.
 339  *
 340  * This drops the link between the physical and virtual channel.
 341  */
 342 static inline void s3c24xx_dma_put_phy(struct s3c24xx_dma_phy *phy)
 343 {
 344         struct s3c24xx_dma_engine *s3cdma = phy->host;
 345
 346         if (s3cdma->sdata->has_clocks)
 347                 clk_disable(phy->clk);
 348
 349         phy->serving = NULL;
 350 }
 351
 352 /*
 353  * Stops the channel by writing the stop bit.
 354  * This should not be used for an on-going transfer, but as a method of
 355  * shutting down a channel (eg, when it's no longer used) or terminating a
 356  * transfer.
 357  */
 358 static void s3c24xx_dma_terminate_phy(struct s3c24xx_dma_phy *phy)
 359 {
 360         writel(S3C24XX_DMASKTRIG_STOP, phy->base + S3C24XX_DMASKTRIG);
 361 }
 362
 363 /*
 364  * Virtual channel handling
 365  */
 366
 367 static inline
 368 struct s3c24xx_dma_chan *to_s3c24xx_dma_chan(struct dma_chan *chan)
 369 {
 370         return container_of(chan, struct s3c24xx_dma_chan, vc.chan);
 371 }
 372
 373 static u32 s3c24xx_dma_getbytes_chan(struct s3c24xx_dma_chan *s3cchan)
 374 {
 375         struct s3c24xx_dma_phy *phy = s3cchan->phy;
 376         struct s3c24xx_txd *txd = s3cchan->at;
 377         u32 tc = readl(phy->base + S3C24XX_DSTAT) & S3C24XX_DSTAT_CURRTC_MASK;
 378
 379         return tc * txd->width;
 380 }
 381
 382 static int s3c24xx_dma_set_runtime_config(struct dma_chan *chan,
 383                                   struct dma_slave_config *config)
 384 {
 385         struct s3c24xx_dma_chan *s3cchan = to_s3c24xx_dma_chan(chan);
 386         unsigned long flags;
 387         int ret = 0;
 388
 389         /* Reject definitely invalid configurations */
 390         if (config->src_addr_width == DMA_SLAVE_BUSWIDTH_8_BYTES ||
 391             config->dst_addr_width == DMA_SLAVE_BUSWIDTH_8_BYTES)
 392                 return -EINVAL;
 393
 394         spin_lock_irqsave(&s3cchan->vc.lock, flags);
 395
 396         if (!s3cchan->slave) {
 397                 ret = -EINVAL;
 398                 goto out;
 399         }
 400
 401         s3cchan->cfg = *config;
 402
 403 out:
 404         spin_unlock_irqrestore(&s3cchan->vc.lock, flags);
 405         return ret;
 406 }
 407
 408 /*
 409  * Transfer handling
 410  */
 411
 412 static inline
 413 struct s3c24xx_txd *to_s3c24xx_txd(struct dma_async_tx_descriptor *tx)
 414 {
 415         return container_of(tx, struct s3c24xx_txd, vd.tx);
 416 }
 417
 418 static struct s3c24xx_txd *s3c24xx_dma_get_txd(void)
 419 {
 420         struct s3c24xx_txd *txd = kzalloc(sizeof(*txd), GFP_NOWAIT);
 421
 422         if (txd) {
 423                 INIT_LIST_HEAD(&txd->dsg_list);
 424                 txd->dcon = S3C24XX_DCON_INT | S3C24XX_DCON_NORELOAD;
 425         }
 426
 427         return txd;
 428 }
 429
 430 static void s3c24xx_dma_free_txd(struct s3c24xx_txd *txd)
 431 {
 432         struct s3c24xx_sg *dsg, *_dsg;
 433
 434         list_for_each_entry_safe(dsg, _dsg, &txd->dsg_list, node) {
 435                 list_del(&dsg->node);
 436                 kfree(dsg);
 437         }
 438
 439         kfree(txd);
 440 }
 441
 442 static void s3c24xx_dma_start_next_sg(struct s3c24xx_dma_chan *s3cchan,
 443                                        struct s3c24xx_txd *txd)
 444 {
 445         struct s3c24xx_dma_engine *s3cdma = s3cchan->host;
 446         struct s3c24xx_dma_phy *phy = s3cchan->phy;
 447         const struct s3c24xx_dma_platdata *pdata = s3cdma->pdata;
 448         struct s3c24xx_sg *dsg = list_entry(txd->at, struct s3c24xx_sg, node);
 449         u32 dcon = txd->dcon;
 450         u32 val;
 451
 452         /* transfer-size and -count from len and width */
 453         switch (txd->width) {
 454         case 1:
 455                 dcon |= S3C24XX_DCON_DSZ_BYTE | dsg->len;
 456                 break;
 457         case 2:
 458                 dcon |= S3C24XX_DCON_DSZ_HALFWORD | (dsg->len / 2);
 459                 break;
 460         case 4:
 461                 dcon |= S3C24XX_DCON_DSZ_WORD | (dsg->len / 4);
 462                 break;
 463         }
 464
 465         if (s3cchan->slave) {
 466                 struct s3c24xx_dma_channel *cdata =
 467                                         &pdata->channels[s3cchan->id];
 468
 469                 if (s3cdma->sdata->has_reqsel) {
 470                         writel_relaxed((cdata->chansel << 1) |
 471                                                         S3C24XX_DMAREQSEL_HW,
 472                                         phy->base + S3C24XX_DMAREQSEL);
 473                 } else {
 474                         int csel = cdata->chansel >> (phy->id *
 475                                                         S3C24XX_CHANSEL_WIDTH);
 476
 477                         csel &= S3C24XX_CHANSEL_REQ_MASK;
 478                         dcon |= csel << S3C24XX_DCON_HWSRC_SHIFT;
 479                         dcon |= S3C24XX_DCON_HWTRIG;
 480                 }
 481         } else {
 482                 if (s3cdma->sdata->has_reqsel)
 483                         writel_relaxed(0, phy->base + S3C24XX_DMAREQSEL);
 484         }
 485
 486         writel_relaxed(dsg->src_addr, phy->base + S3C24XX_DISRC);
 487         writel_relaxed(txd->disrcc, phy->base + S3C24XX_DISRCC);
 488         writel_relaxed(dsg->dst_addr, phy->base + S3C24XX_DIDST);
 489         writel_relaxed(txd->didstc, phy->base + S3C24XX_DIDSTC);
 490         writel_relaxed(dcon, phy->base + S3C24XX_DCON);
 491
 492         val = readl_relaxed(phy->base + S3C24XX_DMASKTRIG);
 493         val &= ~S3C24XX_DMASKTRIG_STOP;
 494         val |= S3C24XX_DMASKTRIG_ON;
 495
 496         /* trigger the dma operation for memcpy transfers */
 497         if (!s3cchan->slave)
 498                 val |= S3C24XX_DMASKTRIG_SWTRIG;
 499
 500         writel(val, phy->base + S3C24XX_DMASKTRIG);
 501 }
 502
 503 /*
 504  * Set the initial DMA register values and start first sg.
 505  */
 506 static void s3c24xx_dma_start_next_txd(struct s3c24xx_dma_chan *s3cchan)
 507 {
 508         struct s3c24xx_dma_phy *phy = s3cchan->phy;
 509         struct virt_dma_desc *vd = vchan_next_desc(&s3cchan->vc);
 510         struct s3c24xx_txd *txd = to_s3c24xx_txd(&vd->tx);
 511
 512         list_del(&txd->vd.node);
 513
 514         s3cchan->at = txd;
 515
 516         /* Wait for channel inactive */
 517         while (s3c24xx_dma_phy_busy(phy))
 518                 cpu_relax();
 519
 520         /* point to the first element of the sg list */
 521         txd->at = txd->dsg_list.next;
 522         s3c24xx_dma_start_next_sg(s3cchan, txd);
 523 }
 524
 525 static void s3c24xx_dma_free_txd_list(struct s3c24xx_dma_engine *s3cdma,
 526                                 struct s3c24xx_dma_chan *s3cchan)
 527 {
 528         LIST_HEAD(head);
 529
 530         vchan_get_all_descriptors(&s3cchan->vc, &head);
 531         vchan_dma_desc_free_list(&s3cchan->vc, &head);
 532 }
 533
 534 /*
 535  * Try to allocate a physical channel.  When successful, assign it to
 536  * this virtual channel, and initiate the next descriptor.  The
 537  * virtual channel lock must be held at this point.
 538  */
 539 static void s3c24xx_dma_phy_alloc_and_start(struct s3c24xx_dma_chan *s3cchan)
 540 {
 541         struct s3c24xx_dma_engine *s3cdma = s3cchan->host;
 542         struct s3c24xx_dma_phy *phy;
 543
 544         phy = s3c24xx_dma_get_phy(s3cchan);
 545         if (!phy) {
 546                 dev_dbg(&s3cdma->pdev->dev, "no physical channel available for xfer on %s\n",
 547                         s3cchan->name);
 548                 s3cchan->state = S3C24XX_DMA_CHAN_WAITING;
 549                 return;
 550         }
 551
 552         dev_dbg(&s3cdma->pdev->dev, "allocated physical channel %d for xfer on %s\n",
 553                 phy->id, s3cchan->name);
 554
 555         s3cchan->phy = phy;
 556         s3cchan->state = S3C24XX_DMA_CHAN_RUNNING;
 557
 558         s3c24xx_dma_start_next_txd(s3cchan);
 559 }
 560
 561 static void s3c24xx_dma_phy_reassign_start(struct s3c24xx_dma_phy *phy,
 562         struct s3c24xx_dma_chan *s3cchan)
 563 {
 564         struct s3c24xx_dma_engine *s3cdma = s3cchan->host;
 565
 566         dev_dbg(&s3cdma->pdev->dev, "reassigned physical channel %d for xfer on %s\n",
 567                 phy->id, s3cchan->name);
 568
 569         /*
 570          * We do this without taking the lock; we're really only concerned
 571          * about whether this pointer is NULL or not, and we're guaranteed
 572          * that this will only be called when it _already_ is non-NULL.
 573          */
 574         phy->serving = s3cchan;
 575         s3cchan->phy = phy;
 576         s3cchan->state = S3C24XX_DMA_CHAN_RUNNING;
 577         s3c24xx_dma_start_next_txd(s3cchan);
 578 }
 579
 580 /*
 581  * Free a physical DMA channel, potentially reallocating it to another
 582  * virtual channel if we have any pending.
 583  */
 584 static void s3c24xx_dma_phy_free(struct s3c24xx_dma_chan *s3cchan)
 585 {
 586         struct s3c24xx_dma_engine *s3cdma = s3cchan->host;
 587         struct s3c24xx_dma_chan *p, *next;
 588
 589 retry:
 590         next = NULL;
 591
 592         /* Find a waiting virtual channel for the next transfer. */
 593         list_for_each_entry(p, &s3cdma->memcpy.channels, vc.chan.device_node)
 594                 if (p->state == S3C24XX_DMA_CHAN_WAITING) {
 595                         next = p;
 596                         break;
 597                 }
 598
 599         if (!next) {
 600                 list_for_each_entry(p, &s3cdma->slave.channels,
 601                                     vc.chan.device_node)
 602                         if (p->state == S3C24XX_DMA_CHAN_WAITING &&
 603                                       s3c24xx_dma_phy_valid(p, s3cchan->phy)) {
 604                                 next = p;
 605                                 break;
 606                         }
 607         }
 608
 609         /* Ensure that the physical channel is stopped */
 610         s3c24xx_dma_terminate_phy(s3cchan->phy);
 611
 612         if (next) {
 613                 bool success;
 614
 615                 /*
 616                  * Eww.  We know this isn't going to deadlock
 617                  * but lockdep probably doesn't.
 618                  */
 619                 spin_lock(&next->vc.lock);
 620                 /* Re-check the state now that we have the lock */
 621                 success = next->state == S3C24XX_DMA_CHAN_WAITING;
 622                 if (success)
 623                         s3c24xx_dma_phy_reassign_start(s3cchan->phy, next);
 624                 spin_unlock(&next->vc.lock);
 625
 626                 /* If the state changed, try to find another channel */
 627                 if (!success)
 628                         goto retry;
 629         } else {
 630                 /* No more jobs, so free up the physical channel */
 631                 s3c24xx_dma_put_phy(s3cchan->phy);
 632         }
 633
 634         s3cchan->phy = NULL;
 635         s3cchan->state = S3C24XX_DMA_CHAN_IDLE;
 636 }
 637
 638 static void s3c24xx_dma_desc_free(struct virt_dma_desc *vd)
 639 {
 640         struct s3c24xx_txd *txd = to_s3c24xx_txd(&vd->tx);
 641         struct s3c24xx_dma_chan *s3cchan = to_s3c24xx_dma_chan(vd->tx.chan);
 642
 643         if (!s3cchan->slave)
 644                 dma_descriptor_unmap(&vd->tx);
 645
 646         s3c24xx_dma_free_txd(txd);
 647 }
 648
 649 static irqreturn_t s3c24xx_dma_irq(int irq, void *data)
 650 {
 651         struct s3c24xx_dma_phy *phy = data;
 652         struct s3c24xx_dma_chan *s3cchan = phy->serving;
 653         struct s3c24xx_txd *txd;
 654
 655         dev_dbg(&phy->host->pdev->dev, "interrupt on channel %d\n", phy->id);
 656
 657         /*
 658          * Interrupts happen to notify the completion of a transfer and the
 659          * channel should have moved into its stop state already on its own.
 660          * Therefore interrupts on channels not bound to a virtual channel
 661          * should never happen. Nevertheless send a terminate command to the
 662          * channel if the unlikely case happens.
 663          */
 664         if (unlikely(!s3cchan)) {
 665                 dev_err(&phy->host->pdev->dev, "interrupt on unused channel %d\n",
 666                         phy->id);
 667
 668                 s3c24xx_dma_terminate_phy(phy);
 669
 670                 return IRQ_HANDLED;
 671         }
 672
 673         spin_lock(&s3cchan->vc.lock);
 674         txd = s3cchan->at;
 675         if (txd) {
 676                 /* when more sg's are in this txd, start the next one */
 677                 if (!list_is_last(txd->at, &txd->dsg_list)) {
 678                         txd->at = txd->at->next;
 679                         if (txd->cyclic)
 680                                 vchan_cyclic_callback(&txd->vd);
 681                         s3c24xx_dma_start_next_sg(s3cchan, txd);
 682                 } else if (!txd->cyclic) {
 683                         s3cchan->at = NULL;
 684                         vchan_cookie_complete(&txd->vd);
 685
 686                         /*
 687                          * And start the next descriptor (if any),
 688                          * otherwise free this channel.
 689                          */
 690                         if (vchan_next_desc(&s3cchan->vc))
 691                                 s3c24xx_dma_start_next_txd(s3cchan);
 692                         else
 693                                 s3c24xx_dma_phy_free(s3cchan);
 694                 } else {
 695                         vchan_cyclic_callback(&txd->vd);
 696
 697                         /* Cyclic: reset at beginning */
 698                         txd->at = txd->dsg_list.next;
 699                         s3c24xx_dma_start_next_sg(s3cchan, txd);
 700                 }
 701         }
 702         spin_unlock(&s3cchan->vc.lock);
 703
 704         return IRQ_HANDLED;
 705 }
 706
 707 /*
 708  * The DMA ENGINE API
 709  */
 710
 711 static int s3c24xx_dma_terminate_all(struct dma_chan *chan)
 712 {
 713         struct s3c24xx_dma_chan *s3cchan = to_s3c24xx_dma_chan(chan);
 714         struct s3c24xx_dma_engine *s3cdma = s3cchan->host;
 715         unsigned long flags;
 716         int ret = 0;
 717
 718         spin_lock_irqsave(&s3cchan->vc.lock, flags);
 719
 720         if (!s3cchan->phy && !s3cchan->at) {
 721                 dev_err(&s3cdma->pdev->dev, "trying to terminate already stopped channel %d\n",
 722                         s3cchan->id);
 723                 ret = -EINVAL;
 724                 goto unlock;
 725         }
 726
 727         s3cchan->state = S3C24XX_DMA_CHAN_IDLE;
 728
 729         /* Mark physical channel as free */
 730         if (s3cchan->phy)
 731                 s3c24xx_dma_phy_free(s3cchan);
 732
 733         /* Dequeue current job */
 734         if (s3cchan->at) {
 735                 s3c24xx_dma_desc_free(&s3cchan->at->vd);
 736                 s3cchan->at = NULL;
 737         }
 738
 739         /* Dequeue jobs not yet fired as well */
 740         s3c24xx_dma_free_txd_list(s3cdma, s3cchan);
 741 unlock:
 742         spin_unlock_irqrestore(&s3cchan->vc.lock, flags);
 743
 744         return ret;
 745 }
 746
 747 static void s3c24xx_dma_free_chan_resources(struct dma_chan *chan)
 748 {
 749         /* Ensure all queued descriptors are freed */
 750         vchan_free_chan_resources(to_virt_chan(chan));
 751 }
 752
 753 static enum dma_status s3c24xx_dma_tx_status(struct dma_chan *chan,
 754                 dma_cookie_t cookie, struct dma_tx_state *txstate)
 755 {
 756         struct s3c24xx_dma_chan *s3cchan = to_s3c24xx_dma_chan(chan);
 757         struct s3c24xx_txd *txd;
 758         struct s3c24xx_sg *dsg;
 759         struct virt_dma_desc *vd;
 760         unsigned long flags;
 761         enum dma_status ret;
 762         size_t bytes = 0;
 763
 764         spin_lock_irqsave(&s3cchan->vc.lock, flags);
 765         ret = dma_cookie_status(chan, cookie, txstate);
 766
 767         /*
 768          * There's no point calculating the residue if there's
 769          * no txstate to store the value.
 770          */
 771         if (ret == DMA_COMPLETE || !txstate) {
 772                 spin_unlock_irqrestore(&s3cchan->vc.lock, flags);
 773                 return ret;
 774         }
 775
 776         vd = vchan_find_desc(&s3cchan->vc, cookie);
 777         if (vd) {
 778                 /* On the issued list, so hasn't been processed yet */
 779                 txd = to_s3c24xx_txd(&vd->tx);
 780
 781                 list_for_each_entry(dsg, &txd->dsg_list, node)
 782                         bytes += dsg->len;
 783         } else {
 784                 /*
 785                  * Currently running, so sum over the pending sg's and
 786                  * the currently active one.
 787                  */
 788                 txd = s3cchan->at;
 789
 790                 dsg = list_entry(txd->at, struct s3c24xx_sg, node);
 791                 list_for_each_entry_from(dsg, &txd->dsg_list, node)
 792                         bytes += dsg->len;
 793
 794                 bytes += s3c24xx_dma_getbytes_chan(s3cchan);
 795         }
 796         spin_unlock_irqrestore(&s3cchan->vc.lock, flags);
 797
 798         /*
 799          * This cookie not complete yet
 800          * Get number of bytes left in the active transactions and queue
 801          */
 802         dma_set_residue(txstate, bytes);
 803
 804         /* Whether waiting or running, we're in progress */
 805         return ret;
 806 }
 807
 808 /*
 809  * Initialize a descriptor to be used by memcpy submit
 810  */
 811 static struct dma_async_tx_descriptor *s3c24xx_dma_prep_memcpy(
 812                 struct dma_chan *chan, dma_addr_t dest, dma_addr_t src,
 813                 size_t len, unsigned long flags)
 814 {
 815         struct s3c24xx_dma_chan *s3cchan = to_s3c24xx_dma_chan(chan);
 816         struct s3c24xx_dma_engine *s3cdma = s3cchan->host;
 817         struct s3c24xx_txd *txd;
 818         struct s3c24xx_sg *dsg;
 819         int src_mod, dest_mod;
 820
 821         dev_dbg(&s3cdma->pdev->dev, "prepare memcpy of %zu bytes from %s\n",
 822                         len, s3cchan->name);
 823
 824         if ((len & S3C24XX_DCON_TC_MASK) != len) {
 825                 dev_err(&s3cdma->pdev->dev, "memcpy size %zu to large\n", len);
 826                 return NULL;
 827         }
 828
 829         txd = s3c24xx_dma_get_txd();
 830         if (!txd)
 831                 return NULL;
 832
 833         dsg = kzalloc(sizeof(*dsg), GFP_NOWAIT);
 834         if (!dsg) {
 835                 s3c24xx_dma_free_txd(txd);
 836                 return NULL;
 837         }
 838         list_add_tail(&dsg->node, &txd->dsg_list);
 839
 840         dsg->src_addr = src;
 841         dsg->dst_addr = dest;
 842         dsg->len = len;
 843
 844         /*
 845          * Determine a suitable transfer width.
 846          * The DMA controller cannot fetch/store information which is not
 847          * naturally aligned on the bus, i.e., a 4 byte fetch must start at
 848          * an address divisible by 4 - more generally addr % width must be 0.
 849          */
 850         src_mod = src % 4;
 851         dest_mod = dest % 4;
 852         switch (len % 4) {
 853         case 0:
 854                 txd->width = (src_mod == 0 && dest_mod == 0) ? 4 : 1;
 855                 break;
 856         case 2:
 857                 txd->width = ((src_mod == 2 || src_mod == 0) &&
 858                               (dest_mod == 2 || dest_mod == 0)) ? 2 : 1;
 859                 break;
 860         default:
 861                 txd->width = 1;
 862                 break;
 863         }
 864
 865         txd->disrcc = S3C24XX_DISRCC_LOC_AHB | S3C24XX_DISRCC_INC_INCREMENT;
 866         txd->didstc = S3C24XX_DIDSTC_LOC_AHB | S3C24XX_DIDSTC_INC_INCREMENT;
 867         txd->dcon |= S3C24XX_DCON_DEMAND | S3C24XX_DCON_SYNC_HCLK |
 868                      S3C24XX_DCON_SERV_WHOLE;
 869
 870         return vchan_tx_prep(&s3cchan->vc, &txd->vd, flags);
 871 }
 872
 873 static struct dma_async_tx_descriptor *s3c24xx_dma_prep_dma_cyclic(
 874         struct dma_chan *chan, dma_addr_t addr, size_t size, size_t period,
 875         enum dma_transfer_direction direction, unsigned long flags)
 876 {
 877         struct s3c24xx_dma_chan *s3cchan = to_s3c24xx_dma_chan(chan);
 878         struct s3c24xx_dma_engine *s3cdma = s3cchan->host;
 879         const struct s3c24xx_dma_platdata *pdata = s3cdma->pdata;
 880         struct s3c24xx_dma_channel *cdata = &pdata->channels[s3cchan->id];
 881         struct s3c24xx_txd *txd;
 882         struct s3c24xx_sg *dsg;
 883         unsigned sg_len;
 884         dma_addr_t slave_addr;
 885         u32 hwcfg = 0;
 886         int i;
 887
 888         dev_dbg(&s3cdma->pdev->dev,
 889                 "prepare cyclic transaction of %zu bytes with period %zu from %s\n",
 890                 size, period, s3cchan->name);
 891
 892         if (!is_slave_direction(direction)) {
 893                 dev_err(&s3cdma->pdev->dev,
 894                         "direction %d unsupported\n", direction);
 895                 return NULL;
 896         }
 897
 898         txd = s3c24xx_dma_get_txd();
 899         if (!txd)
 900                 return NULL;
 901
 902         txd->cyclic = 1;
 903
 904         if (cdata->handshake)
 905                 txd->dcon |= S3C24XX_DCON_HANDSHAKE;
 906
 907         switch (cdata->bus) {
 908         case S3C24XX_DMA_APB:
 909                 txd->dcon |= S3C24XX_DCON_SYNC_PCLK;
 910                 hwcfg |= S3C24XX_DISRCC_LOC_APB;
 911                 break;
 912         case S3C24XX_DMA_AHB:
 913                 txd->dcon |= S3C24XX_DCON_SYNC_HCLK;
 914                 hwcfg |= S3C24XX_DISRCC_LOC_AHB;
 915                 break;
 916         }
 917
 918         /*
 919          * Always assume our peripheral desintation is a fixed
 920          * address in memory.
 921          */
 922         hwcfg |= S3C24XX_DISRCC_INC_FIXED;
 923
 924         /*
 925          * Individual dma operations are requested by the slave,
 926          * so serve only single atomic operations (S3C24XX_DCON_SERV_SINGLE).
 927          */
 928         txd->dcon |= S3C24XX_DCON_SERV_SINGLE;
 929
 930         if (direction == DMA_MEM_TO_DEV) {
 931                 txd->disrcc = S3C24XX_DISRCC_LOC_AHB |
 932                               S3C24XX_DISRCC_INC_INCREMENT;
 933                 txd->didstc = hwcfg;
 934                 slave_addr = s3cchan->cfg.dst_addr;
 935                 txd->width = s3cchan->cfg.dst_addr_width;
 936         } else {
 937                 txd->disrcc = hwcfg;
 938                 txd->didstc = S3C24XX_DIDSTC_LOC_AHB |
 939                               S3C24XX_DIDSTC_INC_INCREMENT;
 940                 slave_addr = s3cchan->cfg.src_addr;
 941                 txd->width = s3cchan->cfg.src_addr_width;
 942         }
 943
 944         sg_len = size / period;
 945
 946         for (i = 0; i < sg_len; i++) {
 947                 dsg = kzalloc(sizeof(*dsg), GFP_NOWAIT);
 948                 if (!dsg) {
 949                         s3c24xx_dma_free_txd(txd);
 950                         return NULL;
 951                 }
 952                 list_add_tail(&dsg->node, &txd->dsg_list);
 953
 954                 dsg->len = period;
 955                 /* Check last period length */
 956                 if (i == sg_len - 1)
 957                         dsg->len = size - period * i;
 958                 if (direction == DMA_MEM_TO_DEV) {
 959                         dsg->src_addr = addr + period * i;
 960                         dsg->dst_addr = slave_addr;
 961                 } else { /* DMA_DEV_TO_MEM */
 962                         dsg->src_addr = slave_addr;
 963                         dsg->dst_addr = addr + period * i;
 964                 }
 965         }
 966
 967         return vchan_tx_prep(&s3cchan->vc, &txd->vd, flags);
 968 }
 969
 970 static struct dma_async_tx_descriptor *s3c24xx_dma_prep_slave_sg(
 971                 struct dma_chan *chan, struct scatterlist *sgl,
 972                 unsigned int sg_len, enum dma_transfer_direction direction,
 973                 unsigned long flags, void *context)
 974 {
 975         struct s3c24xx_dma_chan *s3cchan = to_s3c24xx_dma_chan(chan);
 976         struct s3c24xx_dma_engine *s3cdma = s3cchan->host;
 977         const struct s3c24xx_dma_platdata *pdata = s3cdma->pdata;
 978         struct s3c24xx_dma_channel *cdata = &pdata->channels[s3cchan->id];
 979         struct s3c24xx_txd *txd;
 980         struct s3c24xx_sg *dsg;
 981         struct scatterlist *sg;
 982         dma_addr_t slave_addr;
 983         u32 hwcfg = 0;
 984         int tmp;
 985
 986         dev_dbg(&s3cdma->pdev->dev, "prepare transaction of %d bytes from %s\n",
 987                         sg_dma_len(sgl), s3cchan->name);
 988
 989         txd = s3c24xx_dma_get_txd();
 990         if (!txd)
 991                 return NULL;
 992
 993         if (cdata->handshake)
 994                 txd->dcon |= S3C24XX_DCON_HANDSHAKE;
 995
 996         switch (cdata->bus) {
 997         case S3C24XX_DMA_APB:
 998                 txd->dcon |= S3C24XX_DCON_SYNC_PCLK;
 999                 hwcfg |= S3C24XX_DISRCC_LOC_APB;
1000                 break;
1001         case S3C24XX_DMA_AHB:
1002                 txd->dcon |= S3C24XX_DCON_SYNC_HCLK;
1003                 hwcfg |= S3C24XX_DISRCC_LOC_AHB;
1004                 break;
1005         }
1006
1007         /*
1008          * Always assume our peripheral desintation is a fixed
1009          * address in memory.
1010          */
1011         hwcfg |= S3C24XX_DISRCC_INC_FIXED;
1012
1013         /*
1014          * Individual dma operations are requested by the slave,
1015          * so serve only single atomic operations (S3C24XX_DCON_SERV_SINGLE).
1016          */
1017         txd->dcon |= S3C24XX_DCON_SERV_SINGLE;
1018
1019         if (direction == DMA_MEM_TO_DEV) {
1020                 txd->disrcc = S3C24XX_DISRCC_LOC_AHB |
1021                               S3C24XX_DISRCC_INC_INCREMENT;
1022                 txd->didstc = hwcfg;
1023                 slave_addr = s3cchan->cfg.dst_addr;
1024                 txd->width = s3cchan->cfg.dst_addr_width;
1025         } else if (direction == DMA_DEV_TO_MEM) {
1026                 txd->disrcc = hwcfg;
1027                 txd->didstc = S3C24XX_DIDSTC_LOC_AHB |
1028                               S3C24XX_DIDSTC_INC_INCREMENT;
1029                 slave_addr = s3cchan->cfg.src_addr;
1030                 txd->width = s3cchan->cfg.src_addr_width;
1031         } else {
1032                 s3c24xx_dma_free_txd(txd);
1033                 dev_err(&s3cdma->pdev->dev,
1034                         "direction %d unsupported\n", direction);
1035                 return NULL;
1036         }
1037
1038         for_each_sg(sgl, sg, sg_len, tmp) {
1039                 dsg = kzalloc(sizeof(*dsg), GFP_NOWAIT);
1040                 if (!dsg) {
1041                         s3c24xx_dma_free_txd(txd);
1042                         return NULL;
1043                 }
1044                 list_add_tail(&dsg->node, &txd->dsg_list);
1045
1046                 dsg->len = sg_dma_len(sg);
1047                 if (direction == DMA_MEM_TO_DEV) {
1048                         dsg->src_addr = sg_dma_address(sg);
1049                         dsg->dst_addr = slave_addr;
1050                 } else { /* DMA_DEV_TO_MEM */
1051                         dsg->src_addr = slave_addr;
1052                         dsg->dst_addr = sg_dma_address(sg);
1053                 }
1054         }
1055
1056         return vchan_tx_prep(&s3cchan->vc, &txd->vd, flags);
1057 }
1058
1059 /*
1060  * Slave transactions callback to the slave device to allow
1061  * synchronization of slave DMA signals with the DMAC enable
1062  */
1063 static void s3c24xx_dma_issue_pending(struct dma_chan *chan)
1064 {
1065         struct s3c24xx_dma_chan *s3cchan = to_s3c24xx_dma_chan(chan);
1066         unsigned long flags;
1067
1068         spin_lock_irqsave(&s3cchan->vc.lock, flags);
1069         if (vchan_issue_pending(&s3cchan->vc)) {
1070                 if (!s3cchan->phy && s3cchan->state != S3C24XX_DMA_CHAN_WAITING)
1071                         s3c24xx_dma_phy_alloc_and_start(s3cchan);
1072         }
1073         spin_unlock_irqrestore(&s3cchan->vc.lock, flags);
1074 }
1075
1076 /*
1077  * Bringup and teardown
1078  */
1079
1080 /*
1081  * Initialise the DMAC memcpy/slave channels.
1082  * Make a local wrapper to hold required data
1083  */
1084 static int s3c24xx_dma_init_virtual_channels(struct s3c24xx_dma_engine *s3cdma,
1085                 struct dma_device *dmadev, unsigned int channels, bool slave)
1086 {
1087         struct s3c24xx_dma_chan *chan;
1088         int i;
1089
1090         INIT_LIST_HEAD(&dmadev->channels);
1091
1092         /*
1093          * Register as many many memcpy as we have physical channels,
1094          * we won't always be able to use all but the code will have
1095          * to cope with that situation.
1096          */
1097         for (i = 0; i < channels; i++) {
1098                 chan = devm_kzalloc(dmadev->dev, sizeof(*chan), GFP_KERNEL);
1099                 if (!chan)
1100                         return -ENOMEM;
1101
1102                 chan->id = i;
1103                 chan->host = s3cdma;
1104                 chan->state = S3C24XX_DMA_CHAN_IDLE;
1105
1106                 if (slave) {
1107                         chan->slave = true;
1108                         chan->name = kasprintf(GFP_KERNEL, "slave%d", i);
1109                         if (!chan->name)
1110                                 return -ENOMEM;
1111                 } else {
1112                         chan->name = kasprintf(GFP_KERNEL, "memcpy%d", i);
1113                         if (!chan->name)
1114                                 return -ENOMEM;
1115                 }
1116                 dev_dbg(dmadev->dev,
1117                          "initialize virtual channel \"%s\"\n",
1118                          chan->name);
1119
1120                 chan->vc.desc_free = s3c24xx_dma_desc_free;
1121                 vchan_init(&chan->vc, dmadev);
1122         }
1123         dev_info(dmadev->dev, "initialized %d virtual %s channels\n",
1124                  i, slave ? "slave" : "memcpy");
1125         return i;
1126 }
1127
1128 static void s3c24xx_dma_free_virtual_channels(struct dma_device *dmadev)
1129 {
1130         struct s3c24xx_dma_chan *chan = NULL;
1131         struct s3c24xx_dma_chan *next;
1132
1133         list_for_each_entry_safe(chan,
1134                                  next, &dmadev->channels, vc.chan.device_node) {
1135                 list_del(&chan->vc.chan.device_node);
1136                 tasklet_kill(&chan->vc.task);
1137         }
1138 }
1139
1140 /* s3c2410, s3c2440 and s3c2442 have a 0x40 stride without separate clocks */
1141 static struct soc_data soc_s3c2410 = {
1142         .stride = 0x40,
1143         .has_reqsel = false,
1144         .has_clocks = false,
1145 };
1146
1147 /* s3c2412 and s3c2413 have a 0x40 stride and dmareqsel mechanism */
1148 static struct soc_data soc_s3c2412 = {
1149         .stride = 0x40,
1150         .has_reqsel = true,
1151         .has_clocks = true,
1152 };
1153
1154 /* s3c2443 and following have a 0x100 stride and dmareqsel mechanism */
1155 static struct soc_data soc_s3c2443 = {
1156         .stride = 0x100,
1157         .has_reqsel = true,
1158         .has_clocks = true,
1159 };
1160
1161 static const struct platform_device_id s3c24xx_dma_driver_ids[] = {
1162         {
1163                 .name           = "s3c2410-dma",
1164                 .driver_data    = (kernel_ulong_t)&soc_s3c2410,
1165         }, {
1166                 .name           = "s3c2412-dma",
1167                 .driver_data    = (kernel_ulong_t)&soc_s3c2412,
1168         }, {
1169                 .name           = "s3c2443-dma",
1170                 .driver_data    = (kernel_ulong_t)&soc_s3c2443,
1171         },
1172         { },
1173 };
1174
1175 static struct soc_data *s3c24xx_dma_get_soc_data(struct platform_device *pdev)
1176 {
1177         return (struct soc_data *)
1178                          platform_get_device_id(pdev)->driver_data;
1179 }
1180
1181 static int s3c24xx_dma_probe(struct platform_device *pdev)
1182 {
1183         const struct s3c24xx_dma_platdata *pdata = dev_get_platdata(&pdev->dev);
1184         struct s3c24xx_dma_engine *s3cdma;
1185         struct soc_data *sdata;
1186         struct resource *res;
1187         int ret;
1188         int i;
1189
1190         if (!pdata) {
1191                 dev_err(&pdev->dev, "platform data missing\n");
1192                 return -ENODEV;
1193         }
1194
1195         /* Basic sanity check */
1196         if (pdata->num_phy_channels > MAX_DMA_CHANNELS) {
1197                 dev_err(&pdev->dev, "to many dma channels %d, max %d\n",
1198                         pdata->num_phy_channels, MAX_DMA_CHANNELS);
1199                 return -EINVAL;
1200         }
1201
1202         sdata = s3c24xx_dma_get_soc_data(pdev);
1203         if (!sdata)
1204                 return -EINVAL;
1205
1206         s3cdma = devm_kzalloc(&pdev->dev, sizeof(*s3cdma), GFP_KERNEL);
1207         if (!s3cdma)
1208                 return -ENOMEM;
1209
1210         s3cdma->pdev = pdev;
1211         s3cdma->pdata = pdata;
1212         s3cdma->sdata = sdata;
1213
1214         res = platform_get_resource(pdev, IORESOURCE_MEM, 0);
1215         s3cdma->base = devm_ioremap_resource(&pdev->dev, res);
1216         if (IS_ERR(s3cdma->base))
1217                 return PTR_ERR(s3cdma->base);
1218
1219         s3cdma->phy_chans = devm_kzalloc(&pdev->dev,
1220                                               sizeof(struct s3c24xx_dma_phy) *
1221                                                         pdata->num_phy_channels,
1222                                               GFP_KERNEL);
1223         if (!s3cdma->phy_chans)
1224                 return -ENOMEM;
1225
1226         /* acquire irqs and clocks for all physical channels */
1227         for (i = 0; i < pdata->num_phy_channels; i++) {
1228                 struct s3c24xx_dma_phy *phy = &s3cdma->phy_chans[i];
1229                 char clk_name[6];
1230
1231                 phy->id = i;
1232                 phy->base = s3cdma->base + (i * sdata->stride);
1233                 phy->host = s3cdma;
1234
1235                 phy->irq = platform_get_irq(pdev, i);
1236                 if (phy->irq < 0) {
1237                         dev_err(&pdev->dev, "failed to get irq %d, err %d\n",
1238                                 i, phy->irq);
1239                         continue;
1240                 }
1241
1242                 ret = devm_request_irq(&pdev->dev, phy->irq, s3c24xx_dma_irq,
1243                                        0, pdev->name, phy);
1244                 if (ret) {
1245                         dev_err(&pdev->dev, "Unable to request irq for channel %d, error %d\n",
1246                                 i, ret);
1247                         continue;
1248                 }
1249
1250                 if (sdata->has_clocks) {
1251                         sprintf(clk_name, "dma.%d", i);
1252                         phy->clk = devm_clk_get(&pdev->dev, clk_name);
1253                         if (IS_ERR(phy->clk) && sdata->has_clocks) {
1254                                 dev_err(&pdev->dev, "unable to acquire clock for channel %d, error %lu\n",
1255                                         i, PTR_ERR(phy->clk));
1256                                 continue;
1257                         }
1258
1259                         ret = clk_prepare(phy->clk);
1260                         if (ret) {
1261                                 dev_err(&pdev->dev, "clock for phy %d failed, error %d\n",
1262                                         i, ret);
1263                                 continue;
1264                         }
1265                 }
1266
1267                 spin_lock_init(&phy->lock);
1268                 phy->valid = true;
1269
1270                 dev_dbg(&pdev->dev, "physical channel %d is %s\n",
1271                         i, s3c24xx_dma_phy_busy(phy) ? "BUSY" : "FREE");
1272         }
1273
1274         /* Initialize memcpy engine */
1275         dma_cap_set(DMA_MEMCPY, s3cdma->memcpy.cap_mask);
1276         dma_cap_set(DMA_PRIVATE, s3cdma->memcpy.cap_mask);
1277         s3cdma->memcpy.dev = &pdev->dev;
1278         s3cdma->memcpy.device_free_chan_resources =
1279                                         s3c24xx_dma_free_chan_resources;
1280         s3cdma->memcpy.device_prep_dma_memcpy = s3c24xx_dma_prep_memcpy;
1281         s3cdma->memcpy.device_tx_status = s3c24xx_dma_tx_status;
1282         s3cdma->memcpy.device_issue_pending = s3c24xx_dma_issue_pending;
1283         s3cdma->memcpy.device_config = s3c24xx_dma_set_runtime_config;
1284         s3cdma->memcpy.device_terminate_all = s3c24xx_dma_terminate_all;
1285
1286         /* Initialize slave engine for SoC internal dedicated peripherals */
1287         dma_cap_set(DMA_SLAVE, s3cdma->slave.cap_mask);
1288         dma_cap_set(DMA_CYCLIC, s3cdma->slave.cap_mask);
1289         dma_cap_set(DMA_PRIVATE, s3cdma->slave.cap_mask);
1290         s3cdma->slave.dev = &pdev->dev;
1291         s3cdma->slave.device_free_chan_resources =
1292                                         s3c24xx_dma_free_chan_resources;
1293         s3cdma->slave.device_tx_status = s3c24xx_dma_tx_status;
1294         s3cdma->slave.device_issue_pending = s3c24xx_dma_issue_pending;
1295         s3cdma->slave.device_prep_slave_sg = s3c24xx_dma_prep_slave_sg;
1296         s3cdma->slave.device_prep_dma_cyclic = s3c24xx_dma_prep_dma_cyclic;
1297         s3cdma->slave.device_config = s3c24xx_dma_set_runtime_config;
1298         s3cdma->slave.device_terminate_all = s3c24xx_dma_terminate_all;
1299         s3cdma->slave.filter.map = pdata->slave_map;
1300         s3cdma->slave.filter.mapcnt = pdata->slavecnt;
1301         s3cdma->slave.filter.fn = s3c24xx_dma_filter;
1302
1303         /* Register as many memcpy channels as there are physical channels */
1304         ret = s3c24xx_dma_init_virtual_channels(s3cdma, &s3cdma->memcpy,
1305                                                 pdata->num_phy_channels, false);
1306         if (ret <= 0) {
1307                 dev_warn(&pdev->dev,
1308                          "%s failed to enumerate memcpy channels - %d\n",
1309                          __func__, ret);
1310                 goto err_memcpy;
1311         }
1312
1313         /* Register slave channels */
1314         ret = s3c24xx_dma_init_virtual_channels(s3cdma, &s3cdma->slave,
1315                                 pdata->num_channels, true);
1316         if (ret <= 0) {
1317                 dev_warn(&pdev->dev,
1318                         "%s failed to enumerate slave channels - %d\n",
1319                                 __func__, ret);
1320                 goto err_slave;
1321         }
1322
1323         ret = dma_async_device_register(&s3cdma->memcpy);
1324         if (ret) {
1325                 dev_warn(&pdev->dev,
1326                         "%s failed to register memcpy as an async device - %d\n",
1327                         __func__, ret);
1328                 goto err_memcpy_reg;
1329         }
1330
1331         ret = dma_async_device_register(&s3cdma->slave);
1332         if (ret) {
1333                 dev_warn(&pdev->dev,
1334                         "%s failed to register slave as an async device - %d\n",
1335                         __func__, ret);
1336                 goto err_slave_reg;
1337         }
1338
1339         platform_set_drvdata(pdev, s3cdma);
1340         dev_info(&pdev->dev, "Loaded dma driver with %d physical channels\n",
1341                  pdata->num_phy_channels);
1342
1343         return 0;
1344
1345 err_slave_reg:
1346         dma_async_device_unregister(&s3cdma->memcpy);
1347 err_memcpy_reg:
1348         s3c24xx_dma_free_virtual_channels(&s3cdma->slave);
1349 err_slave:
1350         s3c24xx_dma_free_virtual_channels(&s3cdma->memcpy);
1351 err_memcpy:
1352         if (sdata->has_clocks)
1353                 for (i = 0; i < pdata->num_phy_channels; i++) {
1354                         struct s3c24xx_dma_phy *phy = &s3cdma->phy_chans[i];
1355                         if (phy->valid)
1356                                 clk_unprepare(phy->clk);
1357                 }
1358
1359         return ret;
1360 }
1361
1362 static void s3c24xx_dma_free_irq(struct platform_device *pdev,
1363                                 struct s3c24xx_dma_engine *s3cdma)
1364 {
1365         int i;
1366
1367         for (i = 0; i < s3cdma->pdata->num_phy_channels; i++) {
1368                 struct s3c24xx_dma_phy *phy = &s3cdma->phy_chans[i];
1369
1370                 devm_free_irq(&pdev->dev, phy->irq, phy);
1371         }
1372 }
1373
1374 static int s3c24xx_dma_remove(struct platform_device *pdev)
1375 {
1376         const struct s3c24xx_dma_platdata *pdata = dev_get_platdata(&pdev->dev);
1377         struct s3c24xx_dma_engine *s3cdma = platform_get_drvdata(pdev);
1378         struct soc_data *sdata = s3c24xx_dma_get_soc_data(pdev);
1379         int i;
1380
1381         dma_async_device_unregister(&s3cdma->slave);
1382         dma_async_device_unregister(&s3cdma->memcpy);
1383
1384         s3c24xx_dma_free_irq(pdev, s3cdma);
1385
1386         s3c24xx_dma_free_virtual_channels(&s3cdma->slave);
1387         s3c24xx_dma_free_virtual_channels(&s3cdma->memcpy);
1388
1389         if (sdata->has_clocks)
1390                 for (i = 0; i < pdata->num_phy_channels; i++) {
1391                         struct s3c24xx_dma_phy *phy = &s3cdma->phy_chans[i];
1392                         if (phy->valid)
1393                                 clk_unprepare(phy->clk);
1394                 }
1395
1396         return 0;
1397 }
1398
1399 static struct platform_driver s3c24xx_dma_driver = {
1400         .driver         = {
1401                 .name   = "s3c24xx-dma",
1402         },
1403         .id_table       = s3c24xx_dma_driver_ids,
1404         .probe          = s3c24xx_dma_probe,
1405         .remove         = s3c24xx_dma_remove,
1406 };
1407
1408 module_platform_driver(s3c24xx_dma_driver);
1409
1410 bool s3c24xx_dma_filter(struct dma_chan *chan, void *param)
1411 {
1412         struct s3c24xx_dma_chan *s3cchan;
1413
1414         if (chan->device->dev->driver != &s3c24xx_dma_driver.driver)
1415                 return false;
1416
1417         s3cchan = to_s3c24xx_dma_chan(chan);
1418
1419         return s3cchan->id == (uintptr_t)param;
1420 }
1421 EXPORT_SYMBOL(s3c24xx_dma_filter);
1422
1423 MODULE_DESCRIPTION("S3C24XX DMA Driver");
1424 MODULE_AUTHOR("Heiko Stuebner");
1425 MODULE_LICENSE("GPL v2");