nengel@2: /*
nengel@2:  * ARM NEON optimised DSP functions
nengel@2:  * Copyright (c) 2008 Mans Rullgard <mans@mansr.com>
nengel@2:  *
nengel@2:  * This file is part of FFmpeg.
nengel@2:  *
nengel@2:  * FFmpeg is free software; you can redistribute it and/or
nengel@2:  * modify it under the terms of the GNU Lesser General Public
nengel@2:  * License as published by the Free Software Foundation; either
nengel@2:  * version 2.1 of the License, or (at your option) any later version.
nengel@2:  *
nengel@2:  * FFmpeg is distributed in the hope that it will be useful,
nengel@2:  * but WITHOUT ANY WARRANTY; without even the implied warranty of
nengel@2:  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
nengel@2:  * Lesser General Public License for more details.
nengel@2:  *
nengel@2:  * You should have received a copy of the GNU Lesser General Public
nengel@2:  * License along with FFmpeg; if not, write to the Free Software
nengel@2:  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
nengel@2:  */
nengel@2: 
nengel@2: #include "config.h"
nengel@2: #include "asm.S"
nengel@2: 
nengel@2:         preserve8
nengel@2:         .text
nengel@2: 
nengel@2:         .macro pixels16 avg=0
nengel@2: .if \avg
nengel@2:         mov             ip,  r0
nengel@2: .endif
nengel@2: 1:      vld1.64         {d0, d1},  [r1], r2
nengel@2:         vld1.64         {d2, d3},  [r1], r2
nengel@2:         vld1.64         {d4, d5},  [r1], r2
nengel@2:         pld             [r1, r2, lsl #2]
nengel@2:         vld1.64         {d6, d7},  [r1], r2
nengel@2:         pld             [r1]
nengel@2:         pld             [r1, r2]
nengel@2:         pld             [r1, r2, lsl #1]
nengel@2: .if \avg
nengel@2:         vld1.64         {d16,d17}, [ip,:128], r2
nengel@2:         vrhadd.u8       q0,  q0,  q8
nengel@2:         vld1.64         {d18,d19}, [ip,:128], r2
nengel@2:         vrhadd.u8       q1,  q1,  q9
nengel@2:         vld1.64         {d20,d21}, [ip,:128], r2
nengel@2:         vrhadd.u8       q2,  q2,  q10
nengel@2:         vld1.64         {d22,d23}, [ip,:128], r2
nengel@2:         vrhadd.u8       q3,  q3,  q11
nengel@2: .endif
nengel@2:         subs            r3,  r3,  #4
nengel@2:         vst1.64         {d0, d1},  [r0,:128], r2
nengel@2:         vst1.64         {d2, d3},  [r0,:128], r2
nengel@2:         vst1.64         {d4, d5},  [r0,:128], r2
nengel@2:         vst1.64         {d6, d7},  [r0,:128], r2
nengel@2:         bne             1b
nengel@2:         bx              lr
nengel@2:         .endm
nengel@2: 
nengel@2:         .macro pixels16_x2 vhadd=vrhadd.u8
nengel@2: 1:      vld1.64         {d0-d2},   [r1], r2
nengel@2:         vld1.64         {d4-d6},   [r1], r2
nengel@2:         pld             [r1]
nengel@2:         pld             [r1, r2]
nengel@2:         subs            r3,  r3,  #2
nengel@2:         vext.8          q1,  q0,  q1,  #1
nengel@2:         \vhadd          q0,  q0,  q1
nengel@2:         vext.8          q3,  q2,  q3,  #1
nengel@2:         \vhadd          q2,  q2,  q3
nengel@2:         vst1.64         {d0, d1},  [r0,:128], r2
nengel@2:         vst1.64         {d4, d5},  [r0,:128], r2
nengel@2:         bne             1b
nengel@2:         bx              lr
nengel@2:         .endm
nengel@2: 
nengel@2:         .macro pixels16_y2 vhadd=vrhadd.u8
nengel@2:         vld1.64         {d0, d1},  [r1], r2
nengel@2:         vld1.64         {d2, d3},  [r1], r2
nengel@2: 1:      subs            r3,  r3,  #2
nengel@2:         \vhadd          q2,  q0,  q1
nengel@2:         vld1.64         {d0, d1},  [r1], r2
nengel@2:         \vhadd          q3,  q0,  q1
nengel@2:         vld1.64         {d2, d3},  [r1], r2
nengel@2:         pld             [r1]
nengel@2:         pld             [r1, r2]
nengel@2:         vst1.64         {d4, d5},  [r0,:128], r2
nengel@2:         vst1.64         {d6, d7},  [r0,:128], r2
nengel@2:         bne             1b
nengel@2:         bx              lr
nengel@2:         .endm
nengel@2: 
nengel@2:         .macro pixels16_xy2 vshrn=vrshrn.u16 no_rnd=0
nengel@2:         vld1.64         {d0-d2},   [r1], r2
nengel@2:         vld1.64         {d4-d6},   [r1], r2
nengel@2: .if \no_rnd
nengel@2:         vmov.i16        q13, #1
nengel@2: .endif
nengel@2:         pld             [r1]
nengel@2:         pld             [r1, r2]
nengel@2:         vext.8          q1,  q0,  q1,  #1
nengel@2:         vext.8          q3,  q2,  q3,  #1
nengel@2:         vaddl.u8        q8,  d0,  d2
nengel@2:         vaddl.u8        q10, d1,  d3
nengel@2:         vaddl.u8        q9,  d4,  d6
nengel@2:         vaddl.u8        q11, d5,  d7
nengel@2: 1:      subs            r3,  r3,  #2
nengel@2:         vld1.64         {d0-d2},   [r1], r2
nengel@2:         vadd.u16        q12, q8,  q9
nengel@2:         pld             [r1]
nengel@2: .if \no_rnd
nengel@2:         vadd.u16        q12, q12, q13
nengel@2: .endif
nengel@2:         vext.8          q15, q0,  q1,  #1
nengel@2:         vadd.u16        q1 , q10, q11
nengel@2:         \vshrn          d28, q12, #2
nengel@2: .if \no_rnd
nengel@2:         vadd.u16        q1,  q1,  q13
nengel@2: .endif
nengel@2:         \vshrn          d29, q1,  #2
nengel@2:         vaddl.u8        q8,  d0,  d30
nengel@2:         vld1.64         {d2-d4},   [r1], r2
nengel@2:         vaddl.u8        q10, d1,  d31
nengel@2:         vst1.64         {d28,d29}, [r0,:128], r2
nengel@2:         vadd.u16        q12, q8,  q9
nengel@2:         pld             [r1, r2]
nengel@2: .if \no_rnd
nengel@2:         vadd.u16        q12, q12, q13
nengel@2: .endif
nengel@2:         vext.8          q2,  q1,  q2,  #1
nengel@2:         vadd.u16        q0,  q10, q11
nengel@2:         \vshrn          d30, q12, #2
nengel@2: .if \no_rnd
nengel@2:         vadd.u16        q0,  q0,  q13
nengel@2: .endif
nengel@2:         \vshrn          d31, q0,  #2
nengel@2:         vaddl.u8        q9,  d2,  d4
nengel@2:         vaddl.u8        q11, d3,  d5
nengel@2:         vst1.64         {d30,d31}, [r0,:128], r2
nengel@2:         bgt             1b
nengel@2:         bx              lr
nengel@2:         .endm
nengel@2: 
nengel@2:         .macro pixels8 avg=0
nengel@2: 1:      vld1.64         {d0}, [r1], r2
nengel@2:         vld1.64         {d1}, [r1], r2
nengel@2:         vld1.64         {d2}, [r1], r2
nengel@2:         pld             [r1, r2, lsl #2]
nengel@2:         vld1.64         {d3}, [r1], r2
nengel@2:         pld             [r1]
nengel@2:         pld             [r1, r2]
nengel@2:         pld             [r1, r2, lsl #1]
nengel@2: .if \avg
nengel@2:         vld1.64         {d4}, [r0,:64], r2
nengel@2:         vrhadd.u8       d0,  d0,  d4
nengel@2:         vld1.64         {d5}, [r0,:64], r2
nengel@2:         vrhadd.u8       d1,  d1,  d5
nengel@2:         vld1.64         {d6}, [r0,:64], r2
nengel@2:         vrhadd.u8       d2,  d2,  d6
nengel@2:         vld1.64         {d7}, [r0,:64], r2
nengel@2:         vrhadd.u8       d3,  d3,  d7
nengel@2:         sub             r0,  r0,  r2,  lsl #2
nengel@2: .endif
nengel@2:         subs            r3,  r3,  #4
nengel@2:         vst1.64         {d0}, [r0,:64], r2
nengel@2:         vst1.64         {d1}, [r0,:64], r2
nengel@2:         vst1.64         {d2}, [r0,:64], r2
nengel@2:         vst1.64         {d3}, [r0,:64], r2
nengel@2:         bne             1b
nengel@2:         bx              lr
nengel@2:         .endm
nengel@2: 
nengel@2:         .macro pixels8_x2 vhadd=vrhadd.u8
nengel@2: 1:      vld1.64         {d0, d1},  [r1], r2
nengel@2:         vext.8          d1,  d0,  d1,  #1
nengel@2:         vld1.64         {d2, d3},  [r1], r2
nengel@2:         vext.8          d3,  d2,  d3,  #1
nengel@2:         pld             [r1]
nengel@2:         pld             [r1, r2]
nengel@2:         subs            r3,  r3,  #2
nengel@2:         vswp            d1,  d2
nengel@2:         \vhadd          q0,  q0,  q1
nengel@2:         vst1.64         {d0},      [r0,:64], r2
nengel@2:         vst1.64         {d1},      [r0,:64], r2
nengel@2:         bne             1b
nengel@2:         bx              lr
nengel@2:         .endm
nengel@2: 
nengel@2:         .macro pixels8_y2 vhadd=vrhadd.u8
nengel@2:         vld1.64         {d0},      [r1], r2
nengel@2:         vld1.64         {d1},      [r1], r2
nengel@2: 1:      subs            r3,  r3,  #2
nengel@2:         \vhadd          d4,  d0,  d1
nengel@2:         vld1.64         {d0},      [r1], r2
nengel@2:         \vhadd          d5,  d0,  d1
nengel@2:         vld1.64         {d1},      [r1], r2
nengel@2:         pld             [r1]
nengel@2:         pld             [r1, r2]
nengel@2:         vst1.64         {d4},      [r0,:64], r2
nengel@2:         vst1.64         {d5},      [r0,:64], r2
nengel@2:         bne             1b
nengel@2:         bx              lr
nengel@2:         .endm
nengel@2: 
nengel@2:         .macro pixels8_xy2 vshrn=vrshrn.u16 no_rnd=0
nengel@2:         vld1.64         {d0, d1},  [r1], r2
nengel@2:         vld1.64         {d2, d3},  [r1], r2
nengel@2: .if \no_rnd
nengel@2:         vmov.i16        q11, #1
nengel@2: .endif
nengel@2:         pld             [r1]
nengel@2:         pld             [r1, r2]
nengel@2:         vext.8          d4,  d0,  d1,  #1
nengel@2:         vext.8          d6,  d2,  d3,  #1
nengel@2:         vaddl.u8        q8,  d0,  d4
nengel@2:         vaddl.u8        q9,  d2,  d6
nengel@2: 1:      subs            r3,  r3,  #2
nengel@2:         vld1.64         {d0, d1},  [r1], r2
nengel@2:         pld             [r1]
nengel@2:         vadd.u16        q10, q8,  q9
nengel@2:         vext.8          d4,  d0,  d1,  #1
nengel@2: .if \no_rnd
nengel@2:         vadd.u16        q10, q10, q11
nengel@2: .endif
nengel@2:         vaddl.u8        q8,  d0,  d4
nengel@2:         \vshrn          d5,  q10, #2
nengel@2:         vld1.64         {d2, d3},  [r1], r2
nengel@2:         vadd.u16        q10, q8,  q9
nengel@2:         pld             [r1, r2]
nengel@2: .if \no_rnd
nengel@2:         vadd.u16        q10, q10, q11
nengel@2: .endif
nengel@2:         vst1.64         {d5},      [r0,:64], r2
nengel@2:         \vshrn          d7,  q10, #2
nengel@2:         vext.8          d6,  d2,  d3,  #1
nengel@2:         vaddl.u8        q9,  d2,  d6
nengel@2:         vst1.64         {d7},      [r0,:64], r2
nengel@2:         bgt             1b
nengel@2:         bx              lr
nengel@2:         .endm
nengel@2: 
nengel@2:         .macro pixfunc pfx name suf rnd_op args:vararg
nengel@2: function ff_\pfx\name\suf\()_neon, export=1
nengel@2:         \name \rnd_op \args
nengel@2: endfunc
nengel@2:         .endm
nengel@2: 
nengel@2:         .macro pixfunc2 pfx name args:vararg
nengel@2:         pixfunc \pfx \name
nengel@2:         pixfunc \pfx \name \args
nengel@2:         .endm
nengel@2: 
nengel@2: function ff_put_h264_qpel16_mc00_neon, export=1
nengel@2:         mov             r3,  #16
nengel@2: endfunc
nengel@2: 
nengel@2:         pixfunc  put_ pixels16
nengel@2:         pixfunc2 put_ pixels16_x2,  _no_rnd, vhadd.u8
nengel@2:         pixfunc2 put_ pixels16_y2,  _no_rnd, vhadd.u8
nengel@2:         pixfunc2 put_ pixels16_xy2, _no_rnd, vshrn.u16, 1
nengel@2: 
nengel@2: function ff_avg_h264_qpel16_mc00_neon, export=1
nengel@2:         mov             r3,  #16
nengel@2: endfunc
nengel@2: 
nengel@2:         pixfunc  avg_ pixels16,, 1
nengel@2: 
nengel@2: function ff_put_h264_qpel8_mc00_neon, export=1
nengel@2:         mov             r3,  #8
nengel@2: endfunc
nengel@2: 
nengel@2:         pixfunc  put_ pixels8
nengel@2:         pixfunc2 put_ pixels8_x2,   _no_rnd, vhadd.u8
nengel@2:         pixfunc2 put_ pixels8_y2,   _no_rnd, vhadd.u8
nengel@2:         pixfunc2 put_ pixels8_xy2,  _no_rnd, vshrn.u16, 1
nengel@2: 
nengel@2: function ff_avg_h264_qpel8_mc00_neon, export=1
nengel@2:         mov             r3,  #8
nengel@2: endfunc
nengel@2: 
nengel@2:         pixfunc  avg_ pixels8,, 1
nengel@2: 
nengel@2: function ff_put_pixels_clamped_neon, export=1
nengel@2:         vld1.64         {d16-d19}, [r0,:128]!
nengel@2:         vqmovun.s16     d0, q8
nengel@2:         vld1.64         {d20-d23}, [r0,:128]!
nengel@2:         vqmovun.s16     d1, q9
nengel@2:         vld1.64         {d24-d27}, [r0,:128]!
nengel@2:         vqmovun.s16     d2, q10
nengel@2:         vld1.64         {d28-d31}, [r0,:128]!
nengel@2:         vqmovun.s16     d3, q11
nengel@2:         vst1.64         {d0},      [r1,:64], r2
nengel@2:         vqmovun.s16     d4, q12
nengel@2:         vst1.64         {d1},      [r1,:64], r2
nengel@2:         vqmovun.s16     d5, q13
nengel@2:         vst1.64         {d2},      [r1,:64], r2
nengel@2:         vqmovun.s16     d6, q14
nengel@2:         vst1.64         {d3},      [r1,:64], r2
nengel@2:         vqmovun.s16     d7, q15
nengel@2:         vst1.64         {d4},      [r1,:64], r2
nengel@2:         vst1.64         {d5},      [r1,:64], r2
nengel@2:         vst1.64         {d6},      [r1,:64], r2
nengel@2:         vst1.64         {d7},      [r1,:64], r2
nengel@2:         bx              lr
nengel@2: endfunc
nengel@2: 
nengel@2: function ff_put_signed_pixels_clamped_neon, export=1
nengel@2:         vmov.u8         d31, #128
nengel@2:         vld1.64         {d16-d17}, [r0,:128]!
nengel@2:         vqmovn.s16      d0, q8
nengel@2:         vld1.64         {d18-d19}, [r0,:128]!
nengel@2:         vqmovn.s16      d1, q9
nengel@2:         vld1.64         {d16-d17}, [r0,:128]!
nengel@2:         vqmovn.s16      d2, q8
nengel@2:         vld1.64         {d18-d19}, [r0,:128]!
nengel@2:         vadd.u8         d0, d0, d31
nengel@2:         vld1.64         {d20-d21}, [r0,:128]!
nengel@2:         vadd.u8         d1, d1, d31
nengel@2:         vld1.64         {d22-d23}, [r0,:128]!
nengel@2:         vadd.u8         d2, d2, d31
nengel@2:         vst1.64         {d0},      [r1,:64], r2
nengel@2:         vqmovn.s16      d3, q9
nengel@2:         vst1.64         {d1},      [r1,:64], r2
nengel@2:         vqmovn.s16      d4, q10
nengel@2:         vst1.64         {d2},      [r1,:64], r2
nengel@2:         vqmovn.s16      d5, q11
nengel@2:         vld1.64         {d24-d25}, [r0,:128]!
nengel@2:         vadd.u8         d3, d3, d31
nengel@2:         vld1.64         {d26-d27}, [r0,:128]!
nengel@2:         vadd.u8         d4, d4, d31
nengel@2:         vadd.u8         d5, d5, d31
nengel@2:         vst1.64         {d3},      [r1,:64], r2
nengel@2:         vqmovn.s16      d6, q12
nengel@2:         vst1.64         {d4},      [r1,:64], r2
nengel@2:         vqmovn.s16      d7, q13
nengel@2:         vst1.64         {d5},      [r1,:64], r2
nengel@2:         vadd.u8         d6, d6, d31
nengel@2:         vadd.u8         d7, d7, d31
nengel@2:         vst1.64         {d6},      [r1,:64], r2
nengel@2:         vst1.64         {d7},      [r1,:64], r2
nengel@2:         bx              lr
nengel@2: endfunc
nengel@2: 
nengel@2: function ff_add_pixels_clamped_neon, export=1
nengel@2:         mov             r3, r1
nengel@2:         vld1.64         {d16},   [r1,:64], r2
nengel@2:         vld1.64         {d0-d1}, [r0,:128]!
nengel@2:         vaddw.u8        q0, q0, d16
nengel@2:         vld1.64         {d17},   [r1,:64], r2
nengel@2:         vld1.64         {d2-d3}, [r0,:128]!
nengel@2:         vqmovun.s16     d0, q0
nengel@2:         vld1.64         {d18},   [r1,:64], r2
nengel@2:         vaddw.u8        q1, q1, d17
nengel@2:         vld1.64         {d4-d5}, [r0,:128]!
nengel@2:         vaddw.u8        q2, q2, d18
nengel@2:         vst1.64         {d0},    [r3,:64], r2
nengel@2:         vqmovun.s16     d2, q1
nengel@2:         vld1.64         {d19},   [r1,:64], r2
nengel@2:         vld1.64         {d6-d7}, [r0,:128]!
nengel@2:         vaddw.u8        q3, q3, d19
nengel@2:         vqmovun.s16     d4, q2
nengel@2:         vst1.64         {d2},    [r3,:64], r2
nengel@2:         vld1.64         {d16},   [r1,:64], r2
nengel@2:         vqmovun.s16     d6, q3
nengel@2:         vld1.64         {d0-d1}, [r0,:128]!
nengel@2:         vaddw.u8        q0, q0, d16
nengel@2:         vst1.64         {d4},    [r3,:64], r2
nengel@2:         vld1.64         {d17},   [r1,:64], r2
nengel@2:         vld1.64         {d2-d3}, [r0,:128]!
nengel@2:         vaddw.u8        q1, q1, d17
nengel@2:         vst1.64         {d6},    [r3,:64], r2
nengel@2:         vqmovun.s16     d0, q0
nengel@2:         vld1.64         {d18},   [r1,:64], r2
nengel@2:         vld1.64         {d4-d5}, [r0,:128]!
nengel@2:         vaddw.u8        q2, q2, d18
nengel@2:         vst1.64         {d0},    [r3,:64], r2
nengel@2:         vqmovun.s16     d2, q1
nengel@2:         vld1.64         {d19},   [r1,:64], r2
nengel@2:         vqmovun.s16     d4, q2
nengel@2:         vld1.64         {d6-d7}, [r0,:128]!
nengel@2:         vaddw.u8        q3, q3, d19
nengel@2:         vst1.64         {d2},    [r3,:64], r2
nengel@2:         vqmovun.s16     d6, q3
nengel@2:         vst1.64         {d4},    [r3,:64], r2
nengel@2:         vst1.64         {d6},    [r3,:64], r2
nengel@2:         bx              lr
nengel@2: endfunc
nengel@2: 
nengel@2: function ff_float_to_int16_neon, export=1
nengel@2:         subs            r2,  r2,  #8
nengel@2:         vld1.64         {d0-d1},  [r1,:128]!
nengel@2:         vcvt.s32.f32    q8,  q0,  #16
nengel@2:         vld1.64         {d2-d3},  [r1,:128]!
nengel@2:         vcvt.s32.f32    q9,  q1,  #16
nengel@2:         beq             3f
nengel@2:         bics            ip,  r2,  #15
nengel@2:         beq             2f
nengel@2: 1:      subs            ip,  ip,  #16
nengel@2:         vshrn.s32       d4,  q8,  #16
nengel@2:         vld1.64         {d0-d1},  [r1,:128]!
nengel@2:         vcvt.s32.f32    q0,  q0,  #16
nengel@2:         vshrn.s32       d5,  q9,  #16
nengel@2:         vld1.64         {d2-d3},  [r1,:128]!
nengel@2:         vcvt.s32.f32    q1,  q1,  #16
nengel@2:         vshrn.s32       d6,  q0,  #16
nengel@2:         vst1.64         {d4-d5},  [r0,:128]!
nengel@2:         vshrn.s32       d7,  q1,  #16
nengel@2:         vld1.64         {d16-d17},[r1,:128]!
nengel@2:         vcvt.s32.f32    q8,  q8,  #16
nengel@2:         vld1.64         {d18-d19},[r1,:128]!
nengel@2:         vcvt.s32.f32    q9,  q9,  #16
nengel@2:         vst1.64         {d6-d7},  [r0,:128]!
nengel@2:         bne             1b
nengel@2:         ands            r2,  r2,  #15
nengel@2:         beq             3f
nengel@2: 2:      vld1.64         {d0-d1},  [r1,:128]!
nengel@2:         vshrn.s32       d4,  q8,  #16
nengel@2:         vcvt.s32.f32    q0,  q0,  #16
nengel@2:         vld1.64         {d2-d3},  [r1,:128]!
nengel@2:         vshrn.s32       d5,  q9,  #16
nengel@2:         vcvt.s32.f32    q1,  q1,  #16
nengel@2:         vshrn.s32       d6,  q0,  #16
nengel@2:         vst1.64         {d4-d5},  [r0,:128]!
nengel@2:         vshrn.s32       d7,  q1,  #16
nengel@2:         vst1.64         {d6-d7},  [r0,:128]!
nengel@2:         bx              lr
nengel@2: 3:      vshrn.s32       d4,  q8,  #16
nengel@2:         vshrn.s32       d5,  q9,  #16
nengel@2:         vst1.64         {d4-d5},  [r0,:128]!
nengel@2:         bx              lr
nengel@2: endfunc
nengel@2: 
nengel@2: function ff_float_to_int16_interleave_neon, export=1
nengel@2:         cmp             r3, #2
nengel@2:         ldrlt           r1, [r1]
nengel@2:         blt             ff_float_to_int16_neon
nengel@2:         bne             4f
nengel@2: 
nengel@2:         ldr             r3, [r1]
nengel@2:         ldr             r1, [r1, #4]
nengel@2: 
nengel@2:         subs            r2,  r2,  #8
nengel@2:         vld1.64         {d0-d1},  [r3,:128]!
nengel@2:         vcvt.s32.f32    q8,  q0,  #16
nengel@2:         vld1.64         {d2-d3},  [r3,:128]!
nengel@2:         vcvt.s32.f32    q9,  q1,  #16
nengel@2:         vld1.64         {d20-d21},[r1,:128]!
nengel@2:         vcvt.s32.f32    q10, q10, #16
nengel@2:         vld1.64         {d22-d23},[r1,:128]!
nengel@2:         vcvt.s32.f32    q11, q11, #16
nengel@2:         beq             3f
nengel@2:         bics            ip,  r2,  #15
nengel@2:         beq             2f
nengel@2: 1:      subs            ip,  ip,  #16
nengel@2:         vld1.64         {d0-d1},  [r3,:128]!
nengel@2:         vcvt.s32.f32    q0,  q0,  #16
nengel@2:         vsri.32         q10, q8,  #16
nengel@2:         vld1.64         {d2-d3},  [r3,:128]!
nengel@2:         vcvt.s32.f32    q1,  q1,  #16
nengel@2:         vld1.64         {d24-d25},[r1,:128]!
nengel@2:         vcvt.s32.f32    q12, q12, #16
nengel@2:         vld1.64         {d26-d27},[r1,:128]!
nengel@2:         vsri.32         q11, q9,  #16
nengel@2:         vst1.64         {d20-d21},[r0,:128]!
nengel@2:         vcvt.s32.f32    q13, q13, #16
nengel@2:         vst1.64         {d22-d23},[r0,:128]!
nengel@2:         vsri.32         q12, q0,  #16
nengel@2:         vld1.64         {d16-d17},[r3,:128]!
nengel@2:         vsri.32         q13, q1,  #16
nengel@2:         vst1.64         {d24-d25},[r0,:128]!
nengel@2:         vcvt.s32.f32    q8,  q8,  #16
nengel@2:         vld1.64         {d18-d19},[r3,:128]!
nengel@2:         vcvt.s32.f32    q9,  q9,  #16
nengel@2:         vld1.64         {d20-d21},[r1,:128]!
nengel@2:         vcvt.s32.f32    q10, q10, #16
nengel@2:         vld1.64         {d22-d23},[r1,:128]!
nengel@2:         vcvt.s32.f32    q11, q11, #16
nengel@2:         vst1.64         {d26-d27},[r0,:128]!
nengel@2:         bne             1b
nengel@2:         ands            r2,  r2,  #15
nengel@2:         beq             3f
nengel@2: 2:      vsri.32         q10, q8,  #16
nengel@2:         vld1.64         {d0-d1},  [r3,:128]!
nengel@2:         vcvt.s32.f32    q0,  q0,  #16
nengel@2:         vld1.64         {d2-d3},  [r3,:128]!
nengel@2:         vcvt.s32.f32    q1,  q1,  #16
nengel@2:         vld1.64         {d24-d25},[r1,:128]!
nengel@2:         vcvt.s32.f32    q12, q12, #16
nengel@2:         vsri.32         q11, q9,  #16
nengel@2:         vld1.64         {d26-d27},[r1,:128]!
nengel@2:         vcvt.s32.f32    q13, q13, #16
nengel@2:         vst1.64         {d20-d21},[r0,:128]!
nengel@2:         vsri.32         q12, q0,  #16
nengel@2:         vst1.64         {d22-d23},[r0,:128]!
nengel@2:         vsri.32         q13, q1,  #16
nengel@2:         vst1.64         {d24-d27},[r0,:128]!
nengel@2:         bx              lr
nengel@2: 3:      vsri.32         q10, q8,  #16
nengel@2:         vsri.32         q11, q9,  #16
nengel@2:         vst1.64         {d20-d23},[r0,:128]!
nengel@2:         bx              lr
nengel@2: 
nengel@2: 4:      push            {r4-r8,lr}
nengel@2:         cmp             r3,  #4
nengel@2:         lsl             ip,  r3,  #1
nengel@2:         blt             4f
nengel@2: 
nengel@2:         @ 4 channels
nengel@2: 5:      ldmia           r1!, {r4-r7}
nengel@2:         mov             lr,  r2
nengel@2:         mov             r8,  r0
nengel@2:         vld1.64         {d16-d17},[r4,:128]!
nengel@2:         vcvt.s32.f32    q8,  q8,  #16
nengel@2:         vld1.64         {d18-d19},[r5,:128]!
nengel@2:         vcvt.s32.f32    q9,  q9,  #16
nengel@2:         vld1.64         {d20-d21},[r6,:128]!
nengel@2:         vcvt.s32.f32    q10, q10, #16
nengel@2:         vld1.64         {d22-d23},[r7,:128]!
nengel@2:         vcvt.s32.f32    q11, q11, #16
nengel@2: 6:      subs            lr,  lr,  #8
nengel@2:         vld1.64         {d0-d1},  [r4,:128]!
nengel@2:         vcvt.s32.f32    q0,  q0,  #16
nengel@2:         vsri.32         q9,  q8,  #16
nengel@2:         vld1.64         {d2-d3},  [r5,:128]!
nengel@2:         vcvt.s32.f32    q1,  q1,  #16
nengel@2:         vsri.32         q11, q10, #16
nengel@2:         vld1.64         {d4-d5},  [r6,:128]!
nengel@2:         vcvt.s32.f32    q2,  q2,  #16
nengel@2:         vzip.32         d18, d22
nengel@2:         vld1.64         {d6-d7},  [r7,:128]!
nengel@2:         vcvt.s32.f32    q3,  q3,  #16
nengel@2:         vzip.32         d19, d23
nengel@2:         vst1.64         {d18},    [r8], ip
nengel@2:         vsri.32         q1,  q0,  #16
nengel@2:         vst1.64         {d22},    [r8], ip
nengel@2:         vsri.32         q3,  q2,  #16
nengel@2:         vst1.64         {d19},    [r8], ip
nengel@2:         vzip.32         d2,  d6
nengel@2:         vst1.64         {d23},    [r8], ip
nengel@2:         vzip.32         d3,  d7
nengel@2:         beq             7f
nengel@2:         vld1.64         {d16-d17},[r4,:128]!
nengel@2:         vcvt.s32.f32    q8,  q8,  #16
nengel@2:         vst1.64         {d2},     [r8], ip
nengel@2:         vld1.64         {d18-d19},[r5,:128]!
nengel@2:         vcvt.s32.f32    q9,  q9,  #16
nengel@2:         vst1.64         {d6},     [r8], ip
nengel@2:         vld1.64         {d20-d21},[r6,:128]!
nengel@2:         vcvt.s32.f32    q10, q10, #16
nengel@2:         vst1.64         {d3},     [r8], ip
nengel@2:         vld1.64         {d22-d23},[r7,:128]!
nengel@2:         vcvt.s32.f32    q11, q11, #16
nengel@2:         vst1.64         {d7},     [r8], ip
nengel@2:         b               6b
nengel@2: 7:      vst1.64         {d2},     [r8], ip
nengel@2:         vst1.64         {d6},     [r8], ip
nengel@2:         vst1.64         {d3},     [r8], ip
nengel@2:         vst1.64         {d7},     [r8], ip
nengel@2:         subs            r3,  r3,  #4
nengel@2:         popeq           {r4-r8,pc}
nengel@2:         cmp             r3,  #4
nengel@2:         add             r0,  r0,  #8
nengel@2:         bge             5b
nengel@2: 
nengel@2:         @ 2 channels
nengel@2: 4:      cmp             r3,  #2
nengel@2:         blt             4f
nengel@2:         ldmia           r1!, {r4-r5}
nengel@2:         mov             lr,  r2
nengel@2:         mov             r8,  r0
nengel@2:         tst             lr,  #8
nengel@2:         vld1.64         {d16-d17},[r4,:128]!
nengel@2:         vcvt.s32.f32    q8,  q8,  #16
nengel@2:         vld1.64         {d18-d19},[r5,:128]!
nengel@2:         vcvt.s32.f32    q9,  q9,  #16
nengel@2:         vld1.64         {d20-d21},[r4,:128]!
nengel@2:         vcvt.s32.f32    q10, q10, #16
nengel@2:         vld1.64         {d22-d23},[r5,:128]!
nengel@2:         vcvt.s32.f32    q11, q11, #16
nengel@2:         beq             6f
nengel@2:         subs            lr,  lr,  #8
nengel@2:         beq             7f
nengel@2:         vsri.32         d18, d16, #16
nengel@2:         vsri.32         d19, d17, #16
nengel@2:         vld1.64         {d16-d17},[r4,:128]!
nengel@2:         vcvt.s32.f32    q8,  q8,  #16
nengel@2:         vst1.32         {d18[0]}, [r8], ip
nengel@2:         vsri.32         d22, d20, #16
nengel@2:         vst1.32         {d18[1]}, [r8], ip
nengel@2:         vsri.32         d23, d21, #16
nengel@2:         vst1.32         {d19[0]}, [r8], ip
nengel@2:         vst1.32         {d19[1]}, [r8], ip
nengel@2:         vld1.64         {d18-d19},[r5,:128]!
nengel@2:         vcvt.s32.f32    q9,  q9,  #16
nengel@2:         vst1.32         {d22[0]}, [r8], ip
nengel@2:         vst1.32         {d22[1]}, [r8], ip
nengel@2:         vld1.64         {d20-d21},[r4,:128]!
nengel@2:         vcvt.s32.f32    q10, q10, #16
nengel@2:         vst1.32         {d23[0]}, [r8], ip
nengel@2:         vst1.32         {d23[1]}, [r8], ip
nengel@2:         vld1.64         {d22-d23},[r5,:128]!
nengel@2:         vcvt.s32.f32    q11, q11, #16
nengel@2: 6:      subs            lr,  lr,  #16
nengel@2:         vld1.64         {d0-d1},  [r4,:128]!
nengel@2:         vcvt.s32.f32    q0,  q0,  #16
nengel@2:         vsri.32         d18, d16, #16
nengel@2:         vld1.64         {d2-d3},  [r5,:128]!
nengel@2:         vcvt.s32.f32    q1,  q1,  #16
nengel@2:         vsri.32         d19, d17, #16
nengel@2:         vld1.64         {d4-d5},  [r4,:128]!
nengel@2:         vcvt.s32.f32    q2,  q2,  #16
nengel@2:         vld1.64         {d6-d7},  [r5,:128]!
nengel@2:         vcvt.s32.f32    q3,  q3,  #16
nengel@2:         vst1.32         {d18[0]}, [r8], ip
nengel@2:         vsri.32         d22, d20, #16
nengel@2:         vst1.32         {d18[1]}, [r8], ip
nengel@2:         vsri.32         d23, d21, #16
nengel@2:         vst1.32         {d19[0]}, [r8], ip
nengel@2:         vsri.32         d2,  d0,  #16
nengel@2:         vst1.32         {d19[1]}, [r8], ip
nengel@2:         vsri.32         d3,  d1,  #16
nengel@2:         vst1.32         {d22[0]}, [r8], ip
nengel@2:         vsri.32         d6,  d4,  #16
nengel@2:         vst1.32         {d22[1]}, [r8], ip
nengel@2:         vsri.32         d7,  d5,  #16
nengel@2:         vst1.32         {d23[0]}, [r8], ip
nengel@2:         vst1.32         {d23[1]}, [r8], ip
nengel@2:         beq             6f
nengel@2:         vld1.64         {d16-d17},[r4,:128]!
nengel@2:         vcvt.s32.f32    q8,  q8,  #16
nengel@2:         vst1.32         {d2[0]},  [r8], ip
nengel@2:         vst1.32         {d2[1]},  [r8], ip
nengel@2:         vld1.64         {d18-d19},[r5,:128]!
nengel@2:         vcvt.s32.f32    q9,  q9,  #16
nengel@2:         vst1.32         {d3[0]},  [r8], ip
nengel@2:         vst1.32         {d3[1]},  [r8], ip
nengel@2:         vld1.64         {d20-d21},[r4,:128]!
nengel@2:         vcvt.s32.f32    q10, q10, #16
nengel@2:         vst1.32         {d6[0]},  [r8], ip
nengel@2:         vst1.32         {d6[1]},  [r8], ip
nengel@2:         vld1.64         {d22-d23},[r5,:128]!
nengel@2:         vcvt.s32.f32    q11, q11, #16
nengel@2:         vst1.32         {d7[0]},  [r8], ip
nengel@2:         vst1.32         {d7[1]},  [r8], ip
nengel@2:         bgt             6b
nengel@2: 6:      vst1.32         {d2[0]},  [r8], ip
nengel@2:         vst1.32         {d2[1]},  [r8], ip
nengel@2:         vst1.32         {d3[0]},  [r8], ip
nengel@2:         vst1.32         {d3[1]},  [r8], ip
nengel@2:         vst1.32         {d6[0]},  [r8], ip
nengel@2:         vst1.32         {d6[1]},  [r8], ip
nengel@2:         vst1.32         {d7[0]},  [r8], ip
nengel@2:         vst1.32         {d7[1]},  [r8], ip
nengel@2:         b               8f
nengel@2: 7:      vsri.32         d18, d16, #16
nengel@2:         vsri.32         d19, d17, #16
nengel@2:         vst1.32         {d18[0]}, [r8], ip
nengel@2:         vsri.32         d22, d20, #16
nengel@2:         vst1.32         {d18[1]}, [r8], ip
nengel@2:         vsri.32         d23, d21, #16
nengel@2:         vst1.32         {d19[0]}, [r8], ip
nengel@2:         vst1.32         {d19[1]}, [r8], ip
nengel@2:         vst1.32         {d22[0]}, [r8], ip
nengel@2:         vst1.32         {d22[1]}, [r8], ip
nengel@2:         vst1.32         {d23[0]}, [r8], ip
nengel@2:         vst1.32         {d23[1]}, [r8], ip
nengel@2: 8:      subs            r3,  r3,  #2
nengel@2:         add             r0,  r0,  #4
nengel@2:         popeq           {r4-r8,pc}
nengel@2: 
nengel@2:         @ 1 channel
nengel@2: 4:      ldr             r4,  [r1],#4
nengel@2:         tst             r2,  #8
nengel@2:         mov             lr,  r2
nengel@2:         mov             r5,  r0
nengel@2:         vld1.64         {d0-d1},  [r4,:128]!
nengel@2:         vcvt.s32.f32    q0,  q0,  #16
nengel@2:         vld1.64         {d2-d3},  [r4,:128]!
nengel@2:         vcvt.s32.f32    q1,  q1,  #16
nengel@2:         bne             8f
nengel@2: 6:      subs            lr,  lr,  #16
nengel@2:         vld1.64         {d4-d5},  [r4,:128]!
nengel@2:         vcvt.s32.f32    q2,  q2,  #16
nengel@2:         vld1.64         {d6-d7},  [r4,:128]!
nengel@2:         vcvt.s32.f32    q3,  q3,  #16
nengel@2:         vst1.16         {d0[1]},  [r5,:16], ip
nengel@2:         vst1.16         {d0[3]},  [r5,:16], ip
nengel@2:         vst1.16         {d1[1]},  [r5,:16], ip
nengel@2:         vst1.16         {d1[3]},  [r5,:16], ip
nengel@2:         vst1.16         {d2[1]},  [r5,:16], ip
nengel@2:         vst1.16         {d2[3]},  [r5,:16], ip
nengel@2:         vst1.16         {d3[1]},  [r5,:16], ip
nengel@2:         vst1.16         {d3[3]},  [r5,:16], ip
nengel@2:         beq             7f
nengel@2:         vld1.64         {d0-d1},  [r4,:128]!
nengel@2:         vcvt.s32.f32    q0,  q0,  #16
nengel@2:         vld1.64         {d2-d3},  [r4,:128]!
nengel@2:         vcvt.s32.f32    q1,  q1,  #16
nengel@2: 7:      vst1.16         {d4[1]},  [r5,:16], ip
nengel@2:         vst1.16         {d4[3]},  [r5,:16], ip
nengel@2:         vst1.16         {d5[1]},  [r5,:16], ip
nengel@2:         vst1.16         {d5[3]},  [r5,:16], ip
nengel@2:         vst1.16         {d6[1]},  [r5,:16], ip
nengel@2:         vst1.16         {d6[3]},  [r5,:16], ip
nengel@2:         vst1.16         {d7[1]},  [r5,:16], ip
nengel@2:         vst1.16         {d7[3]},  [r5,:16], ip
nengel@2:         bgt             6b
nengel@2:         pop             {r4-r8,pc}
nengel@2: 8:      subs            lr,  lr,  #8
nengel@2:         vst1.16         {d0[1]},  [r5,:16], ip
nengel@2:         vst1.16         {d0[3]},  [r5,:16], ip
nengel@2:         vst1.16         {d1[1]},  [r5,:16], ip
nengel@2:         vst1.16         {d1[3]},  [r5,:16], ip
nengel@2:         vst1.16         {d2[1]},  [r5,:16], ip
nengel@2:         vst1.16         {d2[3]},  [r5,:16], ip
nengel@2:         vst1.16         {d3[1]},  [r5,:16], ip
nengel@2:         vst1.16         {d3[3]},  [r5,:16], ip
nengel@2:         popeq           {r4-r8,pc}
nengel@2:         vld1.64         {d0-d1},  [r4,:128]!
nengel@2:         vcvt.s32.f32    q0,  q0,  #16
nengel@2:         vld1.64         {d2-d3},  [r4,:128]!
nengel@2:         vcvt.s32.f32    q1,  q1,  #16
nengel@2:         b               6b
nengel@2: endfunc
nengel@2: 
nengel@2: function ff_vector_fmul_neon, export=1
nengel@2:         mov             r3,  r0
nengel@2:         subs            r2,  r2,  #8
nengel@2:         vld1.64         {d0-d3},  [r0,:128]!
nengel@2:         vld1.64         {d4-d7},  [r1,:128]!
nengel@2:         vmul.f32        q8,  q0,  q2
nengel@2:         vmul.f32        q9,  q1,  q3
nengel@2:         beq             3f
nengel@2:         bics            ip,  r2,  #15
nengel@2:         beq             2f
nengel@2: 1:      subs            ip,  ip,  #16
nengel@2:         vld1.64         {d0-d1},  [r0,:128]!
nengel@2:         vld1.64         {d4-d5},  [r1,:128]!
nengel@2:         vmul.f32        q10, q0,  q2
nengel@2:         vld1.64         {d2-d3},  [r0,:128]!
nengel@2:         vld1.64         {d6-d7},  [r1,:128]!
nengel@2:         vmul.f32        q11, q1,  q3
nengel@2:         vst1.64         {d16-d19},[r3,:128]!
nengel@2:         vld1.64         {d0-d1},  [r0,:128]!
nengel@2:         vld1.64         {d4-d5},  [r1,:128]!
nengel@2:         vmul.f32        q8,  q0,  q2
nengel@2:         vld1.64         {d2-d3},  [r0,:128]!
nengel@2:         vld1.64         {d6-d7},  [r1,:128]!
nengel@2:         vmul.f32        q9,  q1,  q3
nengel@2:         vst1.64         {d20-d23},[r3,:128]!
nengel@2:         bne             1b
nengel@2:         ands            r2,  r2,  #15
nengel@2:         beq             3f
nengel@2: 2:      vld1.64         {d0-d1},  [r0,:128]!
nengel@2:         vld1.64         {d4-d5},  [r1,:128]!
nengel@2:         vst1.64         {d16-d17},[r3,:128]!
nengel@2:         vmul.f32        q8,  q0,  q2
nengel@2:         vld1.64         {d2-d3},  [r0,:128]!
nengel@2:         vld1.64         {d6-d7},  [r1,:128]!
nengel@2:         vst1.64         {d18-d19},[r3,:128]!
nengel@2:         vmul.f32        q9,  q1,  q3
nengel@2: 3:      vst1.64         {d16-d19},[r3,:128]!
nengel@2:         bx              lr
nengel@2: endfunc
nengel@2: 
nengel@2: function ff_vector_fmul_window_neon, export=1
nengel@2: VFP     vdup.32         q8,  d0[0]
nengel@2: NOVFP   vld1.32         {d16[],d17[]}, [sp,:32]
nengel@2:         push            {r4,r5,lr}
nengel@2: VFP     ldr             lr,  [sp, #12]
nengel@2: NOVFP   ldr             lr,  [sp, #16]
nengel@2:         sub             r2,  r2,  #8
nengel@2:         sub             r5,  lr,  #2
nengel@2:         add             r2,  r2,  r5, lsl #2
nengel@2:         add             r4,  r3,  r5, lsl #3
nengel@2:         add             ip,  r0,  r5, lsl #3
nengel@2:         mov             r5,  #-16
nengel@2:         vld1.64         {d0,d1},  [r1,:128]!
nengel@2:         vld1.64         {d2,d3},  [r2,:128], r5
nengel@2:         vld1.64         {d4,d5},  [r3,:128]!
nengel@2:         vld1.64         {d6,d7},  [r4,:128], r5
nengel@2: 1:      subs            lr,  lr,  #4
nengel@2:         vmov            q11, q8
nengel@2:         vmla.f32        d22, d0,  d4
nengel@2:         vmov            q10, q8
nengel@2:         vmla.f32        d23, d1,  d5
nengel@2:         vrev64.32       q3,  q3
nengel@2:         vmla.f32        d20, d0,  d7
nengel@2:         vrev64.32       q1,  q1
nengel@2:         vmla.f32        d21, d1,  d6
nengel@2:         beq             2f
nengel@2:         vmla.f32        d22, d3,  d7
nengel@2:         vld1.64         {d0,d1},  [r1,:128]!
nengel@2:         vmla.f32        d23, d2,  d6
nengel@2:         vld1.64         {d18,d19},[r2,:128], r5
nengel@2:         vmls.f32        d20, d3,  d4
nengel@2:         vld1.64         {d24,d25},[r3,:128]!
nengel@2:         vmls.f32        d21, d2,  d5
nengel@2:         vld1.64         {d6,d7},  [r4,:128], r5
nengel@2:         vmov            q1,  q9
nengel@2:         vrev64.32       q11, q11
nengel@2:         vmov            q2,  q12
nengel@2:         vswp            d22, d23
nengel@2:         vst1.64         {d20,d21},[r0,:128]!
nengel@2:         vst1.64         {d22,d23},[ip,:128], r5
nengel@2:         b               1b
nengel@2: 2:      vmla.f32        d22, d3,  d7
nengel@2:         vmla.f32        d23, d2,  d6
nengel@2:         vmls.f32        d20, d3,  d4
nengel@2:         vmls.f32        d21, d2,  d5
nengel@2:         vrev64.32       q11, q11
nengel@2:         vswp            d22, d23
nengel@2:         vst1.64         {d20,d21},[r0,:128]!
nengel@2:         vst1.64         {d22,d23},[ip,:128], r5
nengel@2:         pop             {r4,r5,pc}
nengel@2: endfunc
nengel@2: 
nengel@2: #if CONFIG_VORBIS_DECODER
nengel@2: function ff_vorbis_inverse_coupling_neon, export=1
nengel@2:         vmov.i32        q10, #1<<31
nengel@2:         subs            r2,  r2,  #4
nengel@2:         mov             r3,  r0
nengel@2:         mov             r12, r1
nengel@2:         beq             3f
nengel@2: 
nengel@2:         vld1.32         {d24-d25},[r1,:128]!
nengel@2:         vld1.32         {d22-d23},[r0,:128]!
nengel@2:         vcle.s32        q8,  q12, #0
nengel@2:         vand            q9,  q11, q10
nengel@2:         veor            q12, q12, q9
nengel@2:         vand            q2,  q12, q8
nengel@2:         vbic            q3,  q12, q8
nengel@2:         vadd.f32        q12, q11, q2
nengel@2:         vsub.f32        q11, q11, q3
nengel@2: 1:      vld1.32         {d2-d3},  [r1,:128]!
nengel@2:         vld1.32         {d0-d1},  [r0,:128]!
nengel@2:         vcle.s32        q8,  q1,  #0
nengel@2:         vand            q9,  q0,  q10
nengel@2:         veor            q1,  q1,  q9
nengel@2:         vst1.32         {d24-d25},[r3, :128]!
nengel@2:         vst1.32         {d22-d23},[r12,:128]!
nengel@2:         vand            q2,  q1,  q8
nengel@2:         vbic            q3,  q1,  q8
nengel@2:         vadd.f32        q1,  q0,  q2
nengel@2:         vsub.f32        q0,  q0,  q3
nengel@2:         subs            r2,  r2,  #8
nengel@2:         ble             2f
nengel@2:         vld1.32         {d24-d25},[r1,:128]!
nengel@2:         vld1.32         {d22-d23},[r0,:128]!
nengel@2:         vcle.s32        q8,  q12, #0
nengel@2:         vand            q9,  q11, q10
nengel@2:         veor            q12, q12, q9
nengel@2:         vst1.32         {d2-d3},  [r3, :128]!
nengel@2:         vst1.32         {d0-d1},  [r12,:128]!
nengel@2:         vand            q2,  q12, q8
nengel@2:         vbic            q3,  q12, q8
nengel@2:         vadd.f32        q12, q11, q2
nengel@2:         vsub.f32        q11, q11, q3
nengel@2:         b               1b
nengel@2: 
nengel@2: 2:      vst1.32         {d2-d3},  [r3, :128]!
nengel@2:         vst1.32         {d0-d1},  [r12,:128]!
nengel@2:         bxlt            lr
nengel@2: 
nengel@2: 3:      vld1.32         {d2-d3},  [r1,:128]
nengel@2:         vld1.32         {d0-d1},  [r0,:128]
nengel@2:         vcle.s32        q8,  q1,  #0
nengel@2:         vand            q9,  q0,  q10
nengel@2:         veor            q1,  q1,  q9
nengel@2:         vand            q2,  q1,  q8
nengel@2:         vbic            q3,  q1,  q8
nengel@2:         vadd.f32        q1,  q0,  q2
nengel@2:         vsub.f32        q0,  q0,  q3
nengel@2:         vst1.32         {d2-d3},  [r0,:128]!
nengel@2:         vst1.32         {d0-d1},  [r1,:128]!
nengel@2:         bx              lr
nengel@2: endfunc
nengel@2: #endif
nengel@2: 
nengel@2: function ff_vector_fmul_scalar_neon, export=1
nengel@2: VFP     len .req r2
nengel@2: NOVFP   len .req r3
nengel@2: VFP     vdup.32         q8,  d0[0]
nengel@2: NOVFP   vdup.32         q8,  r2
nengel@2:         bics            r12, len, #15
nengel@2:         beq             3f
nengel@2:         vld1.32         {q0},[r1,:128]!
nengel@2:         vld1.32         {q1},[r1,:128]!
nengel@2: 1:      vmul.f32        q0,  q0,  q8
nengel@2:         vld1.32         {q2},[r1,:128]!
nengel@2:         vmul.f32        q1,  q1,  q8
nengel@2:         vld1.32         {q3},[r1,:128]!
nengel@2:         vmul.f32        q2,  q2,  q8
nengel@2:         vst1.32         {q0},[r0,:128]!
nengel@2:         vmul.f32        q3,  q3,  q8
nengel@2:         vst1.32         {q1},[r0,:128]!
nengel@2:         subs            r12, r12, #16
nengel@2:         beq             2f
nengel@2:         vld1.32         {q0},[r1,:128]!
nengel@2:         vst1.32         {q2},[r0,:128]!
nengel@2:         vld1.32         {q1},[r1,:128]!
nengel@2:         vst1.32         {q3},[r0,:128]!
nengel@2:         b               1b
nengel@2: 2:      vst1.32         {q2},[r0,:128]!
nengel@2:         vst1.32         {q3},[r0,:128]!
nengel@2:         ands            len, len, #15
nengel@2:         bxeq            lr
nengel@2: 3:      vld1.32         {q0},[r1,:128]!
nengel@2:         vmul.f32        q0,  q0,  q8
nengel@2:         vst1.32         {q0},[r0,:128]!
nengel@2:         subs            len, len, #4
nengel@2:         bgt             3b
nengel@2:         bx              lr
nengel@2:         .unreq          len
nengel@2: endfunc
nengel@2: 
nengel@2: function ff_vector_fmul_sv_scalar_2_neon, export=1
nengel@2: VFP     vdup.32         d16, d0[0]
nengel@2: NOVFP   vdup.32         d16, r3
nengel@2: NOVFP   ldr             r3,  [sp]
nengel@2:         vld1.32         {d0},[r1,:64]!
nengel@2:         vld1.32         {d1},[r1,:64]!
nengel@2: 1:      subs            r3,  r3,  #4
nengel@2:         vmul.f32        d4,  d0,  d16
nengel@2:         vmul.f32        d5,  d1,  d16
nengel@2:         ldr             r12, [r2], #4
nengel@2:         vld1.32         {d2},[r12,:64]
nengel@2:         ldr             r12, [r2], #4
nengel@2:         vld1.32         {d3},[r12,:64]
nengel@2:         vmul.f32        d4,  d4,  d2
nengel@2:         vmul.f32        d5,  d5,  d3
nengel@2:         beq             2f
nengel@2:         vld1.32         {d0},[r1,:64]!
nengel@2:         vld1.32         {d1},[r1,:64]!
nengel@2:         vst1.32         {d4},[r0,:64]!
nengel@2:         vst1.32         {d5},[r0,:64]!
nengel@2:         b               1b
nengel@2: 2:      vst1.32         {d4},[r0,:64]!
nengel@2:         vst1.32         {d5},[r0,:64]!
nengel@2:         bx              lr
nengel@2: endfunc
nengel@2: 
nengel@2: function ff_vector_fmul_sv_scalar_4_neon, export=1
nengel@2: VFP     vdup.32         q10, d0[0]
nengel@2: NOVFP   vdup.32         q10, r3
nengel@2: NOVFP   ldr             r3,  [sp]
nengel@2:         push            {lr}
nengel@2:         bics            lr,  r3,  #7
nengel@2:         beq             3f
nengel@2:         vld1.32         {q0},[r1,:128]!
nengel@2:         vld1.32         {q2},[r1,:128]!
nengel@2: 1:      ldr             r12, [r2], #4
nengel@2:         vld1.32         {q1},[r12,:128]
nengel@2:         ldr             r12, [r2], #4
nengel@2:         vld1.32         {q3},[r12,:128]
nengel@2:         vmul.f32        q8,  q0,  q10
nengel@2:         vmul.f32        q8,  q8,  q1
nengel@2:         vmul.f32        q9,  q2,  q10
nengel@2:         vmul.f32        q9,  q9,  q3
nengel@2:         subs            lr,  lr,  #8
nengel@2:         beq             2f
nengel@2:         vld1.32         {q0},[r1,:128]!
nengel@2:         vld1.32         {q2},[r1,:128]!
nengel@2:         vst1.32         {q8},[r0,:128]!
nengel@2:         vst1.32         {q9},[r0,:128]!
nengel@2:         b               1b
nengel@2: 2:      vst1.32         {q8},[r0,:128]!
nengel@2:         vst1.32         {q9},[r0,:128]!
nengel@2:         ands            r3,  r3,  #7
nengel@2:         popeq           {pc}
nengel@2: 3:      vld1.32         {q0},[r1,:128]!
nengel@2:         ldr             r12, [r2], #4
nengel@2:         vld1.32         {q1},[r12,:128]
nengel@2:         vmul.f32        q0,  q0,  q10
nengel@2:         vmul.f32        q0,  q0,  q1
nengel@2:         vst1.32         {q0},[r0,:128]!
nengel@2:         subs            r3,  r3,  #4
nengel@2:         bgt             3b
nengel@2:         pop             {pc}
nengel@2: endfunc
nengel@2: 
nengel@2: function ff_sv_fmul_scalar_2_neon, export=1
nengel@2: VFP     len .req r2
nengel@2: NOVFP   len .req r3
nengel@2: VFP     vdup.32         q8,  d0[0]
nengel@2: NOVFP   vdup.32         q8,  r2
nengel@2:         ldr             r12, [r1], #4
nengel@2:         vld1.32         {d0},[r12,:64]
nengel@2:         ldr             r12, [r1], #4
nengel@2:         vld1.32         {d1},[r12,:64]
nengel@2: 1:      vmul.f32        q1,  q0,  q8
nengel@2:         subs            len, len, #4
nengel@2:         beq             2f
nengel@2:         ldr             r12, [r1], #4
nengel@2:         vld1.32         {d0},[r12,:64]
nengel@2:         ldr             r12, [r1], #4
nengel@2:         vld1.32         {d1},[r12,:64]
nengel@2:         vst1.32         {q1},[r0,:128]!
nengel@2:         b               1b
nengel@2: 2:      vst1.32         {q1},[r0,:128]!
nengel@2:         bx              lr
nengel@2:         .unreq          len
nengel@2: endfunc
nengel@2: 
nengel@2: function ff_sv_fmul_scalar_4_neon, export=1
nengel@2: VFP     len .req r2
nengel@2: NOVFP   len .req r3
nengel@2: VFP     vdup.32         q8,  d0[0]
nengel@2: NOVFP   vdup.32         q8,  r2
nengel@2: 1:      ldr             r12, [r1], #4
nengel@2:         vld1.32         {q0},[r12,:128]
nengel@2:         vmul.f32        q0,  q0,  q8
nengel@2:         vst1.32         {q0},[r0,:128]!
nengel@2:         subs            len, len, #4
nengel@2:         bgt             1b
nengel@2:         bx              lr
nengel@2:         .unreq          len
nengel@2: endfunc
nengel@2: 
nengel@2: function ff_butterflies_float_neon, export=1
nengel@2: 1:      vld1.32         {q0},[r0,:128]
nengel@2:         vld1.32         {q1},[r1,:128]
nengel@2:         vsub.f32        q2,  q0,  q1
nengel@2:         vadd.f32        q1,  q0,  q1
nengel@2:         vst1.32         {q2},[r1,:128]!
nengel@2:         vst1.32         {q1},[r0,:128]!
nengel@2:         subs            r2,  r2,  #4
nengel@2:         bgt             1b
nengel@2:         bx              lr
nengel@2: endfunc
nengel@2: 
nengel@2: function ff_scalarproduct_float_neon, export=1
nengel@2:         vmov.f32        q2,  #0.0
nengel@2: 1:      vld1.32         {q0},[r0,:128]!
nengel@2:         vld1.32         {q1},[r1,:128]!
nengel@2:         vmla.f32        q2,  q0,  q1
nengel@2:         subs            r2,  r2,  #4
nengel@2:         bgt             1b
nengel@2:         vadd.f32        d0,  d4,  d5
nengel@2:         vpadd.f32       d0,  d0,  d0
nengel@2: NOVFP   vmov.32         r0,  d0[0]
nengel@2:         bx              lr
nengel@2: endfunc
nengel@2: 
nengel@2: function ff_int32_to_float_fmul_scalar_neon, export=1
nengel@2: VFP     vdup.32         q0,  d0[0]
nengel@2: VFP     len     .req    r2
nengel@2: NOVFP   vdup.32         q0,  r2
nengel@2: NOVFP   len     .req    r3
nengel@2: 
nengel@2:         vld1.32         {q1},[r1,:128]!
nengel@2:         vcvt.f32.s32    q3,  q1
nengel@2:         vld1.32         {q2},[r1,:128]!
nengel@2:         vcvt.f32.s32    q8,  q2
nengel@2: 1:      subs            len, len, #8
nengel@2:         pld             [r1, #16]
nengel@2:         vmul.f32        q9,  q3,  q0
nengel@2:         vmul.f32        q10, q8,  q0
nengel@2:         beq             2f
nengel@2:         vld1.32         {q1},[r1,:128]!
nengel@2:         vcvt.f32.s32    q3,  q1
nengel@2:         vld1.32         {q2},[r1,:128]!
nengel@2:         vcvt.f32.s32    q8,  q2
nengel@2:         vst1.32         {q9}, [r0,:128]!
nengel@2:         vst1.32         {q10},[r0,:128]!
nengel@2:         b               1b
nengel@2: 2:      vst1.32         {q9}, [r0,:128]!
nengel@2:         vst1.32         {q10},[r0,:128]!
nengel@2:         bx              lr
nengel@2:         .unreq  len
nengel@2: endfunc
nengel@2: 
nengel@2: function ff_vector_fmul_reverse_neon, export=1
nengel@2:         add             r2,  r2,  r3,  lsl #2
nengel@2:         sub             r2,  r2,  #32
nengel@2:         mov             r12, #-32
nengel@2:         vld1.32         {q0-q1},  [r1,:128]!
nengel@2:         vld1.32         {q2-q3},  [r2,:128], r12
nengel@2: 1:      pld             [r1, #32]
nengel@2:         vrev64.32       q3,  q3
nengel@2:         vmul.f32        d16, d0,  d7
nengel@2:         vmul.f32        d17, d1,  d6
nengel@2:         pld             [r2, #-32]
nengel@2:         vrev64.32       q2,  q2
nengel@2:         vmul.f32        d18, d2,  d5
nengel@2:         vmul.f32        d19, d3,  d4
nengel@2:         subs            r3,  r3,  #8
nengel@2:         beq             2f
nengel@2:         vld1.32         {q0-q1},  [r1,:128]!
nengel@2:         vld1.32         {q2-q3},  [r2,:128], r12
nengel@2:         vst1.32         {q8-q9},  [r0,:128]!
nengel@2:         b               1b
nengel@2: 2:      vst1.32         {q8-q9},  [r0,:128]!
nengel@2:         bx              lr
nengel@2: endfunc
nengel@2: 
nengel@2: function ff_vector_fmul_add_neon, export=1
nengel@2:         ldr             r12, [sp]
nengel@2:         vld1.32         {q0-q1},  [r1,:128]!
nengel@2:         vld1.32         {q8-q9},  [r2,:128]!
nengel@2:         vld1.32         {q2-q3},  [r3,:128]!
nengel@2:         vmul.f32        q10, q0,  q8
nengel@2:         vmul.f32        q11, q1,  q9
nengel@2: 1:      vadd.f32        q12, q2,  q10
nengel@2:         vadd.f32        q13, q3,  q11
nengel@2:         pld             [r1, #16]
nengel@2:         pld             [r2, #16]
nengel@2:         pld             [r3, #16]
nengel@2:         subs            r12, r12, #8
nengel@2:         beq             2f
nengel@2:         vld1.32         {q0},     [r1,:128]!
nengel@2:         vld1.32         {q8},     [r2,:128]!
nengel@2:         vmul.f32        q10, q0,  q8
nengel@2:         vld1.32         {q1},     [r1,:128]!
nengel@2:         vld1.32         {q9},     [r2,:128]!
nengel@2:         vmul.f32        q11, q1,  q9
nengel@2:         vld1.32         {q2-q3},  [r3,:128]!
nengel@2:         vst1.32         {q12-q13},[r0,:128]!
nengel@2:         b               1b
nengel@2: 2:      vst1.32         {q12-q13},[r0,:128]!
nengel@2:         bx              lr
nengel@2: endfunc
nengel@2: 
nengel@2: function ff_vector_clipf_neon, export=1
nengel@2: VFP     vdup.32         q1,  d0[1]
nengel@2: VFP     vdup.32         q0,  d0[0]
nengel@2: NOVFP   vdup.32         q0,  r2
nengel@2: NOVFP   vdup.32         q1,  r3
nengel@2: NOVFP   ldr             r2,  [sp]
nengel@2:         vld1.f32        {q2},[r1,:128]!
nengel@2:         vmin.f32        q10, q2,  q1
nengel@2:         vld1.f32        {q3},[r1,:128]!
nengel@2:         vmin.f32        q11, q3,  q1
nengel@2: 1:      vmax.f32        q8,  q10, q0
nengel@2:         vmax.f32        q9,  q11, q0
nengel@2:         subs            r2,  r2,  #8
nengel@2:         beq             2f
nengel@2:         vld1.f32        {q2},[r1,:128]!
nengel@2:         vmin.f32        q10, q2,  q1
nengel@2:         vld1.f32        {q3},[r1,:128]!
nengel@2:         vmin.f32        q11, q3,  q1
nengel@2:         vst1.f32        {q8},[r0,:128]!
nengel@2:         vst1.f32        {q9},[r0,:128]!
nengel@2:         b               1b
nengel@2: 2:      vst1.f32        {q8},[r0,:128]!
nengel@2:         vst1.f32        {q9},[r0,:128]!
nengel@2:         bx              lr
nengel@2: endfunc