@/*****************************************************************************
@*
@* Copyright (C) 2012 Ittiam Systems Pvt Ltd, Bangalore
@*
@* Licensed under the Apache License, Version 2.0 (the "License");
@* you may not use this file except in compliance with the License.
@* You may obtain a copy of the License at:
@*
@* http://www.apache.org/licenses/LICENSE-2.0
@*
@* Unless required by applicable law or agreed to in writing, software
@* distributed under the License is distributed on an "AS IS" BASIS,
@* WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
@* See the License for the specific language governing permissions and
@* limitations under the License.
@*
@*****************************************************************************/
@/**
@ *******************************************************************************
@ * @file
@ * ihevc_itrans_recon_8x8_neon.s
@ *
@ * @brief
@ * contains function definitions for single stage inverse transform
@ *
@ * @author
@ * anand s
@ *
@ * @par list of functions:
@ * - ihevc_itrans_recon_16x16()
@ *
@ * @remarks
@ * none
@ *
@ *******************************************************************************
@*/
@/**
@ *******************************************************************************
@ *
@ * @brief
@ * this function performs inverse transform and reconstruction for 8x8
@ * input block
@ *
@ * @par description:
@ * performs inverse transform and adds the prediction data and clips output
@ * to 8 bit
@ *
@ * @param[in] pi2_src
@ * input 16x16 coefficients
@ *
@ * @param[in] pi2_tmp
@ * temporary 16x16 buffer for storing inverse
@ *
@ * transform
@ * 1st stage output
@ *
@ * @param[in] pu1_pred
@ * prediction 16x16 block
@ *
@ * @param[out] pu1_dst
@ * output 8x8 block
@ *
@ * @param[in] src_strd
@ * input stride
@ *
@ * @param[in] pred_strd
@ * prediction stride
@ *
@ * @param[in] dst_strd
@ * output stride
@ *
@ * @param[in] shift
@ * output shift
@ *
@ * @param[in] r12
@ * zero columns in pi2_src
@ *
@ * @returns void
@ *
@ * @remarks
@ * none
@ *
@ *******************************************************************************
@ */
@void ihevc_itrans_recon_16x16(word16 *pi2_src,
@ word16 *pi2_tmp,
@ uword8 *pu1_pred,
@ uword8 *pu1_dst,
@ word32 src_strd,
@ word32 pred_strd,
@ word32 dst_strd,
@ word32 r12
@ word32 r11 )
@**************variables vs registers*************************
@ r0 => *pi2_src
@ r1 => *pi2_tmp
@ r2 => *pu1_pred
@ r3 => *pu1_dst
@ src_strd
@ pred_strd
@ dst_strd
@ r12
@ r11
.equ src_stride_offset, 104
.equ pred_stride_offset, 108
.equ out_stride_offset, 112
.equ zero_cols_offset, 116
.equ zero_rows_offset, 120
.text
.align 4
.set shift_stage1_idct , 7
.set shift_stage2_idct , 12
@#define zero_cols r12
@#define zero_rows r11
.globl ihevc_itrans_recon_16x16_a9q
.extern g_ai2_ihevc_trans_16_transpose
g_ai2_ihevc_trans_16_transpose_addr:
.long g_ai2_ihevc_trans_16_transpose - ulbl1 - 8
.type ihevc_itrans_recon_16x16_a9q, %function
ihevc_itrans_recon_16x16_a9q:
stmfd sp!,{r4-r12,lr}
vpush {d8 - d15}
ldr r6,[sp,#src_stride_offset] @ src stride
ldr r12,[sp,#zero_cols_offset]
ldr r11,[sp,#zero_rows_offset]
ldr r14,g_ai2_ihevc_trans_16_transpose_addr
ulbl1:
add r14,r14,pc
vld1.16 {d0,d1,d2,d3},[r14] @//d0,d1 are used for storing the constant data
movw r7,#0xffff
and r12,r12,r7
and r11,r11,r7
mov r6,r6,lsl #1 @ x sizeof(word16)
add r9,r0,r6, lsl #1 @ 2 rows
add r10,r6,r6, lsl #1 @ 3 rows
add r5,r6,r6,lsl #2
movw r7,#0xfff0
cmp r12,r7
bge zero_12cols_decision
cmp r12,#0xff00
bge zero_8cols_decision
mov r14,#4
cmp r11,r7
rsbge r10,r6,#0
cmp r11,#0xff00
movge r8,r5
rsbge r8,r8,#0
movlt r8,r10
add r5,r5,r6,lsl #3
rsb r5,r5,#0
b first_stage_top_four_bottom_four
zero_12cols_decision:
mov r14,#1
cmp r11,#0xff00
movge r8,r5
movlt r8,r10
add r5,r5,r6,lsl #3
rsb r5,r5,#0
b first_stage_top_four_bottom_four
zero_8cols_decision:
mov r14,#2
mov r8,r5
rsb r8,r8,#0
cmp r11,#0xff00
movlt r8,r10
add r5,r5,r6,lsl #3
rsb r5,r5,#0
cmp r11,r7
rsbge r10,r6,#0
b first_stage_top_four_bottom_four
@d0[0]= 64 d2[0]=64
@d0[1]= 90 d2[1]=57
@d0[2]= 89 d2[2]=50
@d0[3]= 87 d2[3]=43
@d1[0]= 83 d3[0]=36
@d1[1]= 80 d3[1]=25
@d1[2]= 75 d3[2]=18
@d1[3]= 70 d3[3]=9
first_stage:
add r0,r0,#8
add r9,r9,#8
first_stage_top_four_bottom_four:
vld1.16 d10,[r0],r6
vld1.16 d11,[r9],r6
vld1.16 d6,[r0],r10
vld1.16 d7,[r9],r10
cmp r11,r7
bge skip_load4rows
vld1.16 d4,[r0],r6
vld1.16 d5,[r9],r6
vld1.16 d8,[r0],r8
vld1.16 d9,[r9],r8
@ registers used: q0,q1,q3,q5,q2,q4
@ d10 =r0
@d6= r1
@d11=r2
@d7=r3
skip_load4rows:
vmull.s16 q12,d6,d0[1] @// y1 * cos1(part of b0)
vmull.s16 q13,d6,d0[3] @// y1 * cos3(part of b1)
vmull.s16 q14,d6,d1[1] @// y1 * sin3(part of b2)
vmull.s16 q15,d6,d1[3] @// y1 * sin1(part of b3)
vmlal.s16 q12,d7,d0[3] @// y1 * cos1 + y3 * cos3(part of b0)
vmlal.s16 q13,d7,d2[1] @// y1 * cos3 - y3 * sin1(part of b1)
vmlal.s16 q14,d7,d3[3] @// y1 * sin3 - y3 * cos1(part of b2)
vmlsl.s16 q15,d7,d2[3] @// y1 * sin1 - y3 * sin3(part of b3)
vmull.s16 q6,d10,d0[0]
vmlal.s16 q6,d11,d0[2]
vmull.s16 q7,d10,d0[0]
vmlal.s16 q7,d11,d1[2]
vmull.s16 q8,d10,d0[0]
vmlal.s16 q8,d11,d2[2]
vmull.s16 q9,d10,d0[0]
vmlal.s16 q9,d11,d3[2]
bge skip_last12rows_kernel1
vmlal.s16 q12,d8,d1[1]
vmlal.s16 q13,d8,d3[3]
vmlsl.s16 q14,d8,d1[3]
vmlsl.s16 q15,d8,d0[3]
vmlal.s16 q12,d9,d1[3]
vmlsl.s16 q13,d9,d2[3]
vmlsl.s16 q14,d9,d0[3]
vmlal.s16 q15,d9,d3[3]
vmlal.s16 q6,d4,d1[0]
vmlal.s16 q6,d5,d1[2]
vmlal.s16 q7,d4,d3[0]
vmlsl.s16 q7,d5,d3[2]
vmlsl.s16 q8,d4,d3[0]
vmlsl.s16 q8,d5,d0[2]
vmlsl.s16 q9,d4,d1[0]
vmlsl.s16 q9,d5,d2[2]
@d0[0]= 64 d2[0]=64
@d0[1]= 90 d2[1]=57
@d0[2]= 89 d2[2]=50
@d0[3]= 87 d2[3]=43
@d1[0]= 83 d3[0]=36
@d1[1]= 80 d3[1]=25
@d1[2]= 75 d3[2]=18
@d1[3]= 70 d3[3]=9
cmp r11,#0xff00
bge skip_last12rows_kernel1
vld1.16 d10,[r0],r6
vld1.16 d11,[r9],r6
vld1.16 d6,[r0],r10
vld1.16 d7,[r9],r10
vld1.16 d4,[r0],r6
vld1.16 d5,[r9],r6
vld1.16 d8,[r0],r5
vld1.16 d9,[r9],r5
vmlal.s16 q12,d6,d2[1] @// y1 * cos1(part of b0)
vmlsl.s16 q13,d6,d1[1] @// y1 * cos3(part of b1)
vmlsl.s16 q14,d6,d3[1] @// y1 * sin3(part of b2)
vmlal.s16 q15,d6,d0[1] @// y1 * sin1(part of b3)
vmlal.s16 q12,d7,d2[3] @// y1 * cos1 + y3 * cos3(part of b0)
vmlsl.s16 q13,d7,d0[1] @// y1 * cos3 - y3 * sin1(part of b1)
vmlal.s16 q14,d7,d2[1] @// y1 * sin3 - y3 * cos1(part of b2)
vmlal.s16 q15,d7,d3[1] @// y1 * sin1 - y3 * sin3(part of b3)
vmlal.s16 q12,d8,d3[1]
vmlsl.s16 q13,d8,d1[3]
vmlal.s16 q14,d8,d0[1]
vmlsl.s16 q15,d8,d1[1]
vmlal.s16 q12,d9,d3[3]
vmlsl.s16 q13,d9,d3[1]
vmlal.s16 q14,d9,d2[3]
vmlsl.s16 q15,d9,d2[1]
vmlal.s16 q6,d10,d0[0]
vmlal.s16 q6,d11,d2[2]
vmlal.s16 q6,d4,d3[0]
vmlal.s16 q6,d5,d3[2]
vmlsl.s16 q7,d10,d0[0]
vmlsl.s16 q7,d11,d0[2]
vmlsl.s16 q7,d4,d1[0]
vmlsl.s16 q7,d5,d2[2]
vmlsl.s16 q8,d10,d0[0]
vmlal.s16 q8,d11,d3[2]
vmlal.s16 q8,d4,d1[0]
vmlal.s16 q8,d5,d1[2]
vmlal.s16 q9,d10,d0[0]
vmlal.s16 q9,d11,d1[2]
vmlsl.s16 q9,d4,d3[0]
vmlsl.s16 q9,d5,d0[2]
skip_last12rows_kernel1:
vadd.s32 q10,q6,q12
vsub.s32 q11,q6,q12
vadd.s32 q6,q7,q13
vsub.s32 q12,q7,q13
vadd.s32 q7,q8,q14
vsub.s32 q13,q8,q14
vadd.s32 q8,q9,q15
vsub.s32 q14,q9,q15
vqrshrn.s32 d30,q10,#shift_stage1_idct @// r0 = (a0 + b0 + rnd) >> 7(shift_stage1_idct)
vqrshrn.s32 d19,q11,#shift_stage1_idct @// r7 = (a0 - b0 + rnd) >> 7(shift_stage1_idct)
vqrshrn.s32 d31,q7,#shift_stage1_idct @// r2 = (a2 + b2 + rnd) >> 7(shift_stage1_idct)
vqrshrn.s32 d18,q13,#shift_stage1_idct @// r5 = (a2 - b2 + rnd) >> 7(shift_stage1_idct)
vqrshrn.s32 d12,q6,#shift_stage1_idct @// r1 = (a1 + b1 + rnd) >> 7(shift_stage1_idct)
vqrshrn.s32 d15,q12,#shift_stage1_idct @// r6 = (a1 - b1 + rnd) >> 7(shift_stage1_idct)
vqrshrn.s32 d13,q8,#shift_stage1_idct @// r3 = (a3 + b3 + rnd) >> 7(shift_stage1_idct)
vqrshrn.s32 d14,q14,#shift_stage1_idct @// r4 = (a3 - b3 + rnd) >> 7(shift_stage1_idct)
vst1.16 {d30,d31},[r1]!
vst1.16 {d18,d19},[r1]!
sub r1,r1,#32
bge skip_stage1_kernel_load
first_stage_middle_eight:
vld1.16 d10,[r0],r6
vld1.16 d11,[r9],r6
vld1.16 d6,[r0],r10
vld1.16 d7,[r9],r10
vld1.16 d4,[r0],r6
vld1.16 d5,[r9],r6
vld1.16 d8,[r0],r8
vld1.16 d9,[r9],r8
skip_stage1_kernel_load:
vmull.s16 q12,d6,d2[1] @// y1 * cos1(part of b0)
vmull.s16 q13,d6,d2[3] @// y1 * cos3(part of b1)
vmull.s16 q14,d6,d3[1] @// y1 * sin3(part of b2)
vmull.s16 q15,d6,d3[3] @// y1 * sin1(part of b3)
vmlsl.s16 q12,d7,d1[1] @// y1 * cos1 + y3 * cos3(part of b0)
vmlsl.s16 q13,d7,d0[1] @// y1 * cos3 - y3 * sin1(part of b1)
vmlsl.s16 q14,d7,d1[3] @// y1 * sin3 - y3 * cos1(part of b2)
vmlsl.s16 q15,d7,d3[1] @// y1 * sin1 - y3 * sin3(part of b3)
vmull.s16 q11,d10,d0[0]
vmlsl.s16 q11,d11,d3[2]
vmull.s16 q10,d10,d0[0]
vmlsl.s16 q10,d11,d2[2]
vmull.s16 q8,d10,d0[0]
vmlsl.s16 q8,d11,d1[2]
vmull.s16 q9,d10,d0[0]
vmlsl.s16 q9,d11,d0[2]
cmp r11,r7
bge skip_last12rows_kernel2
vmlsl.s16 q12,d8,d3[1]
vmlal.s16 q13,d8,d2[1]
vmlal.s16 q14,d8,d0[1]
vmlal.s16 q15,d8,d2[3]
vmlal.s16 q12,d9,d0[1]
vmlal.s16 q13,d9,d3[1]
vmlsl.s16 q14,d9,d1[1]
vmlsl.s16 q15,d9,d2[1]
vmlsl.s16 q11,d4,d1[0]
vmlal.s16 q11,d5,d2[2]
vmlsl.s16 q10,d4,d3[0]
vmlal.s16 q10,d5,d0[2]
vmlal.s16 q8,d4,d3[0]
vmlal.s16 q8,d5,d3[2]
vmlal.s16 q9,d4,d1[0]
vmlsl.s16 q9,d5,d1[2]
@d0[0]= 64 d2[0]=64
@d0[1]= 90 d2[1]=57
@d0[2]= 89 d2[2]=50
@d0[3]= 87 d2[3]=43
@d1[0]= 83 d3[0]=36
@d1[1]= 80 d3[1]=25
@d1[2]= 75 d3[2]=18
@d1[3]= 70 d3[3]=9
cmp r11,#0xff00
bge skip_last12rows_kernel2
vld1.16 d10,[r0],r6
vld1.16 d11,[r9],r6
vld1.16 d6,[r0],r10
vld1.16 d7,[r9],r10
vld1.16 d4,[r0],r6
vld1.16 d5,[r9],r6
vld1.16 d8,[r0],r5
vld1.16 d9,[r9],r5
vmlsl.s16 q12,d6,d3[3] @// y1 * cos1(part of b0)
vmlsl.s16 q13,d6,d0[3] @// y1 * cos3(part of b1)
vmlal.s16 q14,d6,d2[3] @// y1 * sin3(part of b2)
vmlal.s16 q15,d6,d1[3] @// y1 * sin1(part of b3)
vmlsl.s16 q12,d7,d0[3] @// y1 * cos1 + y3 * cos3(part of b0)
vmlal.s16 q13,d7,d1[3] @// y1 * cos3 - y3 * sin1(part of b1)
vmlal.s16 q14,d7,d3[3] @// y1 * sin3 - y3 * cos1(part of b2)
vmlsl.s16 q15,d7,d1[1] @// y1 * sin1 - y3 * sin3(part of b3)
vmlal.s16 q12,d8,d2[3]
vmlal.s16 q13,d8,d3[3]
vmlsl.s16 q14,d8,d2[1]
vmlal.s16 q15,d8,d0[3]
vmlal.s16 q12,d9,d1[3]
vmlsl.s16 q13,d9,d1[1]
vmlal.s16 q14,d9,d0[3]
vmlsl.s16 q15,d9,d0[1]
vmlal.s16 q11,d10,d0[0]
vmlsl.s16 q11,d11,d1[2]
vmlsl.s16 q11,d4,d3[0]
vmlal.s16 q11,d5,d0[2]
vmlsl.s16 q10,d10,d0[0]
vmlsl.s16 q10,d11,d3[2]
vmlal.s16 q10,d4,d1[0]
vmlsl.s16 q10,d5,d1[2]
vmlsl.s16 q8,d10,d0[0]
vmlal.s16 q8,d11,d0[2]
vmlsl.s16 q8,d4,d1[0]
vmlal.s16 q8,d5,d2[2]
vmlal.s16 q9,d10,d0[0]
vmlsl.s16 q9,d11,d2[2]
vmlal.s16 q9,d4,d3[0]
vmlsl.s16 q9,d5,d3[2]
skip_last12rows_kernel2:
vadd.s32 q2,q11,q12
vsub.s32 q11,q11,q12
vadd.s32 q3,q10,q13
vsub.s32 q12,q10,q13
vadd.s32 q5,q8,q14
vsub.s32 q13,q8,q14
vadd.s32 q8,q9,q15
vsub.s32 q14,q9,q15
vqrshrn.s32 d18,q2,#shift_stage1_idct @// r0 = (a0 + b0 + rnd) >> 7(shift_stage1_idct)
vqrshrn.s32 d31,q11,#shift_stage1_idct @// r7 = (a0 - b0 + rnd) >> 7(shift_stage1_idct)
vqrshrn.s32 d19,q5,#shift_stage1_idct @// r2 = (a2 + b2 + rnd) >> 7(shift_stage1_idct)
vqrshrn.s32 d30,q13,#shift_stage1_idct @// r5 = (a2 - b2 + rnd) >> 7(shift_stage1_idct)
vqrshrn.s32 d20,q3,#shift_stage1_idct @// r1 = (a1 + b1 + rnd) >> 7(shift_stage1_idct)
vqrshrn.s32 d23,q12,#shift_stage1_idct @// r6 = (a1 - b1 + rnd) >> 7(shift_stage1_idct)
vqrshrn.s32 d21,q8,#shift_stage1_idct @// r3 = (a3 + b3 + rnd) >> 7(shift_stage1_idct)
vqrshrn.s32 d22,q14,#shift_stage1_idct @// r4 = (a3 - b3 + rnd) >> 7(shift_stage1_idct)
@ registers used: {q2,q4,q6,q7}, {q9,q15,q10,q11}
vld1.16 {d4,d5},[r1]!
vld1.16 {d8,d9},[r1]!
sub r1,r1,#32
@d4=r0
@d12=r1
@d5=r2
@d13=r3
@d18=r4
@d20=r5
@d19=r6
@d21=r7
@d22=r8
@d30=r9
@d23=r10
@d31=r11
@d14=r12
@d8=r13
@d15=r14
@d9=r15
vtrn.16 q2,q6
vtrn.16 q9,q10
vtrn.16 q11,q15
vtrn.16 q7,q4
vtrn.32 d4,d5
vtrn.32 d12,d13
vtrn.32 d18,d19
vtrn.32 d20,d21
vtrn.32 d22,d23
vtrn.32 d30,d31
vtrn.32 d14,d15
vtrn.32 d8,d9
@ d4 =r0 1- 4 values
@ d5 =r2 1- 4 values
@ d12=r1 1- 4 values
@ d13=r3 1- 4 values
@ d18 =r0 5- 8 values
@ d19 =r2 5- 8 values
@ d20=r1 5- 8 values
@ d21=r3 5- 8 values
@ d22 =r0 9- 12 values
@ d23 =r2 9- 12 values
@ d30=r1 9- 12 values
@ d31=r3 9- 12 values
@ d14 =r0 13-16 values
@ d15 =r2 13- 16 values
@ d8=r1 13- 16 values
@ d9=r3 13- 16 values
vst1.16 {q2},[r1]!
vst1.16 {q6},[r1]!
vst1.16 {q9},[r1]!
vst1.16 {q10},[r1]!
vst1.16 {q11},[r1]!
vst1.16 {q15},[r1]!
vst1.16 {q7},[r1]!
vst1.16 {q4},[r1]!
subs r14,r14,#1
bne first_stage
mov r6,r7
ldr r8,[sp,#pred_stride_offset] @ prediction stride
ldr r7,[sp,#out_stride_offset] @ destination stride
mov r10,#16
cmp r12,r6
subge r1,r1,#128
bge label1
cmp r12,#0xff00
subge r1,r1,#256
bge label_2
sub r1,r1,#512
rsb r10,r10,#0
label_2:
add r9,r1,#128
add r11,r9,#128
add r0,r11,#128
label1:
@ mov r6,r1
mov r14,#4
add r4,r2,r8, lsl #1 @ r4 = r2 + pred_strd * 2 => r4 points to 3rd row of pred data
add r5,r8,r8, lsl #1 @
@ add r0,r3,r7, lsl #1 @ r0 points to 3rd row of dest data
@ add r10,r7,r7, lsl #1 @
second_stage:
vld1.16 {d10,d11},[r1]!
vld1.16 {d6,d7},[r1],r10
cmp r12,r6
bge second_stage_process
vld1.16 {d4,d5},[r9]!
vld1.16 {d8,d9},[r9],r10
second_stage_process:
vmull.s16 q12,d6,d0[1] @// y1 * cos1(part of b0)
vmull.s16 q13,d6,d0[3] @// y1 * cos3(part of b1)
vmull.s16 q14,d6,d1[1] @// y1 * sin3(part of b2)
vmull.s16 q15,d6,d1[3] @// y1 * sin1(part of b3)
vmlal.s16 q12,d7,d0[3] @// y1 * cos1 + y3 * cos3(part of b0)
vmlal.s16 q13,d7,d2[1] @// y1 * cos3 - y3 * sin1(part of b1)
vmlal.s16 q14,d7,d3[3] @// y1 * sin3 - y3 * cos1(part of b2)
vmlsl.s16 q15,d7,d2[3] @// y1 * sin1 - y3 * sin3(part of b3)
vmull.s16 q6,d10,d0[0]
vmlal.s16 q6,d11,d0[2]
vmull.s16 q7,d10,d0[0]
vmlal.s16 q7,d11,d1[2]
vmull.s16 q8,d10,d0[0]
vmlal.s16 q8,d11,d2[2]
vmull.s16 q9,d10,d0[0]
vmlal.s16 q9,d11,d3[2]
bge skip_last8rows_stage2_kernel1
vmlal.s16 q12,d8,d1[1]
vmlal.s16 q13,d8,d3[3]
vmlsl.s16 q14,d8,d1[3]
vmlsl.s16 q15,d8,d0[3]
vmlal.s16 q12,d9,d1[3]
vmlsl.s16 q13,d9,d2[3]
vmlsl.s16 q14,d9,d0[3]
vmlal.s16 q15,d9,d3[3]
vmlal.s16 q6,d4,d1[0]
vmlal.s16 q6,d5,d1[2]
vmlal.s16 q7,d4,d3[0]
vmlsl.s16 q7,d5,d3[2]
vmlsl.s16 q8,d4,d3[0]
vmlsl.s16 q8,d5,d0[2]
vmlsl.s16 q9,d4,d1[0]
vmlsl.s16 q9,d5,d2[2]
cmp r12,#0xff00
bge skip_last8rows_stage2_kernel1
vld1.16 {d10,d11},[r11]!
vld1.16 {d6,d7},[r11],r10
vld1.16 {d4,d5},[r0]!
vld1.16 {d8,d9},[r0],r10
vmlal.s16 q12,d6,d2[1] @// y1 * cos1(part of b0)
vmlsl.s16 q13,d6,d1[1] @// y1 * cos3(part of b1)
vmlsl.s16 q14,d6,d3[1] @// y1 * sin3(part of b2)
vmlal.s16 q15,d6,d0[1] @// y1 * sin1(part of b3)
vmlal.s16 q12,d7,d2[3] @// y1 * cos1 + y3 * cos3(part of b0)
vmlsl.s16 q13,d7,d0[1] @// y1 * cos3 - y3 * sin1(part of b1)
vmlal.s16 q14,d7,d2[1] @// y1 * sin3 - y3 * cos1(part of b2)
vmlal.s16 q15,d7,d3[1] @// y1 * sin1 - y3 * sin3(part of b3)
vmlal.s16 q12,d8,d3[1]
vmlsl.s16 q13,d8,d1[3]
vmlal.s16 q14,d8,d0[1]
vmlsl.s16 q15,d8,d1[1]
vmlal.s16 q12,d9,d3[3]
vmlsl.s16 q13,d9,d3[1]
vmlal.s16 q14,d9,d2[3]
vmlsl.s16 q15,d9,d2[1]
vmlal.s16 q6,d10,d0[0]
vmlal.s16 q6,d11,d2[2]
vmlal.s16 q6,d4,d3[0]
vmlal.s16 q6,d5,d3[2]
vmlsl.s16 q7,d10,d0[0]
vmlsl.s16 q7,d11,d0[2]
vmlsl.s16 q7,d4,d1[0]
vmlsl.s16 q7,d5,d2[2]
vmlsl.s16 q8,d10,d0[0]
vmlal.s16 q8,d11,d3[2]
vmlal.s16 q8,d4,d1[0]
vmlal.s16 q8,d5,d1[2]
vmlal.s16 q9,d10,d0[0]
vmlal.s16 q9,d11,d1[2]
vmlsl.s16 q9,d4,d3[0]
vmlsl.s16 q9,d5,d0[2]
skip_last8rows_stage2_kernel1:
vadd.s32 q10,q6,q12
vsub.s32 q11,q6,q12
vadd.s32 q6,q7,q13
vsub.s32 q12,q7,q13
vadd.s32 q7,q8,q14
vsub.s32 q13,q8,q14
vadd.s32 q8,q9,q15
vsub.s32 q14,q9,q15
vqrshrn.s32 d30,q10,#shift_stage2_idct @// r0 = (a0 + b0 + rnd) >> 7(shift_stage1_idct)
vqrshrn.s32 d19,q11,#shift_stage2_idct @// r7 = (a0 - b0 + rnd) >> 7(shift_stage1_idct)
vqrshrn.s32 d31,q7,#shift_stage2_idct @// r2 = (a2 + b2 + rnd) >> 7(shift_stage1_idct)
vqrshrn.s32 d18,q13,#shift_stage2_idct @// r5 = (a2 - b2 + rnd) >> 7(shift_stage1_idct)
vqrshrn.s32 d12,q6,#shift_stage2_idct @// r1 = (a1 + b1 + rnd) >> 7(shift_stage1_idct)
vqrshrn.s32 d15,q12,#shift_stage2_idct @// r6 = (a1 - b1 + rnd) >> 7(shift_stage1_idct)
vqrshrn.s32 d13,q8,#shift_stage2_idct @// r3 = (a3 + b3 + rnd) >> 7(shift_stage1_idct)
vqrshrn.s32 d14,q14,#shift_stage2_idct @// r4 = (a3 - b3 + rnd) >> 7(shift_stage1_idct)
bge skip_stage2_kernel_load
@q2,q4,q6,q7 is used
vld1.16 {d10,d11},[r1]!
vld1.16 {d6,d7},[r1]!
vld1.16 {d4,d5},[r9]!
vld1.16 {d8,d9},[r9]!
skip_stage2_kernel_load:
sub r1,r1,#32
vst1.16 {d30,d31},[r1]!
vst1.16 {d18,d19},[r1]!
sub r1,r1,#32
vmull.s16 q12,d6,d2[1] @// y1 * cos1(part of b0)
vmull.s16 q13,d6,d2[3] @// y1 * cos3(part of b1)
vmull.s16 q14,d6,d3[1] @// y1 * sin3(part of b2)
vmull.s16 q15,d6,d3[3] @// y1 * sin1(part of b3)
vmlsl.s16 q12,d7,d1[1] @// y1 * cos1 + y3 * cos3(part of b0)
vmlsl.s16 q13,d7,d0[1] @// y1 * cos3 - y3 * sin1(part of b1)
vmlsl.s16 q14,d7,d1[3] @// y1 * sin3 - y3 * cos1(part of b2)
vmlsl.s16 q15,d7,d3[1] @// y1 * sin1 - y3 * sin3(part of b3)
vmull.s16 q11,d10,d0[0]
vmlsl.s16 q11,d11,d3[2]
vmull.s16 q10,d10,d0[0]
vmlsl.s16 q10,d11,d2[2]
vmull.s16 q8,d10,d0[0]
vmlsl.s16 q8,d11,d1[2]
vmull.s16 q9,d10,d0[0]
vmlsl.s16 q9,d11,d0[2]
cmp r12,r6
bge skip_last8rows_stage2_kernel2
vmlsl.s16 q12,d8,d3[1]
vmlal.s16 q13,d8,d2[1]
vmlal.s16 q14,d8,d0[1]
vmlal.s16 q15,d8,d2[3]
vmlal.s16 q12,d9,d0[1]
vmlal.s16 q13,d9,d3[1]
vmlsl.s16 q14,d9,d1[1]
vmlsl.s16 q15,d9,d2[1]
vmlsl.s16 q11,d4,d1[0]
vmlal.s16 q11,d5,d2[2]
vmlsl.s16 q10,d4,d3[0]
vmlal.s16 q10,d5,d0[2]
vmlal.s16 q8,d4,d3[0]
vmlal.s16 q8,d5,d3[2]
vmlal.s16 q9,d4,d1[0]
vmlsl.s16 q9,d5,d1[2]
cmp r12,#0xff00
bge skip_last8rows_stage2_kernel2
vld1.16 {d10,d11},[r11]!
vld1.16 {d6,d7},[r11]!
vld1.16 {d4,d5},[r0]!
vld1.16 {d8,d9},[r0]!
vmlsl.s16 q12,d6,d3[3] @// y1 * cos1(part of b0)
vmlsl.s16 q13,d6,d0[3] @// y1 * cos3(part of b1)
vmlal.s16 q14,d6,d2[3] @// y1 * sin3(part of b2)
vmlal.s16 q15,d6,d1[3] @// y1 * sin1(part of b3)
vmlsl.s16 q12,d7,d0[3] @// y1 * cos1 + y3 * cos3(part of b0)
vmlal.s16 q13,d7,d1[3] @// y1 * cos3 - y3 * sin1(part of b1)
vmlal.s16 q14,d7,d3[3] @// y1 * sin3 - y3 * cos1(part of b2)
vmlsl.s16 q15,d7,d1[1] @// y1 * sin1 - y3 * sin3(part of b3)
vmlal.s16 q12,d8,d2[3]
vmlal.s16 q13,d8,d3[3]
vmlsl.s16 q14,d8,d2[1]
vmlal.s16 q15,d8,d0[3]
vmlal.s16 q12,d9,d1[3]
vmlsl.s16 q13,d9,d1[1]
vmlal.s16 q14,d9,d0[3]
vmlsl.s16 q15,d9,d0[1]
vmlal.s16 q11,d10,d0[0]
vmlsl.s16 q11,d11,d1[2]
vmlsl.s16 q11,d4,d3[0]
vmlal.s16 q11,d5,d0[2]
vmlsl.s16 q10,d10,d0[0]
vmlsl.s16 q10,d11,d3[2]
vmlal.s16 q10,d4,d1[0]
vmlsl.s16 q10,d5,d1[2]
vmlsl.s16 q8,d10,d0[0]
vmlal.s16 q8,d11,d0[2]
vmlsl.s16 q8,d4,d1[0]
vmlal.s16 q8,d5,d2[2]
vmlal.s16 q9,d10,d0[0]
vmlsl.s16 q9,d11,d2[2]
vmlal.s16 q9,d4,d3[0]
vmlsl.s16 q9,d5,d3[2]
skip_last8rows_stage2_kernel2:
vadd.s32 q2,q11,q12
vsub.s32 q11,q11,q12
vadd.s32 q3,q10,q13
vsub.s32 q12,q10,q13
vadd.s32 q5,q8,q14
vsub.s32 q13,q8,q14
vadd.s32 q8,q9,q15
vsub.s32 q14,q9,q15
vqrshrn.s32 d18,q2,#shift_stage2_idct @// r0 = (a0 + b0 + rnd) >> 7(shift_stage1_idct)
vqrshrn.s32 d31,q11,#shift_stage2_idct @// r7 = (a0 - b0 + rnd) >> 7(shift_stage1_idct)
vqrshrn.s32 d19,q5,#shift_stage2_idct @// r2 = (a2 + b2 + rnd) >> 7(shift_stage1_idct)
vqrshrn.s32 d30,q13,#shift_stage2_idct @// r5 = (a2 - b2 + rnd) >> 7(shift_stage1_idct)
vqrshrn.s32 d20,q3,#shift_stage2_idct @// r1 = (a1 + b1 + rnd) >> 7(shift_stage1_idct)
vqrshrn.s32 d23,q12,#shift_stage2_idct @// r6 = (a1 - b1 + rnd) >> 7(shift_stage1_idct)
vqrshrn.s32 d21,q8,#shift_stage2_idct @// r3 = (a3 + b3 + rnd) >> 7(shift_stage1_idct)
vqrshrn.s32 d22,q14,#shift_stage2_idct @// r4 = (a3 - b3 + rnd) >> 7(shift_stage1_idct)
vld1.16 {d4,d5},[r1]!
vld1.16 {d8,d9},[r1]!
@ registers used: {q2,q4,q6,q7}, {q9,q15,q10,q11}
@d4=r0
@d12=r1
@d5=r2
@d13=r3
@d18=r4
@d20=r5
@d19=r6
@d21=r7
@d22=r8
@d30=r9
@d23=r10
@d31=r11
@d14=r12
@d8=r13
@d15=r14
@d9=r15
vtrn.16 q2,q6
vtrn.16 q9,q10
vtrn.16 q11,q15
vtrn.16 q7,q4
vtrn.32 d4,d5
vtrn.32 d12,d13
vtrn.32 d18,d19
vtrn.32 d20,d21
vtrn.32 d22,d23
vtrn.32 d30,d31
vtrn.32 d14,d15
vtrn.32 d8,d9
@ d4 =r0 1- 4 values
@ d5 =r2 1- 4 values
@ d12=r1 1- 4 values
@ d13=r3 1- 4 values
@ d18 =r0 5- 8 values
@ d19 =r2 5- 8 values
@ d20=r1 5- 8 values
@ d21=r3 5- 8 values
@ d22 =r0 9- 12 values
@ d23 =r2 9- 12 values
@ d30=r1 9- 12 values
@ d31=r3 9- 12 values
@ d14 =r0 13-16 values
@ d15 =r2 13- 16 values
@ d8=r1 13- 16 values
@ d9=r3 13- 16 values
vswp d5,d18
vswp d23,d14
vswp d13,d20
vswp d31,d8
@ q2: r0 1-8 values
@ q11: r0 9-16 values
@ q9 : r2 1-8 values
@ q7 : r2 9-16 values
@ q6 : r1 1- 8 values
@ q10: r3 1-8 values
@ q15: r1 9-16 values
@ q4: r3 9-16 values
@ registers free: q8,q14,q12,q13
vld1.8 {d16,d17},[r2],r8
vld1.8 {d28,d29},[r2],r5
vld1.8 {d24,d25},[r4],r8
vld1.8 {d26,d27},[r4],r5
vaddw.u8 q2,q2,d16
vaddw.u8 q11,q11,d17
vaddw.u8 q6,q6,d28
vaddw.u8 q15,q15,d29
vaddw.u8 q9,q9,d24
vaddw.u8 q7,q7,d25
vaddw.u8 q10,q10,d26
vaddw.u8 q4,q4,d27
vqmovun.s16 d16,q2
vqmovun.s16 d17,q11
vqmovun.s16 d28,q6
vqmovun.s16 d29,q15
vqmovun.s16 d24,q9
vqmovun.s16 d25,q7
vqmovun.s16 d26,q10
vqmovun.s16 d27,q4
vst1.8 {d16,d17},[r3],r7
vst1.8 {d28,d29},[r3],r7
vst1.8 {d24,d25},[r3],r7
vst1.8 {d26,d27},[r3],r7
subs r14,r14,#1
bne second_stage
vpop {d8 - d15}
ldmfd sp!,{r4-r12,pc}