1 | /* SPDX-License-Identifier: GPL-2.0 */ |
2 | /* GENmemcpy.S: Generic sparc64 memcpy. |
3 | * |
4 | * Copyright (C) 2007 David S. Miller (davem@davemloft.net) |
5 | */ |
6 | |
7 | #ifdef __KERNEL__ |
8 | #include <linux/linkage.h> |
9 | #define GLOBAL_SPARE %g7 |
10 | #else |
11 | #define GLOBAL_SPARE %g5 |
12 | #endif |
13 | |
14 | #ifndef EX_LD |
15 | #define EX_LD(x,y) x |
16 | #endif |
17 | |
18 | #ifndef EX_ST |
19 | #define EX_ST(x,y) x |
20 | #endif |
21 | |
22 | #ifndef LOAD |
23 | #define LOAD(type,addr,dest) type [addr], dest |
24 | #endif |
25 | |
26 | #ifndef STORE |
27 | #define STORE(type,src,addr) type src, [addr] |
28 | #endif |
29 | |
30 | #ifndef FUNC_NAME |
31 | #define FUNC_NAME GENmemcpy |
32 | #endif |
33 | |
34 | #ifndef PREAMBLE |
35 | #define PREAMBLE |
36 | #endif |
37 | |
38 | #ifndef XCC |
39 | #define XCC xcc |
40 | #endif |
41 | |
42 | .register %g2,#scratch |
43 | .register %g3,#scratch |
44 | |
45 | .text |
46 | |
47 | #ifndef EX_RETVAL |
48 | #define EX_RETVAL(x) x |
49 | ENTRY(GEN_retl_o4_1) |
50 | add %o4, %o2, %o4 |
51 | retl |
52 | add %o4, 1, %o0 |
53 | ENDPROC(GEN_retl_o4_1) |
54 | ENTRY(GEN_retl_g1_8) |
55 | add %g1, %o2, %g1 |
56 | retl |
57 | add %g1, 8, %o0 |
58 | ENDPROC(GEN_retl_g1_8) |
59 | ENTRY(GEN_retl_o2_4) |
60 | retl |
61 | add %o2, 4, %o0 |
62 | ENDPROC(GEN_retl_o2_4) |
63 | ENTRY(GEN_retl_o2_1) |
64 | retl |
65 | add %o2, 1, %o0 |
66 | ENDPROC(GEN_retl_o2_1) |
67 | #endif |
68 | |
69 | .align 64 |
70 | |
71 | .globl FUNC_NAME |
72 | .type FUNC_NAME,#function |
73 | FUNC_NAME: /* %o0=dst, %o1=src, %o2=len */ |
74 | srlx %o2, 31, %g2 |
75 | cmp %g2, 0 |
76 | tne %XCC, 5 |
77 | PREAMBLE |
78 | mov %o0, GLOBAL_SPARE |
79 | |
80 | cmp %o2, 0 |
81 | be,pn %XCC, 85f |
82 | or %o0, %o1, %o3 |
83 | cmp %o2, 16 |
84 | blu,a,pn %XCC, 80f |
85 | or %o3, %o2, %o3 |
86 | |
87 | xor %o0, %o1, %o4 |
88 | andcc %o4, 0x7, %g0 |
89 | bne,a,pn %XCC, 90f |
90 | sub %o0, %o1, %o3 |
91 | |
92 | and %o0, 0x7, %o4 |
93 | sub %o4, 0x8, %o4 |
94 | sub %g0, %o4, %o4 |
95 | sub %o2, %o4, %o2 |
96 | 1: subcc %o4, 1, %o4 |
97 | EX_LD(LOAD(ldub, %o1, %g1),GEN_retl_o4_1) |
98 | EX_ST(STORE(stb, %g1, %o0),GEN_retl_o4_1) |
99 | add %o1, 1, %o1 |
100 | bne,pt %XCC, 1b |
101 | add %o0, 1, %o0 |
102 | |
103 | andn %o2, 0x7, %g1 |
104 | sub %o2, %g1, %o2 |
105 | 1: subcc %g1, 0x8, %g1 |
106 | EX_LD(LOAD(ldx, %o1, %g2),GEN_retl_g1_8) |
107 | EX_ST(STORE(stx, %g2, %o0),GEN_retl_g1_8) |
108 | add %o1, 0x8, %o1 |
109 | bne,pt %XCC, 1b |
110 | add %o0, 0x8, %o0 |
111 | |
112 | brz,pt %o2, 85f |
113 | sub %o0, %o1, %o3 |
114 | ba,a,pt %XCC, 90f |
115 | |
116 | .align 64 |
117 | 80: /* 0 < len <= 16 */ |
118 | andcc %o3, 0x3, %g0 |
119 | bne,pn %XCC, 90f |
120 | sub %o0, %o1, %o3 |
121 | |
122 | 1: |
123 | subcc %o2, 4, %o2 |
124 | EX_LD(LOAD(lduw, %o1, %g1),GEN_retl_o2_4) |
125 | EX_ST(STORE(stw, %g1, %o1 + %o3),GEN_retl_o2_4) |
126 | bgu,pt %XCC, 1b |
127 | add %o1, 4, %o1 |
128 | |
129 | 85: retl |
130 | mov EX_RETVAL(GLOBAL_SPARE), %o0 |
131 | |
132 | .align 32 |
133 | 90: |
134 | subcc %o2, 1, %o2 |
135 | EX_LD(LOAD(ldub, %o1, %g1),GEN_retl_o2_1) |
136 | EX_ST(STORE(stb, %g1, %o1 + %o3),GEN_retl_o2_1) |
137 | bgu,pt %XCC, 90b |
138 | add %o1, 1, %o1 |
139 | retl |
140 | mov EX_RETVAL(GLOBAL_SPARE), %o0 |
141 | |
142 | .size FUNC_NAME, .-FUNC_NAME |
143 | |