PowerPC 2.03 SPE extension - first pass.
[qemu] / target-ppc / op_mem.h
1 /*
2  *  PowerPC emulation micro-operations for qemu.
3  * 
4  *  Copyright (c) 2003-2007 Jocelyn Mayer
5  *
6  * This library is free software; you can redistribute it and/or
7  * modify it under the terms of the GNU Lesser General Public
8  * License as published by the Free Software Foundation; either
9  * version 2 of the License, or (at your option) any later version.
10  *
11  * This library is distributed in the hope that it will be useful,
12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
14  * Lesser General Public License for more details.
15  *
16  * You should have received a copy of the GNU Lesser General Public
17  * License along with this library; if not, write to the Free Software
18  * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
19  */
20
21 static inline uint16_t glue(ld16r, MEMSUFFIX) (target_ulong EA)
22 {
23     uint16_t tmp = glue(lduw, MEMSUFFIX)(EA);
24     return ((tmp & 0xFF00) >> 8) | ((tmp & 0x00FF) << 8);
25 }
26
27 static inline int32_t glue(ld16rs, MEMSUFFIX) (target_ulong EA)
28 {
29     int16_t tmp = glue(lduw, MEMSUFFIX)(EA);
30     return (int16_t)((tmp & 0xFF00) >> 8) | ((tmp & 0x00FF) << 8);
31 }
32
33 static inline uint32_t glue(ld32r, MEMSUFFIX) (target_ulong EA)
34 {
35     uint32_t tmp = glue(ldl, MEMSUFFIX)(EA);
36     return ((tmp & 0xFF000000) >> 24) | ((tmp & 0x00FF0000) >> 8) |
37         ((tmp & 0x0000FF00) << 8) | ((tmp & 0x000000FF) << 24);
38 }
39
40 #if defined(TARGET_PPC64) || defined(TARGET_PPCSPE)
41 static inline uint64_t glue(ld64r, MEMSUFFIX) (target_ulong EA)
42 {
43     uint64_t tmp = glue(ldq, MEMSUFFIX)(EA);
44     return ((tmp & 0xFF00000000000000ULL) >> 56) |
45         ((tmp & 0x00FF000000000000ULL) >> 40) |
46         ((tmp & 0x0000FF0000000000ULL) >> 24) |
47         ((tmp & 0x000000FF00000000ULL) >> 8) |
48         ((tmp & 0x00000000FF000000ULL) << 8) |
49         ((tmp & 0x0000000000FF0000ULL) << 24) |
50         ((tmp & 0x000000000000FF00ULL) << 40) |
51         ((tmp & 0x00000000000000FFULL) << 54);
52 }
53 #endif
54
55 #if defined(TARGET_PPC64)
56 static inline int64_t glue(ldsl, MEMSUFFIX) (target_ulong EA)
57 {
58     return (int32_t)glue(ldl, MEMSUFFIX)(EA);
59 }
60
61 static inline int64_t glue(ld32rs, MEMSUFFIX) (target_ulong EA)
62 {
63     uint32_t tmp = glue(ldl, MEMSUFFIX)(EA);
64     return (int32_t)((tmp & 0xFF000000) >> 24) | ((tmp & 0x00FF0000) >> 8) |
65         ((tmp & 0x0000FF00) << 8) | ((tmp & 0x000000FF) << 24);
66 }
67 #endif
68
69 static inline void glue(st16r, MEMSUFFIX) (target_ulong EA, uint16_t data)
70 {
71     uint16_t tmp = ((data & 0xFF00) >> 8) | ((data & 0x00FF) << 8);
72     glue(stw, MEMSUFFIX)(EA, tmp);
73 }
74
75 static inline void glue(st32r, MEMSUFFIX) (target_ulong EA, uint32_t data)
76 {
77     uint32_t tmp = ((data & 0xFF000000) >> 24) | ((data & 0x00FF0000) >> 8) |
78         ((data & 0x0000FF00) << 8) | ((data & 0x000000FF) << 24);
79     glue(stl, MEMSUFFIX)(EA, tmp);
80 }
81
82 #if defined(TARGET_PPC64) || defined(TARGET_PPCSPE)
83 static inline void glue(st64r, MEMSUFFIX) (target_ulong EA, uint64_t data)
84 {
85     uint64_t tmp = ((data & 0xFF00000000000000ULL) >> 56) |
86         ((data & 0x00FF000000000000ULL) >> 40) |
87         ((data & 0x0000FF0000000000ULL) >> 24) |
88         ((data & 0x000000FF00000000ULL) >> 8) |
89         ((data & 0x00000000FF000000ULL) << 8) |
90         ((data & 0x0000000000FF0000ULL) << 24) |
91         ((data & 0x000000000000FF00ULL) << 40) |
92         ((data & 0x00000000000000FFULL) << 56);
93     glue(stq, MEMSUFFIX)(EA, tmp);
94 }
95 #endif
96
97 /***                             Integer load                              ***/
98 #define PPC_LD_OP(name, op)                                                   \
99 void OPPROTO glue(glue(op_l, name), MEMSUFFIX) (void)                         \
100 {                                                                             \
101     T1 = glue(op, MEMSUFFIX)((uint32_t)T0);                                   \
102     RETURN();                                                                 \
103 }
104
105 #if defined(TARGET_PPC64)
106 #define PPC_LD_OP_64(name, op)                                                \
107 void OPPROTO glue(glue(glue(op_l, name), _64), MEMSUFFIX) (void)              \
108 {                                                                             \
109     T1 = glue(op, MEMSUFFIX)((uint64_t)T0);                                   \
110     RETURN();                                                                 \
111 }
112 #endif
113
114 #define PPC_ST_OP(name, op)                                                   \
115 void OPPROTO glue(glue(op_st, name), MEMSUFFIX) (void)                        \
116 {                                                                             \
117     glue(op, MEMSUFFIX)((uint32_t)T0, T1);                                    \
118     RETURN();                                                                 \
119 }
120
121 #if defined(TARGET_PPC64)
122 #define PPC_ST_OP_64(name, op)                                                \
123 void OPPROTO glue(glue(glue(op_st, name), _64), MEMSUFFIX) (void)             \
124 {                                                                             \
125     glue(op, MEMSUFFIX)((uint64_t)T0, T1);                                    \
126     RETURN();                                                                 \
127 }
128 #endif
129
130 PPC_LD_OP(bz, ldub);
131 PPC_LD_OP(ha, ldsw);
132 PPC_LD_OP(hz, lduw);
133 PPC_LD_OP(wz, ldl);
134 #if defined(TARGET_PPC64)
135 PPC_LD_OP(d, ldq);
136 PPC_LD_OP(wa, ldsl);
137 PPC_LD_OP_64(d, ldq);
138 PPC_LD_OP_64(wa, ldsl);
139 PPC_LD_OP_64(bz, ldub);
140 PPC_LD_OP_64(ha, ldsw);
141 PPC_LD_OP_64(hz, lduw);
142 PPC_LD_OP_64(wz, ldl);
143 #endif
144
145 PPC_LD_OP(ha_le, ld16rs);
146 PPC_LD_OP(hz_le, ld16r);
147 PPC_LD_OP(wz_le, ld32r);
148 #if defined(TARGET_PPC64)
149 PPC_LD_OP(d_le, ld64r);
150 PPC_LD_OP(wa_le, ld32rs);
151 PPC_LD_OP_64(d_le, ld64r);
152 PPC_LD_OP_64(wa_le, ld32rs);
153 PPC_LD_OP_64(ha_le, ld16rs);
154 PPC_LD_OP_64(hz_le, ld16r);
155 PPC_LD_OP_64(wz_le, ld32r);
156 #endif
157
158 /***                              Integer store                            ***/
159 PPC_ST_OP(b, stb);
160 PPC_ST_OP(h, stw);
161 PPC_ST_OP(w, stl);
162 #if defined(TARGET_PPC64)
163 PPC_ST_OP(d, stq);
164 PPC_ST_OP_64(d, stq);
165 PPC_ST_OP_64(b, stb);
166 PPC_ST_OP_64(h, stw);
167 PPC_ST_OP_64(w, stl);
168 #endif
169
170 PPC_ST_OP(h_le, st16r);
171 PPC_ST_OP(w_le, st32r);
172 #if defined(TARGET_PPC64)
173 PPC_ST_OP(d_le, st64r);
174 PPC_ST_OP_64(d_le, st64r);
175 PPC_ST_OP_64(h_le, st16r);
176 PPC_ST_OP_64(w_le, st32r);
177 #endif
178
179 /***                Integer load and store with byte reverse               ***/
180 PPC_LD_OP(hbr, ld16r);
181 PPC_LD_OP(wbr, ld32r);
182 PPC_ST_OP(hbr, st16r);
183 PPC_ST_OP(wbr, st32r);
184 #if defined(TARGET_PPC64)
185 PPC_LD_OP_64(hbr, ld16r);
186 PPC_LD_OP_64(wbr, ld32r);
187 PPC_ST_OP_64(hbr, st16r);
188 PPC_ST_OP_64(wbr, st32r);
189 #endif
190
191 PPC_LD_OP(hbr_le, lduw);
192 PPC_LD_OP(wbr_le, ldl);
193 PPC_ST_OP(hbr_le, stw);
194 PPC_ST_OP(wbr_le, stl);
195 #if defined(TARGET_PPC64)
196 PPC_LD_OP_64(hbr_le, lduw);
197 PPC_LD_OP_64(wbr_le, ldl);
198 PPC_ST_OP_64(hbr_le, stw);
199 PPC_ST_OP_64(wbr_le, stl);
200 #endif
201
202 /***                    Integer load and store multiple                    ***/
203 void OPPROTO glue(op_lmw, MEMSUFFIX) (void)
204 {
205     glue(do_lmw, MEMSUFFIX)(PARAM1);
206     RETURN();
207 }
208
209 #if defined(TARGET_PPC64)
210 void OPPROTO glue(op_lmw_64, MEMSUFFIX) (void)
211 {
212     glue(do_lmw_64, MEMSUFFIX)(PARAM1);
213     RETURN();
214 }
215 #endif
216
217 void OPPROTO glue(op_lmw_le, MEMSUFFIX) (void)
218 {
219     glue(do_lmw_le, MEMSUFFIX)(PARAM1);
220     RETURN();
221 }
222
223 #if defined(TARGET_PPC64)
224 void OPPROTO glue(op_lmw_le_64, MEMSUFFIX) (void)
225 {
226     glue(do_lmw_le_64, MEMSUFFIX)(PARAM1);
227     RETURN();
228 }
229 #endif
230
231 void OPPROTO glue(op_stmw, MEMSUFFIX) (void)
232 {
233     glue(do_stmw, MEMSUFFIX)(PARAM1);
234     RETURN();
235 }
236
237 #if defined(TARGET_PPC64)
238 void OPPROTO glue(op_stmw_64, MEMSUFFIX) (void)
239 {
240     glue(do_stmw_64, MEMSUFFIX)(PARAM1);
241     RETURN();
242 }
243 #endif
244
245 void OPPROTO glue(op_stmw_le, MEMSUFFIX) (void)
246 {
247     glue(do_stmw_le, MEMSUFFIX)(PARAM1);
248     RETURN();
249 }
250
251 #if defined(TARGET_PPC64)
252 void OPPROTO glue(op_stmw_le_64, MEMSUFFIX) (void)
253 {
254     glue(do_stmw_le_64, MEMSUFFIX)(PARAM1);
255     RETURN();
256 }
257 #endif
258
259 /***                    Integer load and store strings                     ***/
260 void OPPROTO glue(op_lswi, MEMSUFFIX) (void)
261 {
262     glue(do_lsw, MEMSUFFIX)(PARAM1);
263     RETURN();
264 }
265
266 #if defined(TARGET_PPC64)
267 void OPPROTO glue(op_lswi_64, MEMSUFFIX) (void)
268 {
269     glue(do_lsw_64, MEMSUFFIX)(PARAM1);
270     RETURN();
271 }
272 #endif
273
274 void OPPROTO glue(op_lswi_le, MEMSUFFIX) (void)
275 {
276     glue(do_lsw_le, MEMSUFFIX)(PARAM1);
277     RETURN();
278 }
279
280 #if defined(TARGET_PPC64)
281 void OPPROTO glue(op_lswi_le_64, MEMSUFFIX) (void)
282 {
283     glue(do_lsw_le_64, MEMSUFFIX)(PARAM1);
284     RETURN();
285 }
286 #endif
287
288 /* PPC32 specification says we must generate an exception if
289  * rA is in the range of registers to be loaded.
290  * In an other hand, IBM says this is valid, but rA won't be loaded.
291  * For now, I'll follow the spec...
292  */
293 void OPPROTO glue(op_lswx, MEMSUFFIX) (void)
294 {
295     /* Note: T1 comes from xer_bc then no cast is needed */
296     if (likely(T1 != 0)) {
297         if (unlikely((PARAM1 < PARAM2 && (PARAM1 + T1) > PARAM2) ||
298                      (PARAM1 < PARAM3 && (PARAM1 + T1) > PARAM3))) {
299             do_raise_exception_err(EXCP_PROGRAM, EXCP_INVAL | EXCP_INVAL_LSWX);
300         } else {
301             glue(do_lsw, MEMSUFFIX)(PARAM1);
302         }
303     }
304     RETURN();
305 }
306
307 #if defined(TARGET_PPC64)
308 void OPPROTO glue(op_lswx_64, MEMSUFFIX) (void)
309 {
310     /* Note: T1 comes from xer_bc then no cast is needed */
311     if (likely(T1 != 0)) {
312         if (unlikely((PARAM1 < PARAM2 && (PARAM1 + T1) > PARAM2) ||
313                      (PARAM1 < PARAM3 && (PARAM1 + T1) > PARAM3))) {
314             do_raise_exception_err(EXCP_PROGRAM, EXCP_INVAL | EXCP_INVAL_LSWX);
315         } else {
316             glue(do_lsw_64, MEMSUFFIX)(PARAM1);
317         }
318     }
319     RETURN();
320 }
321 #endif
322
323 void OPPROTO glue(op_lswx_le, MEMSUFFIX) (void)
324 {
325     /* Note: T1 comes from xer_bc then no cast is needed */
326     if (likely(T1 != 0)) {
327         if (unlikely((PARAM1 < PARAM2 && (PARAM1 + T1) > PARAM2) ||
328                      (PARAM1 < PARAM3 && (PARAM1 + T1) > PARAM3))) {
329             do_raise_exception_err(EXCP_PROGRAM, EXCP_INVAL | EXCP_INVAL_LSWX);
330         } else {
331             glue(do_lsw_le, MEMSUFFIX)(PARAM1);
332         }
333     }
334     RETURN();
335 }
336
337 #if defined(TARGET_PPC64)
338 void OPPROTO glue(op_lswx_le_64, MEMSUFFIX) (void)
339 {
340     /* Note: T1 comes from xer_bc then no cast is needed */
341     if (likely(T1 != 0)) {
342         if (unlikely((PARAM1 < PARAM2 && (PARAM1 + T1) > PARAM2) ||
343                      (PARAM1 < PARAM3 && (PARAM1 + T1) > PARAM3))) {
344             do_raise_exception_err(EXCP_PROGRAM, EXCP_INVAL | EXCP_INVAL_LSWX);
345         } else {
346             glue(do_lsw_le_64, MEMSUFFIX)(PARAM1);
347         }
348     }
349     RETURN();
350 }
351 #endif
352
353 void OPPROTO glue(op_stsw, MEMSUFFIX) (void)
354 {
355     glue(do_stsw, MEMSUFFIX)(PARAM1);
356     RETURN();
357 }
358
359 #if defined(TARGET_PPC64)
360 void OPPROTO glue(op_stsw_64, MEMSUFFIX) (void)
361 {
362     glue(do_stsw_64, MEMSUFFIX)(PARAM1);
363     RETURN();
364 }
365 #endif
366
367 void OPPROTO glue(op_stsw_le, MEMSUFFIX) (void)
368 {
369     glue(do_stsw_le, MEMSUFFIX)(PARAM1);
370     RETURN();
371 }
372
373 #if defined(TARGET_PPC64)
374 void OPPROTO glue(op_stsw_le_64, MEMSUFFIX) (void)
375 {
376     glue(do_stsw_le_64, MEMSUFFIX)(PARAM1);
377     RETURN();
378 }
379 #endif
380
381 /***                         Floating-point store                          ***/
382 #define PPC_STF_OP(name, op)                                                  \
383 void OPPROTO glue(glue(op_st, name), MEMSUFFIX) (void)                        \
384 {                                                                             \
385     glue(op, MEMSUFFIX)((uint32_t)T0, FT0);                                   \
386     RETURN();                                                                 \
387 }
388
389 #if defined(TARGET_PPC64)
390 #define PPC_STF_OP_64(name, op)                                               \
391 void OPPROTO glue(glue(glue(op_st, name), _64), MEMSUFFIX) (void)             \
392 {                                                                             \
393     glue(op, MEMSUFFIX)((uint64_t)T0, FT0);                                   \
394     RETURN();                                                                 \
395 }
396 #endif
397
398 PPC_STF_OP(fd, stfq);
399 PPC_STF_OP(fs, stfl);
400 #if defined(TARGET_PPC64)
401 PPC_STF_OP_64(fd, stfq);
402 PPC_STF_OP_64(fs, stfl);
403 #endif
404
405 static inline void glue(stfqr, MEMSUFFIX) (target_ulong EA, double d)
406 {
407     union {
408         double d;
409         uint64_t u;
410     } u;
411
412     u.d = d;
413     u.u = ((u.u & 0xFF00000000000000ULL) >> 56) |
414         ((u.u & 0x00FF000000000000ULL) >> 40) |
415         ((u.u & 0x0000FF0000000000ULL) >> 24) |
416         ((u.u & 0x000000FF00000000ULL) >> 8) |
417         ((u.u & 0x00000000FF000000ULL) << 8) |
418         ((u.u & 0x0000000000FF0000ULL) << 24) |
419         ((u.u & 0x000000000000FF00ULL) << 40) |
420         ((u.u & 0x00000000000000FFULL) << 56);
421     glue(stfq, MEMSUFFIX)(EA, u.d);
422 }
423
424 static inline void glue(stflr, MEMSUFFIX) (target_ulong EA, float f)
425 {
426     union {
427         float f;
428         uint32_t u;
429     } u;
430
431     u.f = f;
432     u.u = ((u.u & 0xFF000000UL) >> 24) |
433         ((u.u & 0x00FF0000ULL) >> 8) |
434         ((u.u & 0x0000FF00UL) << 8) |
435         ((u.u & 0x000000FFULL) << 24);
436     glue(stfl, MEMSUFFIX)(EA, u.f);
437 }
438
439 PPC_STF_OP(fd_le, stfqr);
440 PPC_STF_OP(fs_le, stflr);
441 #if defined(TARGET_PPC64)
442 PPC_STF_OP_64(fd_le, stfqr);
443 PPC_STF_OP_64(fs_le, stflr);
444 #endif
445
446 /***                         Floating-point load                           ***/
447 #define PPC_LDF_OP(name, op)                                                  \
448 void OPPROTO glue(glue(op_l, name), MEMSUFFIX) (void)                         \
449 {                                                                             \
450     FT0 = glue(op, MEMSUFFIX)((uint32_t)T0);                                  \
451     RETURN();                                                                 \
452 }
453
454 #if defined(TARGET_PPC64)
455 #define PPC_LDF_OP_64(name, op)                                               \
456 void OPPROTO glue(glue(glue(op_l, name), _64), MEMSUFFIX) (void)              \
457 {                                                                             \
458     FT0 = glue(op, MEMSUFFIX)((uint64_t)T0);                                  \
459     RETURN();                                                                 \
460 }
461 #endif
462
463 PPC_LDF_OP(fd, ldfq);
464 PPC_LDF_OP(fs, ldfl);
465 #if defined(TARGET_PPC64)
466 PPC_LDF_OP_64(fd, ldfq);
467 PPC_LDF_OP_64(fs, ldfl);
468 #endif
469
470 static inline double glue(ldfqr, MEMSUFFIX) (target_ulong EA)
471 {
472     union {
473         double d;
474         uint64_t u;
475     } u;
476
477     u.d = glue(ldfq, MEMSUFFIX)(EA);
478     u.u = ((u.u & 0xFF00000000000000ULL) >> 56) |
479         ((u.u & 0x00FF000000000000ULL) >> 40) |
480         ((u.u & 0x0000FF0000000000ULL) >> 24) |
481         ((u.u & 0x000000FF00000000ULL) >> 8) |
482         ((u.u & 0x00000000FF000000ULL) << 8) |
483         ((u.u & 0x0000000000FF0000ULL) << 24) |
484         ((u.u & 0x000000000000FF00ULL) << 40) |
485         ((u.u & 0x00000000000000FFULL) << 56);
486
487     return u.d;
488 }
489
490 static inline float glue(ldflr, MEMSUFFIX) (target_ulong EA)
491 {
492     union {
493         float f;
494         uint32_t u;
495     } u;
496
497     u.f = glue(ldfl, MEMSUFFIX)(EA);
498     u.u = ((u.u & 0xFF000000UL) >> 24) |
499         ((u.u & 0x00FF0000ULL) >> 8) |
500         ((u.u & 0x0000FF00UL) << 8) |
501         ((u.u & 0x000000FFULL) << 24);
502
503     return u.f;
504 }
505
506 PPC_LDF_OP(fd_le, ldfqr);
507 PPC_LDF_OP(fs_le, ldflr);
508 #if defined(TARGET_PPC64)
509 PPC_LDF_OP_64(fd_le, ldfqr);
510 PPC_LDF_OP_64(fs_le, ldflr);
511 #endif
512
513 /* Load and set reservation */
514 void OPPROTO glue(op_lwarx, MEMSUFFIX) (void)
515 {
516     if (unlikely(T0 & 0x03)) {
517         do_raise_exception(EXCP_ALIGN);
518     } else {
519         T1 = glue(ldl, MEMSUFFIX)((uint32_t)T0);
520         regs->reserve = (uint32_t)T0;
521     }
522     RETURN();
523 }
524
525 #if defined(TARGET_PPC64)
526 void OPPROTO glue(op_lwarx_64, MEMSUFFIX) (void)
527 {
528     if (unlikely(T0 & 0x03)) {
529         do_raise_exception(EXCP_ALIGN);
530     } else {
531         T1 = glue(ldl, MEMSUFFIX)((uint64_t)T0);
532         regs->reserve = (uint64_t)T0;
533     }
534     RETURN();
535 }
536
537 void OPPROTO glue(op_ldarx_64, MEMSUFFIX) (void)
538 {
539     if (unlikely(T0 & 0x03)) {
540         do_raise_exception(EXCP_ALIGN);
541     } else {
542         T1 = glue(ldq, MEMSUFFIX)((uint64_t)T0);
543         regs->reserve = (uint64_t)T0;
544     }
545     RETURN();
546 }
547 #endif
548
549 void OPPROTO glue(op_lwarx_le, MEMSUFFIX) (void)
550 {
551     if (unlikely(T0 & 0x03)) {
552         do_raise_exception(EXCP_ALIGN);
553     } else {
554         T1 = glue(ld32r, MEMSUFFIX)((uint32_t)T0);
555         regs->reserve = (uint32_t)T0;
556     }
557     RETURN();
558 }
559
560 #if defined(TARGET_PPC64)
561 void OPPROTO glue(op_lwarx_le_64, MEMSUFFIX) (void)
562 {
563     if (unlikely(T0 & 0x03)) {
564         do_raise_exception(EXCP_ALIGN);
565     } else {
566         T1 = glue(ld32r, MEMSUFFIX)((uint64_t)T0);
567         regs->reserve = (uint64_t)T0;
568     }
569     RETURN();
570 }
571
572 void OPPROTO glue(op_ldarx_le_64, MEMSUFFIX) (void)
573 {
574     if (unlikely(T0 & 0x03)) {
575         do_raise_exception(EXCP_ALIGN);
576     } else {
577         T1 = glue(ld64r, MEMSUFFIX)((uint64_t)T0);
578         regs->reserve = (uint64_t)T0;
579     }
580     RETURN();
581 }
582 #endif
583
584 /* Store with reservation */
585 void OPPROTO glue(op_stwcx, MEMSUFFIX) (void)
586 {
587     if (unlikely(T0 & 0x03)) {
588         do_raise_exception(EXCP_ALIGN);
589     } else {
590         if (unlikely(regs->reserve != (uint32_t)T0)) {
591             env->crf[0] = xer_ov;
592         } else {
593             glue(stl, MEMSUFFIX)((uint32_t)T0, T1);
594             env->crf[0] = xer_ov | 0x02;
595         }
596     }
597     regs->reserve = -1;
598     RETURN();
599 }
600
601 #if defined(TARGET_PPC64)
602 void OPPROTO glue(op_stwcx_64, MEMSUFFIX) (void)
603 {
604     if (unlikely(T0 & 0x03)) {
605         do_raise_exception(EXCP_ALIGN);
606     } else {
607         if (unlikely(regs->reserve != (uint64_t)T0)) {
608             env->crf[0] = xer_ov;
609         } else {
610             glue(stl, MEMSUFFIX)((uint64_t)T0, T1);
611             env->crf[0] = xer_ov | 0x02;
612         }
613     }
614     regs->reserve = -1;
615     RETURN();
616 }
617
618 void OPPROTO glue(op_stdcx_64, MEMSUFFIX) (void)
619 {
620     if (unlikely(T0 & 0x03)) {
621         do_raise_exception(EXCP_ALIGN);
622     } else {
623         if (unlikely(regs->reserve != (uint64_t)T0)) {
624             env->crf[0] = xer_ov;
625         } else {
626             glue(stq, MEMSUFFIX)((uint64_t)T0, T1);
627             env->crf[0] = xer_ov | 0x02;
628         }
629     }
630     regs->reserve = -1;
631     RETURN();
632 }
633 #endif
634
635 void OPPROTO glue(op_stwcx_le, MEMSUFFIX) (void)
636 {
637     if (unlikely(T0 & 0x03)) {
638         do_raise_exception(EXCP_ALIGN);
639     } else {
640         if (unlikely(regs->reserve != (uint32_t)T0)) {
641             env->crf[0] = xer_ov;
642         } else {
643             glue(st32r, MEMSUFFIX)((uint32_t)T0, T1);
644             env->crf[0] = xer_ov | 0x02;
645         }
646     }
647     regs->reserve = -1;
648     RETURN();
649 }
650
651 #if defined(TARGET_PPC64)
652 void OPPROTO glue(op_stwcx_le_64, MEMSUFFIX) (void)
653 {
654     if (unlikely(T0 & 0x03)) {
655         do_raise_exception(EXCP_ALIGN);
656     } else {
657         if (unlikely(regs->reserve != (uint64_t)T0)) {
658             env->crf[0] = xer_ov;
659         } else {
660             glue(st32r, MEMSUFFIX)((uint64_t)T0, T1);
661             env->crf[0] = xer_ov | 0x02;
662         }
663     }
664     regs->reserve = -1;
665     RETURN();
666 }
667
668 void OPPROTO glue(op_stdcx_le_64, MEMSUFFIX) (void)
669 {
670     if (unlikely(T0 & 0x03)) {
671         do_raise_exception(EXCP_ALIGN);
672     } else {
673         if (unlikely(regs->reserve != (uint64_t)T0)) {
674             env->crf[0] = xer_ov;
675         } else {
676             glue(st64r, MEMSUFFIX)((uint64_t)T0, T1);
677             env->crf[0] = xer_ov | 0x02;
678         }
679     }
680     regs->reserve = -1;
681     RETURN();
682 }
683 #endif
684
685 void OPPROTO glue(op_dcbz, MEMSUFFIX) (void)
686 {
687     glue(stl, MEMSUFFIX)((uint32_t)(T0 + 0x00), 0);
688     glue(stl, MEMSUFFIX)((uint32_t)(T0 + 0x04), 0);
689     glue(stl, MEMSUFFIX)((uint32_t)(T0 + 0x08), 0);
690     glue(stl, MEMSUFFIX)((uint32_t)(T0 + 0x0C), 0);
691     glue(stl, MEMSUFFIX)((uint32_t)(T0 + 0x10), 0);
692     glue(stl, MEMSUFFIX)((uint32_t)(T0 + 0x14), 0);
693     glue(stl, MEMSUFFIX)((uint32_t)(T0 + 0x18), 0);
694     glue(stl, MEMSUFFIX)((uint32_t)(T0 + 0x1C), 0);
695 #if DCACHE_LINE_SIZE == 64
696     /* XXX: cache line size should be 64 for POWER & PowerPC 601 */
697     glue(stl, MEMSUFFIX)((uint32_t)(T0 + 0x20UL), 0);
698     glue(stl, MEMSUFFIX)((uint32_t)(T0 + 0x24UL), 0);
699     glue(stl, MEMSUFFIX)((uint32_t)(T0 + 0x28UL), 0);
700     glue(stl, MEMSUFFIX)((uint32_t)(T0 + 0x2CUL), 0);
701     glue(stl, MEMSUFFIX)((uint32_t)(T0 + 0x30UL), 0);
702     glue(stl, MEMSUFFIX)((uint32_t)(T0 + 0x34UL), 0);
703     glue(stl, MEMSUFFIX)((uint32_t)(T0 + 0x38UL), 0);
704     glue(stl, MEMSUFFIX)((uint32_t)(T0 + 0x3CUL), 0);
705 #endif
706     RETURN();
707 }
708
709 #if defined(TARGET_PPC64)
710 void OPPROTO glue(op_dcbz_64, MEMSUFFIX) (void)
711 {
712     glue(stl, MEMSUFFIX)((uint64_t)(T0 + 0x00), 0);
713     glue(stl, MEMSUFFIX)((uint64_t)(T0 + 0x04), 0);
714     glue(stl, MEMSUFFIX)((uint64_t)(T0 + 0x08), 0);
715     glue(stl, MEMSUFFIX)((uint64_t)(T0 + 0x0C), 0);
716     glue(stl, MEMSUFFIX)((uint64_t)(T0 + 0x10), 0);
717     glue(stl, MEMSUFFIX)((uint64_t)(T0 + 0x14), 0);
718     glue(stl, MEMSUFFIX)((uint64_t)(T0 + 0x18), 0);
719     glue(stl, MEMSUFFIX)((uint64_t)(T0 + 0x1C), 0);
720 #if DCACHE_LINE_SIZE == 64
721     /* XXX: cache line size should be 64 for POWER & PowerPC 601 */
722     glue(stl, MEMSUFFIX)((uint64_t)(T0 + 0x20UL), 0);
723     glue(stl, MEMSUFFIX)((uint64_t)(T0 + 0x24UL), 0);
724     glue(stl, MEMSUFFIX)((uint64_t)(T0 + 0x28UL), 0);
725     glue(stl, MEMSUFFIX)((uint64_t)(T0 + 0x2CUL), 0);
726     glue(stl, MEMSUFFIX)((uint64_t)(T0 + 0x30UL), 0);
727     glue(stl, MEMSUFFIX)((uint64_t)(T0 + 0x34UL), 0);
728     glue(stl, MEMSUFFIX)((uint64_t)(T0 + 0x38UL), 0);
729     glue(stl, MEMSUFFIX)((uint64_t)(T0 + 0x3CUL), 0);
730 #endif
731     RETURN();
732 }
733 #endif
734
735 /* Instruction cache block invalidate */
736 void OPPROTO glue(op_icbi, MEMSUFFIX) (void)
737 {
738     glue(do_icbi, MEMSUFFIX)();
739     RETURN();
740 }
741
742 #if defined(TARGET_PPC64)
743 void OPPROTO glue(op_icbi_64, MEMSUFFIX) (void)
744 {
745     glue(do_icbi_64, MEMSUFFIX)();
746     RETURN();
747 }
748 #endif
749
750 /* External access */
751 void OPPROTO glue(op_eciwx, MEMSUFFIX) (void)
752 {
753     T1 = glue(ldl, MEMSUFFIX)((uint32_t)T0);
754     RETURN();
755 }
756
757 #if defined(TARGET_PPC64)
758 void OPPROTO glue(op_eciwx_64, MEMSUFFIX) (void)
759 {
760     T1 = glue(ldl, MEMSUFFIX)((uint64_t)T0);
761     RETURN();
762 }
763 #endif
764
765 void OPPROTO glue(op_ecowx, MEMSUFFIX) (void)
766 {
767     glue(stl, MEMSUFFIX)((uint32_t)T0, T1);
768     RETURN();
769 }
770
771 #if defined(TARGET_PPC64)
772 void OPPROTO glue(op_ecowx_64, MEMSUFFIX) (void)
773 {
774     glue(stl, MEMSUFFIX)((uint64_t)T0, T1);
775     RETURN();
776 }
777 #endif
778
779 void OPPROTO glue(op_eciwx_le, MEMSUFFIX) (void)
780 {
781     T1 = glue(ld32r, MEMSUFFIX)((uint32_t)T0);
782     RETURN();
783 }
784
785 #if defined(TARGET_PPC64)
786 void OPPROTO glue(op_eciwx_le_64, MEMSUFFIX) (void)
787 {
788     T1 = glue(ld32r, MEMSUFFIX)((uint64_t)T0);
789     RETURN();
790 }
791 #endif
792
793 void OPPROTO glue(op_ecowx_le, MEMSUFFIX) (void)
794 {
795     glue(st32r, MEMSUFFIX)((uint32_t)T0, T1);
796     RETURN();
797 }
798
799 #if defined(TARGET_PPC64)
800 void OPPROTO glue(op_ecowx_le_64, MEMSUFFIX) (void)
801 {
802     glue(st32r, MEMSUFFIX)((uint64_t)T0, T1);
803     RETURN();
804 }
805 #endif
806
807 /* XXX: those micro-ops need tests ! */
808 /* PowerPC 601 specific instructions (POWER bridge) */
809 void OPPROTO glue(op_POWER_lscbx, MEMSUFFIX) (void)
810 {
811     /* When byte count is 0, do nothing */
812     if (likely(T1 != 0)) {
813         glue(do_POWER_lscbx, MEMSUFFIX)(PARAM1, PARAM2, PARAM3);
814     }
815     RETURN();
816 }
817
818 /* POWER2 quad load and store */
819 /* XXX: TAGs are not managed */
820 void OPPROTO glue(op_POWER2_lfq, MEMSUFFIX) (void)
821 {
822     glue(do_POWER2_lfq, MEMSUFFIX)();
823     RETURN();
824 }
825
826 void glue(op_POWER2_lfq_le, MEMSUFFIX) (void)
827 {
828     glue(do_POWER2_lfq_le, MEMSUFFIX)();
829     RETURN();
830 }
831
832 void OPPROTO glue(op_POWER2_stfq, MEMSUFFIX) (void)
833 {
834     glue(do_POWER2_stfq, MEMSUFFIX)();
835     RETURN();
836 }
837
838 void OPPROTO glue(op_POWER2_stfq_le, MEMSUFFIX) (void)
839 {
840     glue(do_POWER2_stfq_le, MEMSUFFIX)();
841     RETURN();
842 }
843
844 #if defined(TARGET_PPCSPE)
845 /* SPE extension */
846 #define _PPC_SPE_LD_OP(name, op)                                              \
847 void OPPROTO glue(glue(op_spe_l, name), MEMSUFFIX) (void)                     \
848 {                                                                             \
849     T1_64 = glue(op, MEMSUFFIX)((uint32_t)T0);                                \
850     RETURN();                                                                 \
851 }
852
853 #if defined(TARGET_PPC64)
854 #define _PPC_SPE_LD_OP_64(name, op)                                           \
855 void OPPROTO glue(glue(glue(op_spe_l, name), _64), MEMSUFFIX) (void)          \
856 {                                                                             \
857     T1_64 = glue(op, MEMSUFFIX)((uint64_t)T0);                                \
858     RETURN();                                                                 \
859 }
860 #define PPC_SPE_LD_OP(name, op)                                               \
861 _PPC_SPE_LD_OP(name, op);                                                     \
862 _PPC_SPE_LD_OP_64(name, op)
863 #else
864 #define PPC_SPE_LD_OP(name, op)                                               \
865 _PPC_SPE_LD_OP(name, op)
866 #endif
867
868
869 #define _PPC_SPE_ST_OP(name, op)                                              \
870 void OPPROTO glue(glue(op_spe_st, name), MEMSUFFIX) (void)                    \
871 {                                                                             \
872     glue(op, MEMSUFFIX)((uint32_t)T0, T1_64);                                 \
873     RETURN();                                                                 \
874 }
875
876 #if defined(TARGET_PPC64)
877 #define _PPC_SPE_ST_OP_64(name, op)                                           \
878 void OPPROTO glue(glue(glue(op_spe_st, name), _64), MEMSUFFIX) (void)         \
879 {                                                                             \
880     glue(op, MEMSUFFIX)((uint64_t)T0, T1_64);                                 \
881     RETURN();                                                                 \
882 }
883 #define PPC_SPE_ST_OP(name, op)                                               \
884 _PPC_SPE_ST_OP(name, op);                                                     \
885 _PPC_SPE_ST_OP_64(name, op)
886 #else
887 #define PPC_SPE_ST_OP(name, op)                                               \
888 _PPC_SPE_ST_OP(name, op)
889 #endif
890
891 #if !defined(TARGET_PPC64)
892 PPC_SPE_LD_OP(dd, ldq);
893 PPC_SPE_ST_OP(dd, stq);
894 PPC_SPE_LD_OP(dd_le, ld64r);
895 PPC_SPE_ST_OP(dd_le, st64r);
896 #endif
897 static inline uint64_t glue(spe_ldw, MEMSUFFIX) (target_ulong EA)
898 {
899     uint64_t ret;
900     ret = (uint64_t)glue(ldl, MEMSUFFIX)(EA) << 32;
901     ret |= (uint64_t)glue(ldl, MEMSUFFIX)(EA + 4);
902     return ret;
903 }
904 PPC_SPE_LD_OP(dw, spe_ldw);
905 static inline void glue(spe_stdw, MEMSUFFIX) (target_ulong EA, uint64_t data)
906 {
907     glue(stl, MEMSUFFIX)(EA, data >> 32);
908     glue(stl, MEMSUFFIX)(EA + 4, data);
909 }
910 PPC_SPE_ST_OP(dw, spe_stdw);
911 static inline uint64_t glue(spe_ldw_le, MEMSUFFIX) (target_ulong EA)
912 {
913     uint64_t ret;
914     ret = (uint64_t)glue(ld32r, MEMSUFFIX)(EA) << 32;
915     ret |= (uint64_t)glue(ld32r, MEMSUFFIX)(EA + 4);
916     return ret;
917 }
918 PPC_SPE_LD_OP(dw_le, spe_ldw_le);
919 static inline void glue(spe_stdw_le, MEMSUFFIX) (target_ulong EA,
920                                                  uint64_t data)
921 {
922     glue(st32r, MEMSUFFIX)(EA, data >> 32);
923     glue(st32r, MEMSUFFIX)(EA + 4, data);
924 }
925 PPC_SPE_ST_OP(dw_le, spe_stdw_le);
926 static inline uint64_t glue(spe_ldh, MEMSUFFIX) (target_ulong EA)
927 {
928     uint64_t ret;
929     ret = (uint64_t)glue(lduw, MEMSUFFIX)(EA) << 48;
930     ret |= (uint64_t)glue(lduw, MEMSUFFIX)(EA + 2) << 32;
931     ret |= (uint64_t)glue(lduw, MEMSUFFIX)(EA + 4) << 16;
932     ret |= (uint64_t)glue(lduw, MEMSUFFIX)(EA + 6);
933     return ret;
934 }
935 PPC_SPE_LD_OP(dh, spe_ldh);
936 static inline void glue(spe_stdh, MEMSUFFIX) (target_ulong EA, uint64_t data)
937 {
938     glue(stw, MEMSUFFIX)(EA, data >> 48);
939     glue(stw, MEMSUFFIX)(EA + 2, data >> 32);
940     glue(stw, MEMSUFFIX)(EA + 4, data >> 16);
941     glue(stw, MEMSUFFIX)(EA + 6, data);
942 }
943 PPC_SPE_ST_OP(dh, spe_stdh);
944 static inline uint64_t glue(spe_ldh_le, MEMSUFFIX) (target_ulong EA)
945 {
946     uint64_t ret;
947     ret = (uint64_t)glue(ld16r, MEMSUFFIX)(EA) << 48;
948     ret |= (uint64_t)glue(ld16r, MEMSUFFIX)(EA + 2) << 32;
949     ret |= (uint64_t)glue(ld16r, MEMSUFFIX)(EA + 4) << 16;
950     ret |= (uint64_t)glue(ld16r, MEMSUFFIX)(EA + 6);
951     return ret;
952 }
953 PPC_SPE_LD_OP(dh_le, spe_ldh_le);
954 static inline void glue(spe_stdh_le, MEMSUFFIX) (target_ulong EA,
955                                                  uint64_t data)
956 {
957     glue(st16r, MEMSUFFIX)(EA, data >> 48);
958     glue(st16r, MEMSUFFIX)(EA + 2, data >> 32);
959     glue(st16r, MEMSUFFIX)(EA + 4, data >> 16);
960     glue(st16r, MEMSUFFIX)(EA + 6, data);
961 }
962 PPC_SPE_ST_OP(dh_le, spe_stdh_le);
963 static inline uint64_t glue(spe_lwhe, MEMSUFFIX) (target_ulong EA)
964 {
965     uint64_t ret;
966     ret = (uint64_t)glue(lduw, MEMSUFFIX)(EA) << 48;
967     ret |= (uint64_t)glue(lduw, MEMSUFFIX)(EA + 2) << 16;
968     return ret;
969 }
970 PPC_SPE_LD_OP(whe, spe_lwhe);
971 static inline void glue(spe_stwhe, MEMSUFFIX) (target_ulong EA, uint64_t data)
972 {
973     glue(stw, MEMSUFFIX)(EA, data >> 48);
974     glue(stw, MEMSUFFIX)(EA + 2, data >> 16);
975 }
976 PPC_SPE_ST_OP(whe, spe_stwhe);
977 static inline uint64_t glue(spe_lwhe_le, MEMSUFFIX) (target_ulong EA)
978 {
979     uint64_t ret;
980     ret = (uint64_t)glue(ld16r, MEMSUFFIX)(EA) << 48;
981     ret |= (uint64_t)glue(ld16r, MEMSUFFIX)(EA + 2) << 16;
982     return ret;
983 }
984 PPC_SPE_LD_OP(whe_le, spe_lwhe_le);
985 static inline void glue(spe_stwhe_le, MEMSUFFIX) (target_ulong EA,
986                                                   uint64_t data)
987 {
988     glue(st16r, MEMSUFFIX)(EA, data >> 48);
989     glue(st16r, MEMSUFFIX)(EA + 2, data >> 16);
990 }
991 PPC_SPE_ST_OP(whe_le, spe_stwhe_le);
992 static inline uint64_t glue(spe_lwhou, MEMSUFFIX) (target_ulong EA)
993 {
994     uint64_t ret;
995     ret = (uint64_t)glue(lduw, MEMSUFFIX)(EA) << 32;
996     ret |= (uint64_t)glue(lduw, MEMSUFFIX)(EA + 2);
997     return ret;
998 }
999 PPC_SPE_LD_OP(whou, spe_lwhou);
1000 static inline uint64_t glue(spe_lwhos, MEMSUFFIX) (target_ulong EA)
1001 {
1002     uint64_t ret;
1003     ret = ((uint64_t)((int32_t)glue(ldsw, MEMSUFFIX)(EA))) << 32;
1004     ret |= (uint64_t)((int32_t)glue(ldsw, MEMSUFFIX)(EA + 2));
1005     return ret;
1006 }
1007 PPC_SPE_LD_OP(whos, spe_lwhos);
1008 static inline void glue(spe_stwho, MEMSUFFIX) (target_ulong EA, uint64_t data)
1009 {
1010     glue(stw, MEMSUFFIX)(EA, data >> 32);
1011     glue(stw, MEMSUFFIX)(EA + 2, data);
1012 }
1013 PPC_SPE_ST_OP(who, spe_stwho);
1014 static inline uint64_t glue(spe_lwhou_le, MEMSUFFIX) (target_ulong EA)
1015 {
1016     uint64_t ret;
1017     ret = (uint64_t)glue(ld16r, MEMSUFFIX)(EA) << 32;
1018     ret |= (uint64_t)glue(ld16r, MEMSUFFIX)(EA + 2);
1019     return ret;
1020 }
1021 PPC_SPE_LD_OP(whou_le, spe_lwhou_le);
1022 static inline uint64_t glue(spe_lwhos_le, MEMSUFFIX) (target_ulong EA)
1023 {
1024     uint64_t ret;
1025     ret = ((uint64_t)((int32_t)glue(ld16rs, MEMSUFFIX)(EA))) << 32;
1026     ret |= (uint64_t)((int32_t)glue(ld16rs, MEMSUFFIX)(EA + 2));
1027     return ret;
1028 }
1029 PPC_SPE_LD_OP(whos_le, spe_lwhos_le);
1030 static inline void glue(spe_stwho_le, MEMSUFFIX) (target_ulong EA,
1031                                                   uint64_t data)
1032 {
1033     glue(st16r, MEMSUFFIX)(EA, data >> 32);
1034     glue(st16r, MEMSUFFIX)(EA + 2, data);
1035 }
1036 PPC_SPE_ST_OP(who_le, spe_stwho_le);
1037 #if !defined(TARGET_PPC64)
1038 static inline void glue(spe_stwwo, MEMSUFFIX) (target_ulong EA, uint64_t data)
1039 {
1040     glue(stl, MEMSUFFIX)(EA, data);
1041 }
1042 PPC_SPE_ST_OP(wwo, spe_stwwo);
1043 static inline void glue(spe_stwwo_le, MEMSUFFIX) (target_ulong EA,
1044                                                  uint64_t data)
1045 {
1046     glue(st32r, MEMSUFFIX)(EA, data);
1047 }
1048 PPC_SPE_ST_OP(wwo_le, spe_stwwo_le);
1049 #endif
1050 static inline uint64_t glue(spe_lh, MEMSUFFIX) (target_ulong EA)
1051 {
1052     uint16_t tmp;
1053     tmp = glue(lduw, MEMSUFFIX)(EA);
1054     return ((uint64_t)tmp << 48) | ((uint64_t)tmp << 16);
1055 }
1056 PPC_SPE_LD_OP(h, spe_lh);
1057 static inline uint64_t glue(spe_lh_le, MEMSUFFIX) (target_ulong EA)
1058 {
1059     uint16_t tmp;
1060     tmp = glue(ld16r, MEMSUFFIX)(EA);
1061     return ((uint64_t)tmp << 48) | ((uint64_t)tmp << 16);
1062 }
1063 PPC_SPE_LD_OP(h_le, spe_lh_le);
1064 static inline uint64_t glue(spe_lwwsplat, MEMSUFFIX) (target_ulong EA)
1065 {
1066     uint32_t tmp;
1067     tmp = glue(ldl, MEMSUFFIX)(EA);
1068     return ((uint64_t)tmp << 32) | (uint64_t)tmp;
1069 }
1070 PPC_SPE_LD_OP(wwsplat, spe_lwwsplat);
1071 static inline uint64_t glue(spe_lwwsplat_le, MEMSUFFIX) (target_ulong EA)
1072 {
1073     uint32_t tmp;
1074     tmp = glue(ld32r, MEMSUFFIX)(EA);
1075     return ((uint64_t)tmp << 32) | (uint64_t)tmp;
1076 }
1077 PPC_SPE_LD_OP(wwsplat_le, spe_lwwsplat_le);
1078 static inline uint64_t glue(spe_lwhsplat, MEMSUFFIX) (target_ulong EA)
1079 {
1080     uint64_t ret;
1081     uint16_t tmp;
1082     tmp = glue(lduw, MEMSUFFIX)(EA);
1083     ret = ((uint64_t)tmp << 48) | ((uint64_t)tmp << 32);
1084     tmp = glue(lduw, MEMSUFFIX)(EA + 2);
1085     ret |= ((uint64_t)tmp << 16) | (uint64_t)tmp;
1086     return ret;
1087 }
1088 PPC_SPE_LD_OP(whsplat, spe_lwhsplat);
1089 static inline uint64_t glue(spe_lwhsplat_le, MEMSUFFIX) (target_ulong EA)
1090 {
1091     uint64_t ret;
1092     uint16_t tmp;
1093     tmp = glue(ld16r, MEMSUFFIX)(EA);
1094     ret = ((uint64_t)tmp << 48) | ((uint64_t)tmp << 32);
1095     tmp = glue(ld16r, MEMSUFFIX)(EA + 2);
1096     ret |= ((uint64_t)tmp << 16) | (uint64_t)tmp;
1097     return ret;
1098 }
1099 PPC_SPE_LD_OP(whsplat_le, spe_lwhsplat_le);
1100 #endif /* defined(TARGET_PPCSPE) */
1101
1102 #undef MEMSUFFIX