vcs.maemo.org Git - qemu/blob - target-i386/ops_sse.h

   1 /*
   2  *  MMX/SSE/SSE2/PNI support
   3  *
   4  *  Copyright (c) 2005 Fabrice Bellard
   5  *
   6  * This library is free software; you can redistribute it and/or
   7  * modify it under the terms of the GNU Lesser General Public
   8  * License as published by the Free Software Foundation; either
   9  * version 2 of the License, or (at your option) any later version.
  10  *
  11  * This library is distributed in the hope that it will be useful,
  12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  14  * Lesser General Public License for more details.
  15  *
  16  * You should have received a copy of the GNU Lesser General Public
  17  * License along with this library; if not, write to the Free Software
  18  * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
  19  */
  20 #if SHIFT == 0
  21 #define Reg MMXReg
  22 #define XMM_ONLY(x...)
  23 #define B(n) MMX_B(n)
  24 #define W(n) MMX_W(n)
  25 #define L(n) MMX_L(n)
  26 #define Q(n) q
  27 #define SUFFIX _mmx
  28 #else
  29 #define Reg XMMReg
  30 #define XMM_ONLY(x...) x
  31 #define B(n) XMM_B(n)
  32 #define W(n) XMM_W(n)
  33 #define L(n) XMM_L(n)
  34 #define Q(n) XMM_Q(n)
  35 #define SUFFIX _xmm
  36 #endif
  37
  38 void OPPROTO glue(op_psrlw, SUFFIX)(void)
  39 {
  40     Reg *d, *s;
  41     int shift;
  42
  43     d = (Reg *)((char *)env + PARAM1);
  44     s = (Reg *)((char *)env + PARAM2);
  45
  46     if (s->Q(0) > 15) {
  47         d->Q(0) = 0;
  48 #if SHIFT == 1
  49         d->Q(1) = 0;
  50 #endif
  51     } else {
  52         shift = s->B(0);
  53         d->W(0) >>= shift;
  54         d->W(1) >>= shift;
  55         d->W(2) >>= shift;
  56         d->W(3) >>= shift;
  57 #if SHIFT == 1
  58         d->W(4) >>= shift;
  59         d->W(5) >>= shift;
  60         d->W(6) >>= shift;
  61         d->W(7) >>= shift;
  62 #endif
  63     }
  64 }
  65
  66 void OPPROTO glue(op_psraw, SUFFIX)(void)
  67 {
  68     Reg *d, *s;
  69     int shift;
  70
  71     d = (Reg *)((char *)env + PARAM1);
  72     s = (Reg *)((char *)env + PARAM2);
  73
  74     if (s->Q(0) > 15) {
  75         shift = 15;
  76     } else {
  77         shift = s->B(0);
  78     }
  79     d->W(0) = (int16_t)d->W(0) >> shift;
  80     d->W(1) = (int16_t)d->W(1) >> shift;
  81     d->W(2) = (int16_t)d->W(2) >> shift;
  82     d->W(3) = (int16_t)d->W(3) >> shift;
  83 #if SHIFT == 1
  84     d->W(4) = (int16_t)d->W(4) >> shift;
  85     d->W(5) = (int16_t)d->W(5) >> shift;
  86     d->W(6) = (int16_t)d->W(6) >> shift;
  87     d->W(7) = (int16_t)d->W(7) >> shift;
  88 #endif
  89 }
  90
  91 void OPPROTO glue(op_psllw, SUFFIX)(void)
  92 {
  93     Reg *d, *s;
  94     int shift;
  95
  96     d = (Reg *)((char *)env + PARAM1);
  97     s = (Reg *)((char *)env + PARAM2);
  98
  99     if (s->Q(0) > 15) {
 100         d->Q(0) = 0;
 101 #if SHIFT == 1
 102         d->Q(1) = 0;
 103 #endif
 104     } else {
 105         shift = s->B(0);
 106         d->W(0) <<= shift;
 107         d->W(1) <<= shift;
 108         d->W(2) <<= shift;
 109         d->W(3) <<= shift;
 110 #if SHIFT == 1
 111         d->W(4) <<= shift;
 112         d->W(5) <<= shift;
 113         d->W(6) <<= shift;
 114         d->W(7) <<= shift;
 115 #endif
 116     }
 117 }
 118
 119 void OPPROTO glue(op_psrld, SUFFIX)(void)
 120 {
 121     Reg *d, *s;
 122     int shift;
 123
 124     d = (Reg *)((char *)env + PARAM1);
 125     s = (Reg *)((char *)env + PARAM2);
 126
 127     if (s->Q(0) > 31) {
 128         d->Q(0) = 0;
 129 #if SHIFT == 1
 130         d->Q(1) = 0;
 131 #endif
 132     } else {
 133         shift = s->B(0);
 134         d->L(0) >>= shift;
 135         d->L(1) >>= shift;
 136 #if SHIFT == 1
 137         d->L(2) >>= shift;
 138         d->L(3) >>= shift;
 139 #endif
 140     }
 141 }
 142
 143 void OPPROTO glue(op_psrad, SUFFIX)(void)
 144 {
 145     Reg *d, *s;
 146     int shift;
 147
 148     d = (Reg *)((char *)env + PARAM1);
 149     s = (Reg *)((char *)env + PARAM2);
 150
 151     if (s->Q(0) > 31) {
 152         shift = 31;
 153     } else {
 154         shift = s->B(0);
 155     }
 156     d->L(0) = (int32_t)d->L(0) >> shift;
 157     d->L(1) = (int32_t)d->L(1) >> shift;
 158 #if SHIFT == 1
 159     d->L(2) = (int32_t)d->L(2) >> shift;
 160     d->L(3) = (int32_t)d->L(3) >> shift;
 161 #endif
 162 }
 163
 164 void OPPROTO glue(op_pslld, SUFFIX)(void)
 165 {
 166     Reg *d, *s;
 167     int shift;
 168
 169     d = (Reg *)((char *)env + PARAM1);
 170     s = (Reg *)((char *)env + PARAM2);
 171
 172     if (s->Q(0) > 31) {
 173         d->Q(0) = 0;
 174 #if SHIFT == 1
 175         d->Q(1) = 0;
 176 #endif
 177     } else {
 178         shift = s->B(0);
 179         d->L(0) <<= shift;
 180         d->L(1) <<= shift;
 181 #if SHIFT == 1
 182         d->L(2) <<= shift;
 183         d->L(3) <<= shift;
 184 #endif
 185     }
 186 }
 187
 188 void OPPROTO glue(op_psrlq, SUFFIX)(void)
 189 {
 190     Reg *d, *s;
 191     int shift;
 192
 193     d = (Reg *)((char *)env + PARAM1);
 194     s = (Reg *)((char *)env + PARAM2);
 195
 196     if (s->Q(0) > 63) {
 197         d->Q(0) = 0;
 198 #if SHIFT == 1
 199         d->Q(1) = 0;
 200 #endif
 201     } else {
 202         shift = s->B(0);
 203         d->Q(0) >>= shift;
 204 #if SHIFT == 1
 205         d->Q(1) >>= shift;
 206 #endif
 207     }
 208 }
 209
 210 void OPPROTO glue(op_psllq, SUFFIX)(void)
 211 {
 212     Reg *d, *s;
 213     int shift;
 214
 215     d = (Reg *)((char *)env + PARAM1);
 216     s = (Reg *)((char *)env + PARAM2);
 217
 218     if (s->Q(0) > 63) {
 219         d->Q(0) = 0;
 220 #if SHIFT == 1
 221         d->Q(1) = 0;
 222 #endif
 223     } else {
 224         shift = s->B(0);
 225         d->Q(0) <<= shift;
 226 #if SHIFT == 1
 227         d->Q(1) <<= shift;
 228 #endif
 229     }
 230 }
 231
 232 #if SHIFT == 1
 233 void OPPROTO glue(op_psrldq, SUFFIX)(void)
 234 {
 235     Reg *d, *s;
 236     int shift, i;
 237
 238     d = (Reg *)((char *)env + PARAM1);
 239     s = (Reg *)((char *)env + PARAM2);
 240     shift = s->L(0);
 241     if (shift > 16)
 242         shift = 16;
 243     for(i = 0; i < 16 - shift; i++)
 244         d->B(i) = d->B(i + shift);
 245     for(i = 16 - shift; i < 16; i++)
 246         d->B(i) = 0;
 247     FORCE_RET();
 248 }
 249
 250 void OPPROTO glue(op_pslldq, SUFFIX)(void)
 251 {
 252     Reg *d, *s;
 253     int shift, i;
 254
 255     d = (Reg *)((char *)env + PARAM1);
 256     s = (Reg *)((char *)env + PARAM2);
 257     shift = s->L(0);
 258     if (shift > 16)
 259         shift = 16;
 260     for(i = 15; i >= shift; i--)
 261         d->B(i) = d->B(i - shift);
 262     for(i = 0; i < shift; i++)
 263         d->B(i) = 0;
 264     FORCE_RET();
 265 }
 266 #endif
 267
 268 #define SSE_OP_B(name, F)\
 269 void OPPROTO glue(name, SUFFIX) (void)\
 270 {\
 271     Reg *d, *s;\
 272     d = (Reg *)((char *)env + PARAM1);\
 273     s = (Reg *)((char *)env + PARAM2);\
 274     d->B(0) = F(d->B(0), s->B(0));\
 275     d->B(1) = F(d->B(1), s->B(1));\
 276     d->B(2) = F(d->B(2), s->B(2));\
 277     d->B(3) = F(d->B(3), s->B(3));\
 278     d->B(4) = F(d->B(4), s->B(4));\
 279     d->B(5) = F(d->B(5), s->B(5));\
 280     d->B(6) = F(d->B(6), s->B(6));\
 281     d->B(7) = F(d->B(7), s->B(7));\
 282     XMM_ONLY(\
 283     d->B(8) = F(d->B(8), s->B(8));\
 284     d->B(9) = F(d->B(9), s->B(9));\
 285     d->B(10) = F(d->B(10), s->B(10));\
 286     d->B(11) = F(d->B(11), s->B(11));\
 287     d->B(12) = F(d->B(12), s->B(12));\
 288     d->B(13) = F(d->B(13), s->B(13));\
 289     d->B(14) = F(d->B(14), s->B(14));\
 290     d->B(15) = F(d->B(15), s->B(15));\
 291     )\
 292 }
 293
 294 #define SSE_OP_W(name, F)\
 295 void OPPROTO glue(name, SUFFIX) (void)\
 296 {\
 297     Reg *d, *s;\
 298     d = (Reg *)((char *)env + PARAM1);\
 299     s = (Reg *)((char *)env + PARAM2);\
 300     d->W(0) = F(d->W(0), s->W(0));\
 301     d->W(1) = F(d->W(1), s->W(1));\
 302     d->W(2) = F(d->W(2), s->W(2));\
 303     d->W(3) = F(d->W(3), s->W(3));\
 304     XMM_ONLY(\
 305     d->W(4) = F(d->W(4), s->W(4));\
 306     d->W(5) = F(d->W(5), s->W(5));\
 307     d->W(6) = F(d->W(6), s->W(6));\
 308     d->W(7) = F(d->W(7), s->W(7));\
 309     )\
 310 }
 311
 312 #define SSE_OP_L(name, F)\
 313 void OPPROTO glue(name, SUFFIX) (void)\
 314 {\
 315     Reg *d, *s;\
 316     d = (Reg *)((char *)env + PARAM1);\
 317     s = (Reg *)((char *)env + PARAM2);\
 318     d->L(0) = F(d->L(0), s->L(0));\
 319     d->L(1) = F(d->L(1), s->L(1));\
 320     XMM_ONLY(\
 321     d->L(2) = F(d->L(2), s->L(2));\
 322     d->L(3) = F(d->L(3), s->L(3));\
 323     )\
 324 }
 325
 326 #define SSE_OP_Q(name, F)\
 327 void OPPROTO glue(name, SUFFIX) (void)\
 328 {\
 329     Reg *d, *s;\
 330     d = (Reg *)((char *)env + PARAM1);\
 331     s = (Reg *)((char *)env + PARAM2);\
 332     d->Q(0) = F(d->Q(0), s->Q(0));\
 333     XMM_ONLY(\
 334     d->Q(1) = F(d->Q(1), s->Q(1));\
 335     )\
 336 }
 337
 338 #if SHIFT == 0
 339 static inline int satub(int x)
 340 {
 341     if (x < 0)
 342         return 0;
 343     else if (x > 255)
 344         return 255;
 345     else
 346         return x;
 347 }
 348
 349 static inline int satuw(int x)
 350 {
 351     if (x < 0)
 352         return 0;
 353     else if (x > 65535)
 354         return 65535;
 355     else
 356         return x;
 357 }
 358
 359 static inline int satsb(int x)
 360 {
 361     if (x < -128)
 362         return -128;
 363     else if (x > 127)
 364         return 127;
 365     else
 366         return x;
 367 }
 368
 369 static inline int satsw(int x)
 370 {
 371     if (x < -32768)
 372         return -32768;
 373     else if (x > 32767)
 374         return 32767;
 375     else
 376         return x;
 377 }
 378
 379 #define FADD(a, b) ((a) + (b))
 380 #define FADDUB(a, b) satub((a) + (b))
 381 #define FADDUW(a, b) satuw((a) + (b))
 382 #define FADDSB(a, b) satsb((int8_t)(a) + (int8_t)(b))
 383 #define FADDSW(a, b) satsw((int16_t)(a) + (int16_t)(b))
 384
 385 #define FSUB(a, b) ((a) - (b))
 386 #define FSUBUB(a, b) satub((a) - (b))
 387 #define FSUBUW(a, b) satuw((a) - (b))
 388 #define FSUBSB(a, b) satsb((int8_t)(a) - (int8_t)(b))
 389 #define FSUBSW(a, b) satsw((int16_t)(a) - (int16_t)(b))
 390 #define FMINUB(a, b) ((a) < (b)) ? (a) : (b)
 391 #define FMINSW(a, b) ((int16_t)(a) < (int16_t)(b)) ? (a) : (b)
 392 #define FMAXUB(a, b) ((a) > (b)) ? (a) : (b)
 393 #define FMAXSW(a, b) ((int16_t)(a) > (int16_t)(b)) ? (a) : (b)
 394
 395 #define FAND(a, b) (a) & (b)
 396 #define FANDN(a, b) ((~(a)) & (b))
 397 #define FOR(a, b) (a) | (b)
 398 #define FXOR(a, b) (a) ^ (b)
 399
 400 #define FCMPGTB(a, b) (int8_t)(a) > (int8_t)(b) ? -1 : 0
 401 #define FCMPGTW(a, b) (int16_t)(a) > (int16_t)(b) ? -1 : 0
 402 #define FCMPGTL(a, b) (int32_t)(a) > (int32_t)(b) ? -1 : 0
 403 #define FCMPEQ(a, b) (a) == (b) ? -1 : 0
 404
 405 #define FMULLW(a, b) (a) * (b)
 406 #define FMULHUW(a, b) (a) * (b) >> 16
 407 #define FMULHW(a, b) (int16_t)(a) * (int16_t)(b) >> 16
 408
 409 #define FAVG(a, b) ((a) + (b) + 1) >> 1
 410 #endif
 411
 412 SSE_OP_B(op_paddb, FADD)
 413 SSE_OP_W(op_paddw, FADD)
 414 SSE_OP_L(op_paddl, FADD)
 415 SSE_OP_Q(op_paddq, FADD)
 416
 417 SSE_OP_B(op_psubb, FSUB)
 418 SSE_OP_W(op_psubw, FSUB)
 419 SSE_OP_L(op_psubl, FSUB)
 420 SSE_OP_Q(op_psubq, FSUB)
 421
 422 SSE_OP_B(op_paddusb, FADDUB)
 423 SSE_OP_B(op_paddsb, FADDSB)
 424 SSE_OP_B(op_psubusb, FSUBUB)
 425 SSE_OP_B(op_psubsb, FSUBSB)
 426
 427 SSE_OP_W(op_paddusw, FADDUW)
 428 SSE_OP_W(op_paddsw, FADDSW)
 429 SSE_OP_W(op_psubusw, FSUBUW)
 430 SSE_OP_W(op_psubsw, FSUBSW)
 431
 432 SSE_OP_B(op_pminub, FMINUB)
 433 SSE_OP_B(op_pmaxub, FMAXUB)
 434
 435 SSE_OP_W(op_pminsw, FMINSW)
 436 SSE_OP_W(op_pmaxsw, FMAXSW)
 437
 438 SSE_OP_Q(op_pand, FAND)
 439 SSE_OP_Q(op_pandn, FANDN)
 440 SSE_OP_Q(op_por, FOR)
 441 SSE_OP_Q(op_pxor, FXOR)
 442
 443 SSE_OP_B(op_pcmpgtb, FCMPGTB)
 444 SSE_OP_W(op_pcmpgtw, FCMPGTW)
 445 SSE_OP_L(op_pcmpgtl, FCMPGTL)
 446
 447 SSE_OP_B(op_pcmpeqb, FCMPEQ)
 448 SSE_OP_W(op_pcmpeqw, FCMPEQ)
 449 SSE_OP_L(op_pcmpeql, FCMPEQ)
 450
 451 SSE_OP_W(op_pmullw, FMULLW)
 452 SSE_OP_W(op_pmulhuw, FMULHUW)
 453 SSE_OP_W(op_pmulhw, FMULHW)
 454
 455 SSE_OP_B(op_pavgb, FAVG)
 456 SSE_OP_W(op_pavgw, FAVG)
 457
 458 void OPPROTO glue(op_pmuludq, SUFFIX) (void)
 459 {
 460     Reg *d, *s;
 461     d = (Reg *)((char *)env + PARAM1);
 462     s = (Reg *)((char *)env + PARAM2);
 463
 464     d->Q(0) = (uint64_t)s->L(0) * (uint64_t)d->L(0);
 465 #if SHIFT == 1
 466     d->Q(1) = (uint64_t)s->L(2) * (uint64_t)d->L(2);
 467 #endif
 468 }
 469
 470 void OPPROTO glue(op_pmaddwd, SUFFIX) (void)
 471 {
 472     int i;
 473     Reg *d, *s;
 474     d = (Reg *)((char *)env + PARAM1);
 475     s = (Reg *)((char *)env + PARAM2);
 476
 477     for(i = 0; i < (2 << SHIFT); i++) {
 478         d->L(i) = (int16_t)s->W(2*i) * (int16_t)d->W(2*i) +
 479             (int16_t)s->W(2*i+1) * (int16_t)d->W(2*i+1);
 480     }
 481 }
 482
 483 #if SHIFT == 0
 484 static inline int abs1(int a)
 485 {
 486     if (a < 0)
 487         return -a;
 488     else
 489         return a;
 490 }
 491 #endif
 492 void OPPROTO glue(op_psadbw, SUFFIX) (void)
 493 {
 494     unsigned int val;
 495     Reg *d, *s;
 496     d = (Reg *)((char *)env + PARAM1);
 497     s = (Reg *)((char *)env + PARAM2);
 498
 499     val = 0;
 500     val += abs1(d->B(0) - s->B(0));
 501     val += abs1(d->B(1) - s->B(1));
 502     val += abs1(d->B(2) - s->B(2));
 503     val += abs1(d->B(3) - s->B(3));
 504     val += abs1(d->B(4) - s->B(4));
 505     val += abs1(d->B(5) - s->B(5));
 506     val += abs1(d->B(6) - s->B(6));
 507     val += abs1(d->B(7) - s->B(7));
 508     d->Q(0) = val;
 509 #if SHIFT == 1
 510     val = 0;
 511     val += abs1(d->B(8) - s->B(8));
 512     val += abs1(d->B(9) - s->B(9));
 513     val += abs1(d->B(10) - s->B(10));
 514     val += abs1(d->B(11) - s->B(11));
 515     val += abs1(d->B(12) - s->B(12));
 516     val += abs1(d->B(13) - s->B(13));
 517     val += abs1(d->B(14) - s->B(14));
 518     val += abs1(d->B(15) - s->B(15));
 519     d->Q(1) = val;
 520 #endif
 521 }
 522
 523 void OPPROTO glue(op_maskmov, SUFFIX) (void)
 524 {
 525     int i;
 526     Reg *d, *s;
 527     d = (Reg *)((char *)env + PARAM1);
 528     s = (Reg *)((char *)env + PARAM2);
 529     for(i = 0; i < (8 << SHIFT); i++) {
 530         if (s->B(i) & 0x80)
 531             stb(A0 + i, d->B(i));
 532     }
 533 }
 534
 535 void OPPROTO glue(op_movl_mm_T0, SUFFIX) (void)
 536 {
 537     Reg *d;
 538     d = (Reg *)((char *)env + PARAM1);
 539     d->L(0) = T0;
 540     d->L(1) = 0;
 541 #if SHIFT == 1
 542     d->Q(1) = 0;
 543 #endif
 544 }
 545
 546 void OPPROTO glue(op_movl_T0_mm, SUFFIX) (void)
 547 {
 548     Reg *s;
 549     s = (Reg *)((char *)env + PARAM1);
 550     T0 = s->L(0);
 551 }
 552
 553 #if SHIFT == 0
 554 void OPPROTO glue(op_pshufw, SUFFIX) (void)
 555 {
 556     Reg r, *d, *s;
 557     int order;
 558     d = (Reg *)((char *)env + PARAM1);
 559     s = (Reg *)((char *)env + PARAM2);
 560     order = PARAM3;
 561     r.W(0) = s->W(order & 3);
 562     r.W(1) = s->W((order >> 2) & 3);
 563     r.W(2) = s->W((order >> 4) & 3);
 564     r.W(3) = s->W((order >> 6) & 3);
 565     *d = r;
 566 }
 567 #else
 568 void OPPROTO op_shufps(void)
 569 {
 570     Reg r, *d, *s;
 571     int order;
 572     d = (Reg *)((char *)env + PARAM1);
 573     s = (Reg *)((char *)env + PARAM2);
 574     order = PARAM3;
 575     r.L(0) = d->L(order & 3);
 576     r.L(1) = d->L((order >> 2) & 3);
 577     r.L(2) = s->L((order >> 4) & 3);
 578     r.L(3) = s->L((order >> 6) & 3);
 579     *d = r;
 580 }
 581
 582 void OPPROTO op_shufpd(void)
 583 {
 584     Reg r, *d, *s;
 585     int order;
 586     d = (Reg *)((char *)env + PARAM1);
 587     s = (Reg *)((char *)env + PARAM2);
 588     order = PARAM3;
 589     r.Q(0) = d->Q(order & 1);
 590     r.Q(1) = s->Q((order >> 1) & 1);
 591     *d = r;
 592 }
 593
 594 void OPPROTO glue(op_pshufd, SUFFIX) (void)
 595 {
 596     Reg r, *d, *s;
 597     int order;
 598     d = (Reg *)((char *)env + PARAM1);
 599     s = (Reg *)((char *)env + PARAM2);
 600     order = PARAM3;
 601     r.L(0) = s->L(order & 3);
 602     r.L(1) = s->L((order >> 2) & 3);
 603     r.L(2) = s->L((order >> 4) & 3);
 604     r.L(3) = s->L((order >> 6) & 3);
 605     *d = r;
 606 }
 607
 608 void OPPROTO glue(op_pshuflw, SUFFIX) (void)
 609 {
 610     Reg r, *d, *s;
 611     int order;
 612     d = (Reg *)((char *)env + PARAM1);
 613     s = (Reg *)((char *)env + PARAM2);
 614     order = PARAM3;
 615     r.W(0) = s->W(order & 3);
 616     r.W(1) = s->W((order >> 2) & 3);
 617     r.W(2) = s->W((order >> 4) & 3);
 618     r.W(3) = s->W((order >> 6) & 3);
 619     r.Q(1) = s->Q(1);
 620     *d = r;
 621 }
 622
 623 void OPPROTO glue(op_pshufhw, SUFFIX) (void)
 624 {
 625     Reg r, *d, *s;
 626     int order;
 627     d = (Reg *)((char *)env + PARAM1);
 628     s = (Reg *)((char *)env + PARAM2);
 629     order = PARAM3;
 630     r.Q(0) = s->Q(0);
 631     r.W(4) = s->W(4 + (order & 3));
 632     r.W(5) = s->W(4 + ((order >> 2) & 3));
 633     r.W(6) = s->W(4 + ((order >> 4) & 3));
 634     r.W(7) = s->W(4 + ((order >> 6) & 3));
 635     *d = r;
 636 }
 637 #endif
 638
 639 #if SHIFT == 1
 640 /* FPU ops */
 641 /* XXX: not accurate */
 642
 643 #define SSE_OP_S(name, F)\
 644 void OPPROTO op_ ## name ## ps (void)\
 645 {\
 646     Reg *d, *s;\
 647     d = (Reg *)((char *)env + PARAM1);\
 648     s = (Reg *)((char *)env + PARAM2);\
 649     d->XMM_S(0) = F(d->XMM_S(0), s->XMM_S(0));\
 650     d->XMM_S(1) = F(d->XMM_S(1), s->XMM_S(1));\
 651     d->XMM_S(2) = F(d->XMM_S(2), s->XMM_S(2));\
 652     d->XMM_S(3) = F(d->XMM_S(3), s->XMM_S(3));\
 653 }\
 654 \
 655 void OPPROTO op_ ## name ## ss (void)\
 656 {\
 657     Reg *d, *s;\
 658     d = (Reg *)((char *)env + PARAM1);\
 659     s = (Reg *)((char *)env + PARAM2);\
 660     d->XMM_S(0) = F(d->XMM_S(0), s->XMM_S(0));\
 661 }\
 662 void OPPROTO op_ ## name ## pd (void)\
 663 {\
 664     Reg *d, *s;\
 665     d = (Reg *)((char *)env + PARAM1);\
 666     s = (Reg *)((char *)env + PARAM2);\
 667     d->XMM_D(0) = F(d->XMM_D(0), s->XMM_D(0));\
 668     d->XMM_D(1) = F(d->XMM_D(1), s->XMM_D(1));\
 669 }\
 670 \
 671 void OPPROTO op_ ## name ## sd (void)\
 672 {\
 673     Reg *d, *s;\
 674     d = (Reg *)((char *)env + PARAM1);\
 675     s = (Reg *)((char *)env + PARAM2);\
 676     d->XMM_D(0) = F(d->XMM_D(0), s->XMM_D(0));\
 677 }
 678
 679 #define FPU_ADD(a, b) (a) + (b)
 680 #define FPU_SUB(a, b) (a) - (b)
 681 #define FPU_MUL(a, b) (a) * (b)
 682 #define FPU_DIV(a, b) (a) / (b)
 683 #define FPU_MIN(a, b) (a) < (b) ? (a) : (b)
 684 #define FPU_MAX(a, b) (a) > (b) ? (a) : (b)
 685 #define FPU_SQRT(a, b) sqrt(b)
 686
 687 SSE_OP_S(add, FPU_ADD)
 688 SSE_OP_S(sub, FPU_SUB)
 689 SSE_OP_S(mul, FPU_MUL)
 690 SSE_OP_S(div, FPU_DIV)
 691 SSE_OP_S(min, FPU_MIN)
 692 SSE_OP_S(max, FPU_MAX)
 693 SSE_OP_S(sqrt, FPU_SQRT)
 694
 695
 696 /* float to float conversions */
 697 void OPPROTO op_cvtps2pd(void)
 698 {
 699     float s0, s1;
 700     Reg *d, *s;
 701     d = (Reg *)((char *)env + PARAM1);
 702     s = (Reg *)((char *)env + PARAM2);
 703     s0 = s->XMM_S(0);
 704     s1 = s->XMM_S(1);
 705     d->XMM_D(0) = s0;
 706     d->XMM_D(1) = s1;
 707 }
 708
 709 void OPPROTO op_cvtpd2ps(void)
 710 {
 711     Reg *d, *s;
 712     d = (Reg *)((char *)env + PARAM1);
 713     s = (Reg *)((char *)env + PARAM2);
 714     d->XMM_S(0) = s->XMM_D(0);
 715     d->XMM_S(1) = s->XMM_D(1);
 716     d->Q(1) = 0;
 717 }
 718
 719 void OPPROTO op_cvtss2sd(void)
 720 {
 721     Reg *d, *s;
 722     d = (Reg *)((char *)env + PARAM1);
 723     s = (Reg *)((char *)env + PARAM2);
 724     d->XMM_D(0) = s->XMM_S(0);
 725 }
 726
 727 void OPPROTO op_cvtsd2ss(void)
 728 {
 729     Reg *d, *s;
 730     d = (Reg *)((char *)env + PARAM1);
 731     s = (Reg *)((char *)env + PARAM2);
 732     d->XMM_S(0) = s->XMM_D(0);
 733 }
 734
 735 /* integer to float */
 736 void OPPROTO op_cvtdq2ps(void)
 737 {
 738     XMMReg *d = (XMMReg *)((char *)env + PARAM1);
 739     XMMReg *s = (XMMReg *)((char *)env + PARAM2);
 740     d->XMM_S(0) = (int32_t)s->XMM_L(0);
 741     d->XMM_S(1) = (int32_t)s->XMM_L(1);
 742     d->XMM_S(2) = (int32_t)s->XMM_L(2);
 743     d->XMM_S(3) = (int32_t)s->XMM_L(3);
 744 }
 745
 746 void OPPROTO op_cvtdq2pd(void)
 747 {
 748     XMMReg *d = (XMMReg *)((char *)env + PARAM1);
 749     XMMReg *s = (XMMReg *)((char *)env + PARAM2);
 750     int32_t l0, l1;
 751     l0 = (int32_t)s->XMM_L(0);
 752     l1 = (int32_t)s->XMM_L(1);
 753     d->XMM_D(0) = l0;
 754     d->XMM_D(1) = l1;
 755 }
 756
 757 void OPPROTO op_cvtpi2ps(void)
 758 {
 759     XMMReg *d = (Reg *)((char *)env + PARAM1);
 760     MMXReg *s = (MMXReg *)((char *)env + PARAM2);
 761     d->XMM_S(0) = (int32_t)s->MMX_L(0);
 762     d->XMM_S(1) = (int32_t)s->MMX_L(1);
 763 }
 764
 765 void OPPROTO op_cvtpi2pd(void)
 766 {
 767     XMMReg *d = (Reg *)((char *)env + PARAM1);
 768     MMXReg *s = (MMXReg *)((char *)env + PARAM2);
 769     d->XMM_D(0) = (int32_t)s->MMX_L(0);
 770     d->XMM_D(1) = (int32_t)s->MMX_L(1);
 771 }
 772
 773 void OPPROTO op_cvtsi2ss(void)
 774 {
 775     XMMReg *d = (Reg *)((char *)env + PARAM1);
 776     d->XMM_S(0) = (int32_t)T0;
 777 }
 778
 779 void OPPROTO op_cvtsi2sd(void)
 780 {
 781     XMMReg *d = (Reg *)((char *)env + PARAM1);
 782     d->XMM_D(0) = (int32_t)T0;
 783 }
 784
 785 #ifdef TARGET_X86_64
 786 void OPPROTO op_cvtsq2ss(void)
 787 {
 788     XMMReg *d = (Reg *)((char *)env + PARAM1);
 789     d->XMM_S(0) = (int64_t)T0;
 790 }
 791
 792 void OPPROTO op_cvtsq2sd(void)
 793 {
 794     XMMReg *d = (Reg *)((char *)env + PARAM1);
 795     d->XMM_D(0) = (int64_t)T0;
 796 }
 797 #endif
 798
 799 /* float to integer */
 800 void OPPROTO op_cvtps2dq(void)
 801 {
 802     XMMReg *d = (XMMReg *)((char *)env + PARAM1);
 803     XMMReg *s = (XMMReg *)((char *)env + PARAM2);
 804     d->XMM_L(0) = lrint(s->XMM_S(0));
 805     d->XMM_L(1) = lrint(s->XMM_S(1));
 806     d->XMM_L(2) = lrint(s->XMM_S(2));
 807     d->XMM_L(3) = lrint(s->XMM_S(3));
 808 }
 809
 810 void OPPROTO op_cvtpd2dq(void)
 811 {
 812     XMMReg *d = (XMMReg *)((char *)env + PARAM1);
 813     XMMReg *s = (XMMReg *)((char *)env + PARAM2);
 814     d->XMM_L(0) = lrint(s->XMM_D(0));
 815     d->XMM_L(1) = lrint(s->XMM_D(1));
 816     d->XMM_Q(1) = 0;
 817 }
 818
 819 void OPPROTO op_cvtps2pi(void)
 820 {
 821     MMXReg *d = (MMXReg *)((char *)env + PARAM1);
 822     XMMReg *s = (XMMReg *)((char *)env + PARAM2);
 823     d->MMX_L(0) = lrint(s->XMM_S(0));
 824     d->MMX_L(1) = lrint(s->XMM_S(1));
 825 }
 826
 827 void OPPROTO op_cvtpd2pi(void)
 828 {
 829     MMXReg *d = (MMXReg *)((char *)env + PARAM1);
 830     XMMReg *s = (XMMReg *)((char *)env + PARAM2);
 831     d->MMX_L(0) = lrint(s->XMM_D(0));
 832     d->MMX_L(1) = lrint(s->XMM_D(1));
 833 }
 834
 835 void OPPROTO op_cvtss2si(void)
 836 {
 837     XMMReg *s = (XMMReg *)((char *)env + PARAM1);
 838     T0 = (int32_t)lrint(s->XMM_S(0));
 839 }
 840
 841 void OPPROTO op_cvtsd2si(void)
 842 {
 843     XMMReg *s = (XMMReg *)((char *)env + PARAM1);
 844     T0 = (int32_t)lrint(s->XMM_D(0));
 845 }
 846
 847 #ifdef TARGET_X86_64
 848 void OPPROTO op_cvtss2sq(void)
 849 {
 850     XMMReg *s = (XMMReg *)((char *)env + PARAM1);
 851     T0 = llrint(s->XMM_S(0));
 852 }
 853
 854 void OPPROTO op_cvtsd2sq(void)
 855 {
 856     XMMReg *s = (XMMReg *)((char *)env + PARAM1);
 857     T0 = llrint(s->XMM_D(0));
 858 }
 859 #endif
 860
 861 /* float to integer truncated */
 862 void OPPROTO op_cvttps2dq(void)
 863 {
 864     XMMReg *d = (XMMReg *)((char *)env + PARAM1);
 865     XMMReg *s = (XMMReg *)((char *)env + PARAM2);
 866     d->XMM_L(0) = (int32_t)s->XMM_S(0);
 867     d->XMM_L(1) = (int32_t)s->XMM_S(1);
 868     d->XMM_L(2) = (int32_t)s->XMM_S(2);
 869     d->XMM_L(3) = (int32_t)s->XMM_S(3);
 870 }
 871
 872 void OPPROTO op_cvttpd2dq(void)
 873 {
 874     XMMReg *d = (XMMReg *)((char *)env + PARAM1);
 875     XMMReg *s = (XMMReg *)((char *)env + PARAM2);
 876     d->XMM_L(0) = (int32_t)s->XMM_D(0);
 877     d->XMM_L(1) = (int32_t)s->XMM_D(1);
 878     d->XMM_Q(1) = 0;
 879 }
 880
 881 void OPPROTO op_cvttps2pi(void)
 882 {
 883     MMXReg *d = (MMXReg *)((char *)env + PARAM1);
 884     XMMReg *s = (XMMReg *)((char *)env + PARAM2);
 885     d->MMX_L(0) = (int32_t)(s->XMM_S(0));
 886     d->MMX_L(1) = (int32_t)(s->XMM_S(1));
 887 }
 888
 889 void OPPROTO op_cvttpd2pi(void)
 890 {
 891     MMXReg *d = (MMXReg *)((char *)env + PARAM1);
 892     XMMReg *s = (XMMReg *)((char *)env + PARAM2);
 893     d->MMX_L(0) = (int32_t)(s->XMM_D(0));
 894     d->MMX_L(1) = (int32_t)(s->XMM_D(1));
 895 }
 896
 897 void OPPROTO op_cvttss2si(void)
 898 {
 899     XMMReg *s = (XMMReg *)((char *)env + PARAM1);
 900     T0 = (int32_t)(s->XMM_S(0));
 901 }
 902
 903 void OPPROTO op_cvttsd2si(void)
 904 {
 905     XMMReg *s = (XMMReg *)((char *)env + PARAM1);
 906     T0 = (int32_t)(s->XMM_D(0));
 907 }
 908
 909 #ifdef TARGET_X86_64
 910 void OPPROTO op_cvttss2sq(void)
 911 {
 912     XMMReg *s = (XMMReg *)((char *)env + PARAM1);
 913     T0 = (int64_t)(s->XMM_S(0));
 914 }
 915
 916 void OPPROTO op_cvttsd2sq(void)
 917 {
 918     XMMReg *s = (XMMReg *)((char *)env + PARAM1);
 919     T0 = (int64_t)(s->XMM_D(0));
 920 }
 921 #endif
 922
 923 void OPPROTO op_rsqrtps(void)
 924 {
 925     XMMReg *d = (XMMReg *)((char *)env + PARAM1);
 926     XMMReg *s = (XMMReg *)((char *)env + PARAM2);
 927     d->XMM_S(0) = approx_rsqrt(s->XMM_S(0));
 928     d->XMM_S(1) = approx_rsqrt(s->XMM_S(1));
 929     d->XMM_S(2) = approx_rsqrt(s->XMM_S(2));
 930     d->XMM_S(3) = approx_rsqrt(s->XMM_S(3));
 931 }
 932
 933 void OPPROTO op_rsqrtss(void)
 934 {
 935     XMMReg *d = (XMMReg *)((char *)env + PARAM1);
 936     XMMReg *s = (XMMReg *)((char *)env + PARAM2);
 937     d->XMM_S(0) = approx_rsqrt(s->XMM_S(0));
 938 }
 939
 940 void OPPROTO op_rcpps(void)
 941 {
 942     XMMReg *d = (XMMReg *)((char *)env + PARAM1);
 943     XMMReg *s = (XMMReg *)((char *)env + PARAM2);
 944     d->XMM_S(0) = approx_rcp(s->XMM_S(0));
 945     d->XMM_S(1) = approx_rcp(s->XMM_S(1));
 946     d->XMM_S(2) = approx_rcp(s->XMM_S(2));
 947     d->XMM_S(3) = approx_rcp(s->XMM_S(3));
 948 }
 949
 950 void OPPROTO op_rcpss(void)
 951 {
 952     XMMReg *d = (XMMReg *)((char *)env + PARAM1);
 953     XMMReg *s = (XMMReg *)((char *)env + PARAM2);
 954     d->XMM_S(0) = approx_rcp(s->XMM_S(0));
 955 }
 956
 957 void OPPROTO op_haddps(void)
 958 {
 959     XMMReg *d = (XMMReg *)((char *)env + PARAM1);
 960     XMMReg *s = (XMMReg *)((char *)env + PARAM2);
 961     XMMReg r;
 962     r.XMM_S(0) = d->XMM_S(0) + d->XMM_S(1);
 963     r.XMM_S(1) = d->XMM_S(2) + d->XMM_S(3);
 964     r.XMM_S(2) = s->XMM_S(0) + s->XMM_S(1);
 965     r.XMM_S(3) = s->XMM_S(2) + s->XMM_S(3);
 966     *d = r;
 967 }
 968
 969 void OPPROTO op_haddpd(void)
 970 {
 971     XMMReg *d = (XMMReg *)((char *)env + PARAM1);
 972     XMMReg *s = (XMMReg *)((char *)env + PARAM2);
 973     XMMReg r;
 974     r.XMM_D(0) = d->XMM_D(0) + d->XMM_D(1);
 975     r.XMM_D(1) = s->XMM_D(0) + s->XMM_D(1);
 976     *d = r;
 977 }
 978
 979 void OPPROTO op_hsubps(void)
 980 {
 981     XMMReg *d = (XMMReg *)((char *)env + PARAM1);
 982     XMMReg *s = (XMMReg *)((char *)env + PARAM2);
 983     XMMReg r;
 984     r.XMM_S(0) = d->XMM_S(0) - d->XMM_S(1);
 985     r.XMM_S(1) = d->XMM_S(2) - d->XMM_S(3);
 986     r.XMM_S(2) = s->XMM_S(0) - s->XMM_S(1);
 987     r.XMM_S(3) = s->XMM_S(2) - s->XMM_S(3);
 988     *d = r;
 989 }
 990
 991 void OPPROTO op_hsubpd(void)
 992 {
 993     XMMReg *d = (XMMReg *)((char *)env + PARAM1);
 994     XMMReg *s = (XMMReg *)((char *)env + PARAM2);
 995     XMMReg r;
 996     r.XMM_D(0) = d->XMM_D(0) - d->XMM_D(1);
 997     r.XMM_D(1) = s->XMM_D(0) - s->XMM_D(1);
 998     *d = r;
 999 }
1000
1001 void OPPROTO op_addsubps(void)
1002 {
1003     XMMReg *d = (XMMReg *)((char *)env + PARAM1);
1004     XMMReg *s = (XMMReg *)((char *)env + PARAM2);
1005     d->XMM_S(0) = d->XMM_S(0) - s->XMM_S(0);
1006     d->XMM_S(1) = d->XMM_S(1) + s->XMM_S(1);
1007     d->XMM_S(2) = d->XMM_S(2) - s->XMM_S(2);
1008     d->XMM_S(3) = d->XMM_S(3) + s->XMM_S(3);
1009 }
1010
1011 void OPPROTO op_addsubpd(void)
1012 {
1013     XMMReg *d = (XMMReg *)((char *)env + PARAM1);
1014     XMMReg *s = (XMMReg *)((char *)env + PARAM2);
1015     d->XMM_D(0) = d->XMM_D(0) - s->XMM_D(0);
1016     d->XMM_D(1) = d->XMM_D(1) + s->XMM_D(1);
1017 }
1018
1019 /* XXX: unordered */
1020 #define SSE_OP_CMP(name, F)\
1021 void OPPROTO op_ ## name ## ps (void)\
1022 {\
1023     Reg *d, *s;\
1024     d = (Reg *)((char *)env + PARAM1);\
1025     s = (Reg *)((char *)env + PARAM2);\
1026     d->XMM_L(0) = F(d->XMM_S(0), s->XMM_S(0));\
1027     d->XMM_L(1) = F(d->XMM_S(1), s->XMM_S(1));\
1028     d->XMM_L(2) = F(d->XMM_S(2), s->XMM_S(2));\
1029     d->XMM_L(3) = F(d->XMM_S(3), s->XMM_S(3));\
1030 }\
1031 \
1032 void OPPROTO op_ ## name ## ss (void)\
1033 {\
1034     Reg *d, *s;\
1035     d = (Reg *)((char *)env + PARAM1);\
1036     s = (Reg *)((char *)env + PARAM2);\
1037     d->XMM_L(0) = F(d->XMM_S(0), s->XMM_S(0));\
1038 }\
1039 void OPPROTO op_ ## name ## pd (void)\
1040 {\
1041     Reg *d, *s;\
1042     d = (Reg *)((char *)env + PARAM1);\
1043     s = (Reg *)((char *)env + PARAM2);\
1044     d->XMM_Q(0) = F(d->XMM_D(0), s->XMM_D(0));\
1045     d->XMM_Q(1) = F(d->XMM_D(1), s->XMM_D(1));\
1046 }\
1047 \
1048 void OPPROTO op_ ## name ## sd (void)\
1049 {\
1050     Reg *d, *s;\
1051     d = (Reg *)((char *)env + PARAM1);\
1052     s = (Reg *)((char *)env + PARAM2);\
1053     d->XMM_Q(0) = F(d->XMM_D(0), s->XMM_D(0));\
1054 }
1055
1056 #define FPU_CMPEQ(a, b) (a) == (b) ? -1 : 0
1057 #define FPU_CMPLT(a, b) (a) < (b) ? -1 : 0
1058 #define FPU_CMPLE(a, b) (a) <= (b) ? -1 : 0
1059 #define FPU_CMPUNORD(a, b) (fpu_isnan(a) || fpu_isnan(b)) ? - 1 : 0
1060 #define FPU_CMPNEQ(a, b) (a) == (b) ? 0 : -1
1061 #define FPU_CMPNLT(a, b) (a) < (b) ? 0 : -1
1062 #define FPU_CMPNLE(a, b) (a) <= (b) ? 0 : -1
1063 #define FPU_CMPORD(a, b) (!fpu_isnan(a) && !fpu_isnan(b)) ? - 1 : 0
1064
1065 SSE_OP_CMP(cmpeq, FPU_CMPEQ)
1066 SSE_OP_CMP(cmplt, FPU_CMPLT)
1067 SSE_OP_CMP(cmple, FPU_CMPLE)
1068 SSE_OP_CMP(cmpunord, FPU_CMPUNORD)
1069 SSE_OP_CMP(cmpneq, FPU_CMPNEQ)
1070 SSE_OP_CMP(cmpnlt, FPU_CMPNLT)
1071 SSE_OP_CMP(cmpnle, FPU_CMPNLE)
1072 SSE_OP_CMP(cmpord, FPU_CMPORD)
1073
1074 void OPPROTO op_ucomiss(void)
1075 {
1076     int eflags;
1077     float s0, s1;
1078     Reg *d, *s;
1079     d = (Reg *)((char *)env + PARAM1);
1080     s = (Reg *)((char *)env + PARAM2);
1081
1082     s0 = d->XMM_S(0);
1083     s1 = s->XMM_S(0);
1084     if (s0 < s1)
1085         eflags = CC_C;
1086     else if (s0 == s1)
1087         eflags = CC_Z;
1088     else
1089         eflags = 0;
1090     CC_SRC = eflags;
1091     FORCE_RET();
1092 }
1093
1094 void OPPROTO op_comiss(void)
1095 {
1096     int eflags;
1097     float s0, s1;
1098     Reg *d, *s;
1099     d = (Reg *)((char *)env + PARAM1);
1100     s = (Reg *)((char *)env + PARAM2);
1101
1102     s0 = d->XMM_S(0);
1103     s1 = s->XMM_S(0);
1104     if (s0 < s1)
1105         eflags = CC_C;
1106     else if (s0 == s1)
1107         eflags = CC_Z;
1108     else
1109         eflags = 0;
1110     CC_SRC = eflags;
1111     FORCE_RET();
1112 }
1113
1114 void OPPROTO op_ucomisd(void)
1115 {
1116     int eflags;
1117     double d0, d1;
1118     Reg *d, *s;
1119     d = (Reg *)((char *)env + PARAM1);
1120     s = (Reg *)((char *)env + PARAM2);
1121
1122     d0 = d->XMM_D(0);
1123     d1 = s->XMM_D(0);
1124     if (d0 < d1)
1125         eflags = CC_C;
1126     else if (d0 == d1)
1127         eflags = CC_Z;
1128     else
1129         eflags = 0;
1130     CC_SRC = eflags;
1131     FORCE_RET();
1132 }
1133
1134 void OPPROTO op_comisd(void)
1135 {
1136     int eflags;
1137     double d0, d1;
1138     Reg *d, *s;
1139     d = (Reg *)((char *)env + PARAM1);
1140     s = (Reg *)((char *)env + PARAM2);
1141
1142     d0 = d->XMM_D(0);
1143     d1 = s->XMM_D(0);
1144     if (d0 < d1)
1145         eflags = CC_C;
1146     else if (d0 == d1)
1147         eflags = CC_Z;
1148     else
1149         eflags = 0;
1150     CC_SRC = eflags;
1151     FORCE_RET();
1152 }
1153
1154 void OPPROTO op_movmskps(void)
1155 {
1156     int b0, b1, b2, b3;
1157     Reg *s;
1158     s = (Reg *)((char *)env + PARAM1);
1159     b0 = s->XMM_L(0) >> 31;
1160     b1 = s->XMM_L(1) >> 31;
1161     b2 = s->XMM_L(2) >> 31;
1162     b3 = s->XMM_L(3) >> 31;
1163     T0 = b0 | (b1 << 1) | (b2 << 2) | (b3 << 3);
1164 }
1165
1166 void OPPROTO op_movmskpd(void)
1167 {
1168     int b0, b1;
1169     Reg *s;
1170     s = (Reg *)((char *)env + PARAM1);
1171     b0 = s->XMM_L(1) >> 31;
1172     b1 = s->XMM_L(3) >> 31;
1173     T0 = b0 | (b1 << 1);
1174 }
1175
1176 #endif
1177
1178 void OPPROTO glue(op_pmovmskb, SUFFIX)(void)
1179 {
1180     Reg *s;
1181     s = (Reg *)((char *)env + PARAM1);
1182     T0 = 0;
1183     T0 |= (s->XMM_B(0) >> 7);
1184     T0 |= (s->XMM_B(1) >> 6) & 0x02;
1185     T0 |= (s->XMM_B(2) >> 5) & 0x04;
1186     T0 |= (s->XMM_B(3) >> 4) & 0x08;
1187     T0 |= (s->XMM_B(4) >> 3) & 0x10;
1188     T0 |= (s->XMM_B(5) >> 2) & 0x20;
1189     T0 |= (s->XMM_B(6) >> 1) & 0x40;
1190     T0 |= (s->XMM_B(7)) & 0x80;
1191 #if SHIFT == 1
1192     T0 |= (s->XMM_B(8) << 1) & 0x0100;
1193     T0 |= (s->XMM_B(9) << 2) & 0x0200;
1194     T0 |= (s->XMM_B(10) << 3) & 0x0400;
1195     T0 |= (s->XMM_B(11) << 4) & 0x0800;
1196     T0 |= (s->XMM_B(12) << 5) & 0x1000;
1197     T0 |= (s->XMM_B(13) << 6) & 0x2000;
1198     T0 |= (s->XMM_B(14) << 7) & 0x4000;
1199     T0 |= (s->XMM_B(15) << 8) & 0x8000;
1200 #endif
1201 }
1202
1203 void OPPROTO glue(op_pinsrw, SUFFIX) (void)
1204 {
1205     Reg *d = (Reg *)((char *)env + PARAM1);
1206     int pos = PARAM2;
1207
1208     d->W(pos) = T0;
1209 }
1210
1211 void OPPROTO glue(op_pextrw, SUFFIX) (void)
1212 {
1213     Reg *s = (Reg *)((char *)env + PARAM1);
1214     int pos = PARAM2;
1215
1216     T0 = s->W(pos);
1217 }
1218
1219 void OPPROTO glue(op_packsswb, SUFFIX) (void)
1220 {
1221     Reg r, *d, *s;
1222     d = (Reg *)((char *)env + PARAM1);
1223     s = (Reg *)((char *)env + PARAM2);
1224
1225     r.B(0) = satsb((int16_t)d->W(0));
1226     r.B(1) = satsb((int16_t)d->W(1));
1227     r.B(2) = satsb((int16_t)d->W(2));
1228     r.B(3) = satsb((int16_t)d->W(3));
1229 #if SHIFT == 1
1230     r.B(4) = satsb((int16_t)d->W(4));
1231     r.B(5) = satsb((int16_t)d->W(5));
1232     r.B(6) = satsb((int16_t)d->W(6));
1233     r.B(7) = satsb((int16_t)d->W(7));
1234 #endif
1235     r.B((4 << SHIFT) + 0) = satsb((int16_t)s->W(0));
1236     r.B((4 << SHIFT) + 1) = satsb((int16_t)s->W(1));
1237     r.B((4 << SHIFT) + 2) = satsb((int16_t)s->W(2));
1238     r.B((4 << SHIFT) + 3) = satsb((int16_t)s->W(3));
1239 #if SHIFT == 1
1240     r.B(12) = satsb((int16_t)s->W(4));
1241     r.B(13) = satsb((int16_t)s->W(5));
1242     r.B(14) = satsb((int16_t)s->W(6));
1243     r.B(15) = satsb((int16_t)s->W(7));
1244 #endif
1245     *d = r;
1246 }
1247
1248 void OPPROTO glue(op_packuswb, SUFFIX) (void)
1249 {
1250     Reg r, *d, *s;
1251     d = (Reg *)((char *)env + PARAM1);
1252     s = (Reg *)((char *)env + PARAM2);
1253
1254     r.B(0) = satub((int16_t)d->W(0));
1255     r.B(1) = satub((int16_t)d->W(1));
1256     r.B(2) = satub((int16_t)d->W(2));
1257     r.B(3) = satub((int16_t)d->W(3));
1258 #if SHIFT == 1
1259     r.B(4) = satub((int16_t)d->W(4));
1260     r.B(5) = satub((int16_t)d->W(5));
1261     r.B(6) = satub((int16_t)d->W(6));
1262     r.B(7) = satub((int16_t)d->W(7));
1263 #endif
1264     r.B((4 << SHIFT) + 0) = satub((int16_t)s->W(0));
1265     r.B((4 << SHIFT) + 1) = satub((int16_t)s->W(1));
1266     r.B((4 << SHIFT) + 2) = satub((int16_t)s->W(2));
1267     r.B((4 << SHIFT) + 3) = satub((int16_t)s->W(3));
1268 #if SHIFT == 1
1269     r.B(12) = satub((int16_t)s->W(4));
1270     r.B(13) = satub((int16_t)s->W(5));
1271     r.B(14) = satub((int16_t)s->W(6));
1272     r.B(15) = satub((int16_t)s->W(7));
1273 #endif
1274     *d = r;
1275 }
1276
1277 void OPPROTO glue(op_packssdw, SUFFIX) (void)
1278 {
1279     Reg r, *d, *s;
1280     d = (Reg *)((char *)env + PARAM1);
1281     s = (Reg *)((char *)env + PARAM2);
1282
1283     r.W(0) = satsw(d->L(0));
1284     r.W(1) = satsw(d->L(1));
1285 #if SHIFT == 1
1286     r.W(2) = satsw(d->L(2));
1287     r.W(3) = satsw(d->L(3));
1288 #endif
1289     r.W((2 << SHIFT) + 0) = satsw(s->L(0));
1290     r.W((2 << SHIFT) + 1) = satsw(s->L(1));
1291 #if SHIFT == 1
1292     r.W(6) = satsw(s->L(2));
1293     r.W(7) = satsw(s->L(3));
1294 #endif
1295     *d = r;
1296 }
1297
1298 #define UNPCK_OP(base_name, base)                               \
1299                                                                 \
1300 void OPPROTO glue(op_punpck ## base_name ## bw, SUFFIX) (void)   \
1301 {                                                               \
1302     Reg r, *d, *s;                                              \
1303     d = (Reg *)((char *)env + PARAM1);                          \
1304     s = (Reg *)((char *)env + PARAM2);                          \
1305                                                                 \
1306     r.B(0) = d->B((base << (SHIFT + 2)) + 0);                   \
1307     r.B(1) = s->B((base << (SHIFT + 2)) + 0);                   \
1308     r.B(2) = d->B((base << (SHIFT + 2)) + 1);                   \
1309     r.B(3) = s->B((base << (SHIFT + 2)) + 1);                   \
1310     r.B(4) = d->B((base << (SHIFT + 2)) + 2);                   \
1311     r.B(5) = s->B((base << (SHIFT + 2)) + 2);                   \
1312     r.B(6) = d->B((base << (SHIFT + 2)) + 3);                   \
1313     r.B(7) = s->B((base << (SHIFT + 2)) + 3);                   \
1314 XMM_ONLY(                                                       \
1315     r.B(8) = d->B((base << (SHIFT + 2)) + 4);                   \
1316     r.B(9) = s->B((base << (SHIFT + 2)) + 4);                   \
1317     r.B(10) = d->B((base << (SHIFT + 2)) + 5);                  \
1318     r.B(11) = s->B((base << (SHIFT + 2)) + 5);                  \
1319     r.B(12) = d->B((base << (SHIFT + 2)) + 6);                  \
1320     r.B(13) = s->B((base << (SHIFT + 2)) + 6);                  \
1321     r.B(14) = d->B((base << (SHIFT + 2)) + 7);                  \
1322     r.B(15) = s->B((base << (SHIFT + 2)) + 7);                  \
1323 )                                                               \
1324     *d = r;                                                     \
1325 }                                                               \
1326                                                                 \
1327 void OPPROTO glue(op_punpck ## base_name ## wd, SUFFIX) (void)   \
1328 {                                                               \
1329     Reg r, *d, *s;                                              \
1330     d = (Reg *)((char *)env + PARAM1);                          \
1331     s = (Reg *)((char *)env + PARAM2);                          \
1332                                                                 \
1333     r.W(0) = d->W((base << (SHIFT + 1)) + 0);                   \
1334     r.W(1) = s->W((base << (SHIFT + 1)) + 0);                   \
1335     r.W(2) = d->W((base << (SHIFT + 1)) + 1);                   \
1336     r.W(3) = s->W((base << (SHIFT + 1)) + 1);                   \
1337 XMM_ONLY(                                                       \
1338     r.W(4) = d->W((base << (SHIFT + 1)) + 2);                   \
1339     r.W(5) = s->W((base << (SHIFT + 1)) + 2);                   \
1340     r.W(6) = d->W((base << (SHIFT + 1)) + 3);                   \
1341     r.W(7) = s->W((base << (SHIFT + 1)) + 3);                   \
1342 )                                                               \
1343     *d = r;                                                     \
1344 }                                                               \
1345                                                                 \
1346 void OPPROTO glue(op_punpck ## base_name ## dq, SUFFIX) (void)   \
1347 {                                                               \
1348     Reg r, *d, *s;                                              \
1349     d = (Reg *)((char *)env + PARAM1);                          \
1350     s = (Reg *)((char *)env + PARAM2);                          \
1351                                                                 \
1352     r.L(0) = d->L((base << SHIFT) + 0);                         \
1353     r.L(1) = s->L((base << SHIFT) + 0);                         \
1354 XMM_ONLY(                                                       \
1355     r.L(2) = d->L((base << SHIFT) + 1);                         \
1356     r.L(3) = s->L((base << SHIFT) + 1);                         \
1357 )                                                               \
1358     *d = r;                                                     \
1359 }                                                               \
1360                                                                 \
1361 XMM_ONLY(                                                       \
1362 void OPPROTO glue(op_punpck ## base_name ## qdq, SUFFIX) (void)  \
1363 {                                                               \
1364     Reg r, *d, *s;                                              \
1365     d = (Reg *)((char *)env + PARAM1);                          \
1366     s = (Reg *)((char *)env + PARAM2);                          \
1367                                                                 \
1368     r.Q(0) = d->Q(base);                                        \
1369     r.Q(1) = s->Q(base);                                        \
1370     *d = r;                                                     \
1371 }                                                               \
1372 )
1373
1374 UNPCK_OP(l, 0)
1375 UNPCK_OP(h, 1)
1376
1377 #undef SHIFT
1378 #undef XMM_ONLY
1379 #undef Reg
1380 #undef B
1381 #undef W
1382 #undef L
1383 #undef Q
1384 #undef SUFFIX