[bicubic_bublic]

если только поворот и scale, то думаю как-то так:
scaleX = Math.sqrt(m.a * m.a + m.c * mc);
scaleY = Math.sqrt(m.b * m.b + m.d * md);