[gloomyBrain]

Про сортировку плоскостей разного размера:
Если есть много времени и желания, читайте про BSP-деревья
Если нет желания делать через BSP - алгоритм Ньюэла-Ньюэла-Санча к Вашим услугам. В него можно врубиться и он полностью решает эту задачу.

Про производительность:
Я пришел к тому, что нужно сделать буфер шейпов в одном спрайте (спрайт - это Viewport, каждый шейп - ViewportLayer).
В каждый шейп нужно рисовать определенную глубину (от и до) методом drawTriangles(). В один шейп должен попадать только один объект (а значит - одна текстура => одна заливка), более того - только участок объекта, не пересекающийся с другими по глубине (при этом по x и y пересечения допустимы).

По поводу учебников по математике и геометрии - алгоритмов пруд пруди. Правда их придется все понять =)

ЗЫ
Про вращение кубика вокруг непонятной точки - а какие координаты у объекта Cube вы выставляете изначально?