Не пользовался Five3D, но думаю, он должен поддерживать матрицы. Если даже нет - можно создать класс матрицы самому.
Вот ссылка на матрицы поворота
http://ru.wikipedia.org/wiki/%D0%9C%...BE%D1%82%D0%B0
Суть в том, что куб у тебя крутится вокруг своей оси, а не вокруг глобальной оси. Следовательно при повороте вокруг одной оси, две другие оси увеличивают свой угол относительно начала координат, на угол поворота.