ну вроде бы правильно понял, только, наверное, "между нормалью к плоскому объекту И этим вектором".
Проблема в том, как найти эту самую ось, перпендикулярную этим векторам. Ведь эта плоскость явно не совпадет с X, Y или Z. На теорию времени нет... =)
Насчет нормали к плоскости, так она определяется?
Код AS3:
//object - плоский объект
var normal:Vector3D = new Vector3D( -object.y, object.x, object.z );