например декларируешь локальные переменные типа Vector3D, прогоняешь их через метод и дальше используешь

Код AS3:
var origin:Vector3D = new Vector3D();
var direction:Vector3D = new Vector3D();
camera.calculateRay(origin, direction, mouseX, mouseY);
//origin и direction изменились
сам запарился в своё время с этим
