[expl]

Тут не столько тригонометрия, сколько линейная алгебра/аналитическая геометрия и кватернионы (если использовать только матрицы без кватернионов некоторые операции с углами будут проблематичны)
Если я правильно понял задачу (мутно написано, рисунок нужен):
- провести вектор из плоского объекта в камеру
- найти минимальный угол между нормалью к плоскому объекту этим вектором
- повернуть объект вокруг оси, перпендикулярной обоим этим векторам на этот угол
Теорию читать на gamedev.ru