[Alex Lexcuk]

>>normalize() 8]
Делает из вектора вида ( 12, 100, 128) наподобие такого (0,0.32,0.324234)
Тоесть приравнивает один параметр к 0, и вектор 0,0,3 в нормализации не нуждается, т.к. он и так нормальный.
>>или (0,0,1) вместо (0,0,2)
Пришли к тому с чего начинали т.к. в первом посте Vector3D.Z_AXIS и есть то-же самое что и (0,0,1) - не работает, но раз уж не получается с pivotPoint, то можно сделать коррекцю и все будет работать.

package {
	import flash.geom.*;
	import __AS3__.vec.*;
	import flash.display.*;
	import flash.events.*;
	
	public class Main extends MovieClip {
		private var pointS:Vector.<Vector3D>,
			mat3D:Matrix3D,
			myPivotPoint:Vector3D,
			xyMoveVec:Vector3D,
			i:int;
		public function Main() {
			pointS = new Vector.<Vector3D>();
			pointS[0] = new Vector3D( 0,   0,   0);
			pointS[1] = new Vector3D( 100, 0,   0);
			pointS[2] = new Vector3D( 100, 100, 0);
			pointS[3] = new Vector3D( 0,   100, 0);

			mat3D = new Matrix3D();
			myPivotPoint = new Vector3D( 50, 50, 0);
			xyMoveVec = new Vector3D( 200, 200, 0);
			for (i=0;i<4;i++) pointS[i].incrementBy(xyMoveVec);//передвинуть точки объекта
			myPivotPoint.incrementBy(xyMoveVec);//передвинуть точку ротации
			mat3D.appendRotation(1, new Vector3D( 0, 0, 1));
			addEventListener(Event.ENTER_FRAME, enterFrameFunc);
		}
		private function enterFrameFunc(evt:Event):void {
			setGr();
			for (i = 0; i < 4; i++) {

				pointS[i].decrementBy(myPivotPoint);//вычитание векторов

				pointS[i]=mat3D.transformVector(pointS[i]);

				pointS[i].incrementBy(myPivotPoint);//сложение векторов
				showPoint(pointS[i]);
			}
		}
		private function showPoint(_v:Vector3D):void {
			graphics.drawCircle(_v.x, _v.y, 5);
		}
		private function setGr():void {
			graphics.clear();
			graphics.beginFill(0);
		}
	}
}

Т.е. сначала вычесть нужный myPivotPoint из вращаемой точки, покрутить относительно нуля координат, а затем прибавить опять myPivotPoint.
И точки квадратика вращаются относительно myPivotPoint как было задумано.

PS. может как-то я неправильно понимаю понятие вектор и от этого получаются неправильные результаты вращения, т.к. точки которые я таким образом вращаю, возможно не есть вектора.