Маска должна находиться в том же контейнере что и маскируемый объект, а не в самом маскируемом объекте.
Т.е. не так:
Код AS3:
obj.mask = msk;
obj.addChild(msk);
cont.addChild(obj);
А вот так:
Код AS3:
obj.mask = msk;
cont.addChild(msk);
cont.addChild(obj);