ну в принципе если ты сделаешь кучу разных масок на разных слоях, а под каждой из них будет один и тот же объект и кажд. объект бует иметь свою прозрачность, то ты достигнешь нужного результата. более того, все это хозяйство можно будет анимировать. но это потребует приличных вычислительных ресурсов...
для статичных картинок можно использовать Png24 с прозрачностью.