может быть так:
разделить объекты на группы (Sprite):
- объекты над слоем, к которому не нужно применять маску
- объекты под слоем, к которому не нужно применять маску
К спрайтам применить alphamask (
http://www.flashandmath.com/howtos/alphamask/), а можно и простую маску
сложить объекты в контейнер в последовательности :
- 1й Sprite с маской
- слой без маски
- 2й Sprite с маской