Это от непонимания того, что делает
getNextHighestDepth(). А этот метод просто-напросто выдает инфу о том, какой следующий уровень свободен.
А ставит на нужный уровень уже метод
swapDepths()
Поэтому сделайте так:

Код AS1/AS2:
//найдем свободный уровень внутри main - он будет выше всех занятых
var topLevel:Number = main.getNextHighestDepth();
function ab (){
this._xscale = 110; //плюсы тут ни к чему
this._yscale = 110;
this.swapDepths(topLevel); //очередная кнопка встает на найденный уровень, который заведомо выше всех
}