В таких случаях внутри удяляемого объекта слушается событие
Event.REMOVED_FROM_STAGE, в обработчике описывается деактивация объекта, выключение музыки, отписывание от всяких ненужных событий и прочие действия, для того чотбы он не дергался, а спокойненько ждал сборщик мусора. Есть еще не очень хороший вариант при котором сборщик мусора можно вызвать самому, описан о
тут