"Всплытие" же не само происходит? Ты же кликаешь на кнопку для этого?
Так допиши к коду, которое вызывает "всплытие" отключение кнопок меню методом, который я указал.
А на кнопке закрытия - опять их включение с помощью свойства enabled.
Добавлено через 3 минуты
типа

Код AS1/AS2:
btn1.onRelease = function() {
//.. вызываем всплывающее окно
//отключаем кнопки
btn1.enabled = false;
btn2.enabled = false;
.
.
.
btnN.enabled = false;
}
А потом, на кнопке закрытия:

Код AS1/AS2:
close_btn.onRelease = function() {
//....закрываем всплывающее окно
//включаем кнопки
btn1.enabled = true;
btn2.enabled = true;
.
.
.
btnN.enabled = true;
}
Добавлено через 10 минут
Да, на твоем сайте, если так не сделать, то каша получается, если уже при открытом окне по другому пункту щелкнуть. Делай так, как я советую.