В любых обстоятельствах выражайтесь точнее, в "новом окне" чего? Предварительные ласки по поводу выяснения того, что там у автора за ситуация, и что он хочет получить, не способствуют убыстрению возможного совета.
getURL будет вам загружать ролик в браузер по умолчанию, у вас стоит FF, поэтому он и запускается. Ролик не грузится, так как скорее всего, ошибка в пути, используйте относительный путь.
1. Если вам нужно, чтобы другой ролик запускался вместо текущего, используйте основной ролик как контейнер, и по нажатию кнопки подгружайте в него другой ролик с помощью MovieClipLoader.
2. Если вам нужно, чтобы ролик запускался в новом окне плеера, скомпилируйте оба ролика
в проектор (в файлы с расширением
.exe).
Далее, создайте рядом с основным роликом (например,
main.exe) папку
fscommand, и положите туда
test.exe.
В основном ролике создайте кнопку, дайте ей инстанс-имя (имя на сцене)
btn и используйте запись вида

Код AS1/AS2:
btn.onRelease = function () {
fscommand ('exec', 'test.exe');
}
в кадре! Записываете код а не на кнопке, на кнопках сейчас не пишут!
Насколько я вас понял, вам нужен вариант (2).