Разобрался наконец с этим browse, оказалось вот что. В 10 флешплеере есть ограничение на то, что метод browse нужно вызывать только в функции обработки нажатия кнопки и т.п. Но я столкнулся с еще одним ограничением.
В методе onMouseClick получал экземпляр класса FileReference при помощи статического метода getFileReferenceInstance класса ExternalFileReference
Код AS3:
ExternalFileReference.getFileReferenceInstance();
Этот метод делал return new FileReference(); Так было задумано, т.к. в методе еще небольшая логика зашита.
После такой конструкции browse не отрабатывал, а когда напрямую создал в onMouseClick new FileReference(), то browse отлично отработал. Самое интересное, такое поведение наблюдалось, когда песочница была Remote, когда локально у себя в стэндэлоуне, то все отлично работало. Вот так вот!