fileRef.name - это только имя файла. вы же его получили с помощью FileReference, я правильно понял?
в метод setJpgSize класса mdm.Image нужно передавать полный путь к файлу. получить его можно только через методы mdm-классов. никакие методы флэша не позволяют получить такую информацию о файлах на диске.
то, что работает из каталога приложения, говорит только лишь о том, что
setJpgSize воспринимает fileRef.name в данном контексте как относительный путь к файлу и, конечно, срабатывает, при условии, что файл лежит в папке приложения.
вместо FileReference.browse() предлагается использовать

Код:
var myFile = mdm.Dialogs.BrowseFile.show();
этот код выводит окно выбора файла и в переменной myFile после выбора файла в этом окне будет содержаться полный путь к выбранному файлу. его и надо подставить в setJpgSize первым параметром.