Код AS3:
setMode(width:int, height:int, fps:Number, favorArea:Boolean = true):void
Задает для камеры собственный режим записи, наилучшим образом удовлетворяющий заданным требованиям.
width и height только для чтения
UPD:
извиняюсь, у вас так и сделано
а может быть из-за того что сама камера не снимает с бОльшим разрешением?