Самый простой способ - использовать встроенный класс Tween с типом Bounce в качестве easing'а . Вот так:

Код AS1/AS2:
import mx.transitions.Tween;
import mx.transitions.easing.*;
mc.onRollOver = mcOver;
mc.onRollOut = mc.onDragOut = mcOut;
function mcOver()
{
mc.twX.stop();
mc.twX = new Tween(this, '_xscale', Bounce.easeOut, this._xscale, 120, 0.8, true);
mc.twY.stop();
mc.twY = new Tween(this, '_yscale', Bounce.easeOut, this._yscale, 120, 0.8, true);
}
function mcOut()
{
mc.twX.stop();
mc.twX = new Tween(this, '_xscale', Bounce.easeOut, this._xscale, 100, 0.8, true);
mc.twY.stop();
mc.twY = new Tween(this, '_yscale', Bounce.easeOut, this._yscale, 100, 0.8, true);
}
Рабочий пример:
Bounce.rar
Можете поэкспериментировать с другими easing'ами, взять, например, Elastic.easeOut, эффект даже более близкий к приведенному вами примеру.