Исходник затерли, так как метод от rainbowrussia показался более стройным и производительным, осталось только выдержка из скайпа:

Код AS1/AS2:
function sign(a,b){
var sign
if(a._x*b._y - a._y*b._x >= 0){
sign = 1
}else{
sign = -1
}
return sign;
}
arr_in = [{_x:569.55,_y:218.35},{_x:566.45,_y:172.2},{_x:521.75,_y:218.35},{_x:519.55,_y:172.2}];
arr_all = arr_in.concat([]);
arr_out = [];
arr_out.push(arr_in.shift());
while(arr_in.length > 0){
var correct = false;
var p1 = arr_out[arr_out.length - 1];
var p2 = arr_in.shift();
var a = {_x : p2._x-p1._x,_y : p2._y-p1._y}
while(!correct){
var sum = 0;
for(var i = 0; i < arr_all.length; i++){
var b = {_x : arr_all[i]._x-p1._x,_y : arr_all[i]._y-p1._y};
sum += sign(a,b)
}
if((Math.abs(sum)/arr_all.length) ==1 || arr_all.length == 0) {
correct = true;
}else{
arr_in.push(p2);
p2 = arr_in.shift();
a = {_x : p2._x-p1._x,_y : p2._y-p1._y}
}
}
arr_out.push(p2)
}
_root.lineStyle(1,0xff0000);
_root.beginFill(0x000000,50);
_root.moveTo(arr_out[0]._x,arr_out[0]._y);
trace("x = "+arr_out[0]._x +" ; y ="+ arr_out[0]._y)
_root.attachMovie("id","id_"+0,0,arr_out[0]);
for(var i = 1; i < arr_out.length; i++ ){
_root.attachMovie("id","id_"+i,i,arr_out[i]);
trace("x = "+arr_out[i]._x +" ; y ="+ arr_out[i]._y)
_root.lineTo(arr_out[i]._x,arr_out[i]._y);
}
_root.lineTo(arr_out[0]._x,arr_out[0]._y);
_root.endFill();