[Cos]

Если многоугольник выпуклый можно попробовать так.

Берем три соседние точки x1,y1, x2,y2, x3,y3. Дальше проверяем, чтобы вторая точка (x2,y2) лежала слева или на линии (x1,y1, x3,y3). И так в цикле перебираем все.