[Dukobpa3]

Да я думаю в реальных задачах проще будет в твой выпуклый многоугольник вписать несколько прямоугольников и вхождение в них искать.
Будет некоторая погрешность, но тут уже от требуемой точности зависит. По производительности думаю это самый простой вариант.