[Dukobpa3]

В высшей математике такими задачами обосновывают необходимость наличия интегралов.
Видимо интегралы и есть самый оптимальный алгоритм. На хабру ссылка выше как раз об этом методе.

Про векторы не сильно понял. Чем помогут?
Возможно при условии выпуклого многоугольника и да, но если это ломаная - уже не могу представить.