ну вот вариант навскидку.
1. фигура, конечно, не должна себя пересекать.
2. фигура д. лежать в одном квадранте, если не так - передвинь параллельным переносом.
3. площадь фигур есть сумма площадей трапеций, составленных одной гранью фигуры, перпендикулярами на ось х и проекцией грани. надеюсь, прощадь трапеции мы считаем без проблем.
на иллюстрации будет
S = S(abb1a1)+s(bcc1b1)-s(dcc1d1)-s(add1a1).
решение о + или - принимаем след. образом. в каждую из точек верхней грани трапеции может приходить не более двух отрезков (фигура не пересекается, в т.ч. вершинами). один из этих отрезков есть верхняя грань трапеции, другой - иная грань фигуры. определяем, попадает эта "иная" грань внутрь трапеции или нет (разностью углов, определяем углы арктангенсом, например), если попадает, значит +, если не попадает, то -.
алгоритм на практике не проверен, возможны косяки, но вроде похоже.