задача состоит в следующем: заданы координаты вершин четырехугольника и заданы координаты точки, проверить - лежит ли точка в четырехугольнике.

можно методом луча: если количество точек пересечения какого-либо луча из точки с границей фигуры (в нашем случае - 4угольника) - нечётное, то точка принадлежит, иначе - не принадлежит. Универсальный метод, работающий и в невыпуклом случае

Здесь: FAQ по геометрии (_Проверка вхождения точки в многоугольник._)