задача состоит в следующем: заданы координаты вершин четырехугольника и заданы координаты точки, проверить - лежит ли точка в четырехугольнике.
можно методом луча: если количество точек пересечения какого-либо луча из точки с границей фигуры (в нашем случае - 4угольника) - нечётное, то точка принадлежит, иначе - не принадлежит. Универсальный метод, работающий и в невыпуклом случае
Здесь: http://faqs.org.ru/science/geometry_faq.htm (_Проверка вхождения точки в многоугольник._)