Как я понял программа не твоя
Ставишь на машину с клиентом снифер (программа такая), которая позволяет "прослушивать" весь сетевой трафик. Настраиваешь снифер так, чтобы он фильтровал только те IP пакеты, которые между этими программами бегают. И записывай их в файл. Потом в шестнадцатеричном редакторе просматривай и анализируй как программы переговариваются. Да, для этого ты должен быть Админом этого компа.
ЗЫ: Шансов разгадать все не более 10%.