Допустим необходимо найти вариации без повторения по 2 элемента (всего 5). По формулам выходит 20. Когда начинаю писать вручную то вижу что обязательно будет половина элементов повторяться ( то есть ab,ba ), чтобы получилось 20, иначе только 10. Считал по формуле N!/(N-K)! где N = 5, a (N - K) = 3. И того 5!/3! = 4*5=20.

Я никогда не слышал, чтоб это называлось вариациями. Обычно речь идет либо о перестановках (это когда порядок существеннен), либо о сочетаниях (когда порядок не важен). Слово "вариации" в математике имеет совсем другой смысл (относится к функциональному анализу).

Чтобы разобраться с перестановками и сочетаниями раз и навсегда, давай выведем формулу.
Если у тебя есть N объектов, располагающихся в ряд (друг за другом, как цифры в числе), то сколькими способами мы можем их расставить? Ответ простой: это N!, то есть произведение 1*2* .. *N. Доказать это очень просто по индукции (если не сможешь - скажи). Иначе говоря - число перестановок равно N! .
Теперь выведем, чему равно число сочетаний из N по K, то есть сколькими способами можно выбрать K элементов из N. Это число обычно обозначают так:

 K
C
 N

- N стоит нижним индексом, а К - верхним.
Представим данное множество из N элементов расположенным в ряд, при этом разделим его на два под-ряда:

a1 a2 a3 ... aK b1 b2 ... b(N-K)
- это все элементы одного множества, но занумерованые каждый в отдельном под-ряду.
Всего таких рядов можно написать, как мы знаем, N! . Но нам неважно, как расположены элементы в том подмножестве из К элементов, которые мы выбираем (а в нем K! разных расположений), а также неважно, как расположены оставшиеся N-K элементов (которые могут быть расположены (N-K)! способов). Поэтому общее число расстановок мы делим на числа расстановок внутри этих подмножеств:

 K      N!
C  = ------------
 N    K!(N-K)!

Формула выведена. Как видишь, она отличается от твоей. Чем именно? Наличием в знаменателе К!, то есть как раз учетом числа перестановок в выбранном множестве. Значит, в твоей формуле важно, в каком порядке мы берем элементы. Если ты применишь выведенную нами формулу для числа сочетаний - получишь 10.