Задача
Реализуйте программы формирования и проверки электронной подписи по методу шифрования RSA
Сам алгоритм есть.
Только шифрование-дешифрование понятно, а как реализовать цифровую подпись?

RSA - это асимметричное шифрование с открытым ключом, правда? Вот тут посмотри:
Wiki -> Асимметричная схема

Ага, спасибо, понятно.
А как реализовать? Т.е как вообще физически сделать подпись, что лучше взять в качестве подписываемого файла?

У тебя задание - не физически сделать подпись, а реализовать формирование и проверку подлинности подписи, чувствуешь разницу? Одна подпрограмма генерирует подпись, имея секретный ключ, вторая - с использованием открытого ключа - проверяет валидность этой подписи.

rsa - как я понимаю это алгоритм шифрования, цифровая подпись это dsa, Как говорит вики. Если нужен именно DSA, стукани в асю,есть исходники на делфе,поделюсь