Смотря какие директивы... Например, подключение сопроцессора {$N+} без внесения других изменений увеличило сейчас скорость выполнения тестовой программы (активно работающей с переменными типа Real) в 4 раза (!!!)
Контроль за переполнением стека тоже замедляет программу, поэтому в отлаженной программе его лучше отключать: {$S-}... Контроль переполнения {$Q+} и выходов за границы {$R+} замедляют программу...
Добавлено через 2 мин. P.S.
Подробнее о директивах - здесь:
Директивы компилятора