делэй или рэтригердэлэй врядли может просадить фпс, все бьет по фпс в той или иной степени, лучший способ это регулярно проверять его с помощью этой логики, добавил чего нибудь 10 или 100 и проверил

если заменить физику на анимации, и вместо Адд форсе написать собственную логику, прирост к быстродействию будет весьма не плохой. Каждый компонент имеет или мало или много переменных, это все память и вычисления. Зачастую компонент имеет много больше функций и переменных чем тебе от него надо, грубо говоря юзаешь его на 2%, врядли это целесообразно для оптимизации.
Еще если коллизия карты просчитывается по полигонам, + физика, это будет жестко.
Способов как сделать быстрее или медлене тысячи. если не миллионы))
Одно могу сказать, что я генерирую впереди целый мир, тащу на свою "машинку" и уничтожаю, когда позади камеры. И в запасе есть еще 20 фпс, 20 фпс это достаточно много, для моих акторов и компонентов.
Левелы весят килобайты, физики совсем мало, и не более 2 сек на объект, когда он мертв, потом он уничтожается. Взрывы и эффекты, или спрайтовые анимации, или простейшие партиклы.