Значит остается другой вариант - сделать собственный контроллер передвижения. Не использующий CharacterMovement компоненту. Или разберись с кодом компоненты и сделай компоненту-наследника от CharacterMovement, которая может двигаться по привязке к объекту сцены.
Возможно все же я напутал и CharacterMovement использует физику.
При любом раскладе тебе нужно будет делать сов собственный контроллер передвижения.
