Мож я криво видосы смотрел по этой игрушке... подлетаешь ближе и просто показывается очередной лод, очередной уровень детализации для ландшафта + прогружаются меши(скорее всего инстансы) камней, где там генерация? В анриле такая система автоматом прикручена, сделай достаточно большой ландшафт, и будет видно как вырастают горы когда к ним подлетаешь, и как они сглаживаются, уменьшаются на большом расстоянии. А для более качественного рельефа можешь написать свой алгоритм тесселяции в материале ландшафта.
И Планеты там не такие и большие. Думаю если задаться идеей, такую планету можно получить на 10м сфере, просто задав соответствующие скорости и размеры игрока, ток придется повыпендирваться с настройкой расстояний детализации.
Кстати чем не образец дерево из спиид три, на близком расстоянии может быть виден каждый листок, а на самом дальнем - просто плоскость.
А так для очертаний ландшафта - с большой высоты в материале используется соответствующий снимок(текстура) местности, спускаешься ниже - используя позицию камеры и координаты объекта( мб глубину пикселя, так как эта сфера а не плоскость) плавно смешиваешь с более детализированными текстурами.
Или имеется ввиду просто алгоритм для случайной карты высот? Тогда надо лесть в изучение различных шумов( вроде в маинкрафте такая система используется) Ну и за счет частоты и амплитуды получать поверхности нужной детализации, и в дальнейшем суммировать результаты(Сразу видны ток крупные контуры, а дальше прибавляем шум более высокой частоты и получаем детальные объекты) .