Если я работаю в Атырау, а юр адрес фирмы зарегистрирован в Астане, мне реально нужно ехать в Астану и продлевать там рвп?

Вам можно не ехать, а подать работодателю самому, но в Астане. И в договоре должна быть указана удалёнка или место работы в Атырау. И переслать нотариальное согласие собственника вам необходимо работодателю. Либо работодатель подаёт онлайн. Такое требование в НПА с февраля. Правила выдачи РВП и РПП можете посмотреть.