Первый раз собираемся лететь в Баку: можно ли там поменять наличные рубли на манаты?

Во многих банках меняют

Можно, но курс не очень. Лучше возьмите с собой карту МИР и снимайте с неё и некоторое количество долларов для подстраховки.

Я бы евро или доллары купил.

Зачем ходить по незнакомому городу и искать обменники или банкоматы, если можно у себя в городе обменять. А доллары/евро в каждом банке/обменнике можно поменять.