Подскажите, пожалуйста, возможно ли , не имея загранпаспорта, на автомобиле на пару часов заехать в Баку , узнать необходимые вещи и выехать?

нет)

Во-первых из РФ в Азербайджан только по заграну.

Во-вторых сухопутных границы закрыты, на авто не вариант.

В-третьих за пару часов от границы до Баку не доберетесь)

Нет