Собираюсь в Дубай в марте. Подскажите, нужна ли тёплая одежка ( типа худи или кофты) для прогулок вечером?

Да, даже нисколько как для вечера, как для нахождения в помещениях, дубачелло.

Вчера гуляли в одной футболке, был ветер небольшой, но не замерзли

Если мерзнешь, то возьми зипку, лишней не будет. Сейчас в Дубае по вечерам свежо, градуса 23