Был ли у кого-нибудь отказ в выпуске нового заграничного 5-ти летнего паспорта консульством РФ в Сербии? И что в этой ситуации делать? Имеет ли смысл подавать повторно заявление?

Необходимо устранить причину, по которой отказали и после этого подать заявление заново. Будь то Сербия, то Германия - разницы нет, есть правила РФ, по которым идёт процесс. Попробуйте связаться с консульством и узнать у них причину отказа, которая может быть банальной, например ошибка в заявлении.