Насколько я знаю, в Сербии реально подать на шенгенскую визу, если есть ВНЖ. а что если до этого ни разу не было шенгенских виз?

Не критично. Из-за отсутствия шенгена ранее не откажут. Из-за неверного пакета доков - могут вполне.

Вам просто дадут на срок поездки в первый раз, а не на год или три.

Сейчас с шенгеном для россиян туговато. Есть отказы даже тем, у кого действующая американская + канадская. Но это в российских консульствах.