На арендованной машине без ВНЖ в Черногории можно заехать в Боснию и обратно без дополнительных документов? Загран паспорт, права РФ, документы на машину только?

должно быть разрешение от арендодателя на выезд, насколько я знаю

Если это официальный рентакар, то у них все документы есть, вы при аренде должны сказать, куда планируете выезжать

Если это частник, не рентакар, и машина на ЧГ номерах, без боровака могут и не выпустить вообще