Я гражданин Латвии, приехал в Россию и собираюсь жениться на девушке, а с этим проблем уже не возникает.

Апостиль в России не забудьте поставить.

Ответили насчёт апостиля Визу просите в латвийском посольстве, на основании брака. Не должно быть проблем. Всё остальное уже в Латвии вместе с супругой. Задайте вопрос в любом из миграционных отделов, более верно никто не ответит.

Регистрируете брак, берёте копию брачного св-ва и на оба экземпляра ставите апостиль (загс ставит), в посольстве Латвии есть объявление об аккредитованных переводчиках - у них переводите все документы и на всё ставите апостиль. Подаёте документы на визу по семейным обстоятельствам и у вас заберут один экземпляр брачного свидетельства.