Подскажите, пожалуйста, можно ли оформить отношения россиянке с гражданином Латвии?

Можно конечно, это запретить теоретически невозможно.

Можете. В Латвию для этого (регистрации брака) не въедете, это не будет основанием, но оформить можно и там, и в России, и в третьей стране.:)

В Грузии можно, очень быстро и нужны только паспорта.