Подскажите, пожалуйста, а есть ли возможность с первичным ВНЖ по браку открыть в Латвии ИП (самозанятого, не знаю как это корректно назвать в рамках Латвии), для удаленной работы?

Не совсем ответ на вопрос, а частное мнение: ИП не стоит, если это не совсем мелочь какая-то (сбор грибов, типа). Преимуществ перед SIA у него нет, и отвечаете вы всем своим имуществом по долгам, а это рискованно, если вам насчитают долг по налогам. У SIA вы ответите только имуществом самого SIA. Проверьте ещё, если ли у вас право на работу (в внж тогда пишут, что с правом работы без ограничений).