Подскажите пожалуйста, на каком языке можно предоставлять документы для подачи на первичный внж Латвии?

зависит от документа.

то, что сами заполняете (анкета, заявление, CV) -- на латышском или английском.

выданные государством документы: при подаче через посольство -- можно в том числе на русском, но с апостилем; при подаче из Латвии -- возможно, зависит от основания внж (на "репатриацию", например, нужен оригинал с апостилем и перевод на латышский).