Правильно понимаю я не могу поехать в Латвию к матери у которой пмж (у меня виза Латвийский шенген)?

Напрямик нет. Возможно, будут пускать при влете из другой страны Шенгена, еще не было прецедентов. Ну то есть при влете могут вообще не проверить, но вопрос будут ли пускать если проверят.