Подскажите только приглашающий может решить отозвать ВНЖ Латвии?

Ну так супругу гражданина Латвии внж даётся не за то, что этот супруг сам по себе нужен Латвии.

Внж даётся, чтобы соблюсти права именно гражданина Латвии на совместную жизнь с супругом. Если гражданину Латвии это больше не нужно, то и Латвии как стране -- тоже.