Я гр. России, с ВНЖ Латвии Муж гр. Латвии Муж по работе переезжает в Швейцарию ( ему как гр. ЕС, там нужно находиться по визе)

С внж Латвии вы можете жить только в Латвии. Касательного швейцарских законов надо искать швейцарский чат. Швейцария правилам ЕС не подчиняется, хотя иногда их учитывает. По ЕС было бы проще, так как члены семьи могут переезжать с гражданами, но Швейцария не в ЕС...

Вам надо будет подавать на ВНЖ Швейцарии как член семьи. По ВНЖ Латвии вы можете находится в другой стране Шенгена только 90 дней из 180.

Это лучше уточнить у принимающей швейцарской стороны. Если они согласны принять вашего мужа с членами семьи, то вам должны оформить соответствующее приглашение, по которому вы тоже сможете получить визу, как и ваш муж. Если он, конечно, едет туда работать по контракту и получает рабочую визу...