Ходят слухи что в процессе получения пермита B нельзя покидать территорию Швейцарии, а мы как раз планировали с женой (которой B получать) ехать в отпуск. Это слухи, или это действительно так?

Не правда. Идите в миграционную службу и сообщаете о желании съездить в отпуск. Ей за плату дадут визу Д. Мы так делали и по возвращении из отпуска пермит был уже готов.

Да так и есть, если у вас нет ни пермита ни визы. а визу можно купить в миграционке.