Если пермит B в Швейцарии получен по процедуре восстановления семьи, например по отцу получила мама, потом по маме ребенок, если вдруг отец и мать разводятся, то пермит у матери и ребенка забирают?

У ребёнка нет, дети получают право на воссоединение семьи автоматически, матримониальный статус роли не играет, есть свидетельство о рождении. А у матери, скорее всего, да, за исключением предоставления оснований на пермит Б. Супругам в принципе право на воссоединение автоматически не даётся, а не супругам - тем более.