При отсутствии визы, но при наличии пермита я могу спокойно въезжать и выезжать их страны? + могу ли я только с Швейцарским пермитом въехать во Францию и другие Европейские страны?

Если у вас была виза, на основании которой вы получили пермит. И далее виза естественно истекла в паспорте, ваш документ для легального пребывания/ перемещения это пермит. Поэтому да, можете Со швейцарским пермитом можете передвигаться по шенгену.