Правильно понимаю, что за мелкую посылку с али в любом случае придется заплатить около 20 франков? За растаможку и доставку по шв.

Растаможка будет только если посылка дороже 65 франков.

Ни разу ничего сверху не приходилось доплачивать за мелкие посылки.

Нет. до 65 не облагается.