Как работает таможня при поездке поездом из Питера в Минск, при наличии ограничения на выезд из РФ?

Никак не работает. РБ и РФ единое таможенное пространство. Документы паспорт и билеты проверяет проводник при посадке, если вы это имеете ввиду.

Таможни не будет. Возможно погранслужба вами заинтересуется, если есть за что.