если у меня есть налоговая задолженность, меня пропустят в Грузию?

Для начала Вас РФ должна выпустить. Проверьте нет ли у вас запрета на выезд.

Задайте этот вопрос приставам. Они накладывают ограничения. Иностранным государствам безразличны ваши долговые обязательства, перед РФскими организациями.