Подскажите, после открытия ИП в Грузии есть ли какие-то ограничения на присутствие в стране? Или можно уехать куда-то еще и спокойно продолжать работать и платить налог в Грузии?

Можете находиться где угодно вне Грузии. только помните о налоговом резиденстве: если в Грузии вы находитесь меньше 183 дней в году, то у вас налоговое резиденство другой страны, а значит, и налоги там.

Если уехать например на Кипр, и прожить там 183 дня в году, то налоговое резидентство в Грузии теряется, а на Кипре появляется, и нужно платить Кипру прогрессивный подоходный налог физлица от 0 до 35%. Поэтому есть смысл там замутить LLC: 12.5% налог + 2.65% на медстраховку за вывод дивидендов.