Скажите, для того, чтобы ИП в Грузии считалось не работающим и не облагалось налогами, достаточно поставить в ИП статус "неактивен" и всё? Или нужно что-то еще делать?

Да, достаточно, но за работающие периоды необходимо подать декларации по той системе налогообожения, по которой работает. И если будете возвращаться в активный статус и до этого был малый бизнес, то проверить, если он слетел, то подать новое заявление на его восстановление.