Подскажите, пожалуйста, если кто-то мне предоставляет адрес при оформлении ИП в Грузии - могут ли потом где-нибудь, скажем, в банке, потребовать договор об аренде помещения по этому самому адресу? Что на такое можно сказать?

Нет. Это Юрадрес, привязка Вашего ИП. Вы не обязаны по нему жить и работать. Договор аренды могут в банке потребовать не по конкретному адресу, а вообще, для подтверждения длительности Вашего проживания в Грузии Ваших намерений на этот счёт.