Подскажите, как-то общественным транспортом можно ли доехать до Вардзиа (и потом вернуться) или это вотчина только всяких тур.фирм и частников?

Яндекс карты очень хорошо показывают маршруты. Тыкаете на остановку и он выдает весь транспорт, включая маршрутки.

а) Однозначно лучше взять тур. Туда входит ещё Ахалцихе и Боржоми.

б) Если повезёт с погодой, можно попробовать проехать по Трансаджарской трассе через Хуло и Годердзи. Возможно, ее действительно достроят к сезону.

Если поедете сами. Обратите внимание, что есть деревня Вардзиа, и это совсем не то