Подскажите, если купить машину в Грузии на грузинских номерах, можно ли с ней выезжать на грузинских номерах, если я не гражданин Грузии?

Выезжать можно, а вот въезжать в другие страны - тут сложнее, зависит от законов этих стран.

Если в РФ хочешь въехать, запросят депозит (финансовое обеспечение), сумма будет равна стоимости растоможки авто, если авто до трёх лет, сумма депо будет равна средней стоимости авто в РФ.

Смотря какое гражданство.