Подскажите, будет еще сильно холоднее или погода примерно такая на зиму и останется?

До -4 максимум Но неожиданно резко похолодало прямо сейчас. Не типично.

Так на неделе уже снова обещают +5 +10.

Холоднее вряд-ли, а вот ветер посильнее бывает.. И не так страшно даже - 4, как ветрище.. Но для Тбилиси эти 4 многовато, обычно теплее. Много зависит от региона, где Вы. Эти - 4 с ветром, как в Москве (например) - 15...