По пмж Грузии в Европу можно поехать?

Только в страны безвизовые для общегражданского паспорта РФ.

Т.е. как гражданин РФ.

Но имея ПМЖ в третьей стране, можно подавать документы на Шенген в этой самой третьей стране.

Без основания (ПМЖ, рабочая или учебная виза , длительная командировка и т.п) у вас не примут документы на Шенген. По правилам Шенгена турист должен подаваться в стране постоянного проживания.