А я смогу потом выехать из Армении в Грузию, если возьму с собой загран, но в Армению буду въезжать по внутреннему?

Да. Армения поставит выездной штамп - Грузия въездной.

Берите внутренни паспорт с собой. С заграном пропустят, но на границе грузии, попросят еще внутренний. Хоть по закону он не нужен.