Кто-нибудь встречал проблемы с тем, что договор аренды не заверяется нотариально и составлен только на русском языке? Может его в банке для открытия счета могут не принять или регистрацию не сделать по месту жительства?

Только один банк требует нотариально заверенный договор (Ардшин), остальным всё равно. Русский никого не смущает. Для регистрации договор не нужен и (обычно) его не спрашивают. Особенно если пойдёте с собственником.

Официальный язык Республики Армении армянский, и делопроизводство обязаны вести на армянском все учреждения, в том числе банки паспортные столы и прочее. Так что теоретически вы можете получить отказ на любом из этапов ваших действий. Практически во многих местах на это могут закрыть глаза. Если есть возможность я бы рекомендовал сделать хотя бы двуязычный договор. Нотариально почти никто не заверяет договор, мало где это требуют.