Подскажите, пожалуйста, если я хочу посетить Армению, у меня российский паспорт, российский загранник, но азербайджанская фамилия, будут ли проблемы с въездом?

С чего бы? Вы гражданка РФ.

Если место рождения не территория Азербайджана или АзССР, то проблем не будет, в противном случае могут попесочить на контроле, но без последствий, скорее всего