Подскажите, сухопутную границу можно пересечь туда и обратно?

Пешком можно.

Выехать иностранным гражданам можно. Въехать никак, насколько мне известно.

Нерезидентам Азербайджана только на выход можно. Вход только самолетом.

Только из Азербайджана, если вы гр. России.