Сложно ли путешествовать по Японии, если знаешь только английский язык и не знаешь японского?

Вообще ни разу.

Я только русский и меня это не останавливает.

Я не говорю на японском, и английским не владею... Язык жестов вам в помощь и улыбка...

Имхо с появлением гугла все намного проще стало - как доехать можно посомтреть в инете, ну если совсем нужно вступить в диалог - через транслейт, худо бедно поймут, вряд ли вы как турист захотите подискутировать о творчестве Достоевского, а простые фразы переведет если не хорошо, то понятно. Ну и улыбка)