Нужно ли брать российский паспорт, чтобы пропустили на территорию посольства Японии или можно только заграничный?

Нет. Но если вдруг случайно на обратном пути по территории РФ вам ехать куда-то дальше, и вдруг понадобится заночевать - то будет упс: ехать по иностранному паспорту можно, а в гостинице ночевать больше нельзя.