если в Варшаве заберут паспорт на вклейку визы, смогу без паспорта на автобусе съездить в соседние города погулять?

Да, сможете.

Сможете, сделайте копию на всякий случай.

Скан паспорта имейте при себе. И гуляйте. По Польше.

Варшаве кроме банка нигде не требуют ваш паспорт, можете спокойно гулять съездить куда вам надо.