Недавно приехал в Хургаду, живу в Аль-Бахр-аль-Ахмар ( как говорят гугл карты, если это правильно).

нестоит, обычно воду дают в бутылках в номер.

Можно, но вряд ли вам понравится вкус.

Считается, что не стоит Пить воду и даже Чистить зубы с этой водой

25 лет в Египте пила кипячёную водопроводную воду и зубы из под крана чищу как и дочь. Ни разу ни померли. Вода как вода, опресненная. Если лень идти в магазин, чай кофе вполне можете сделать. Вы впервые в Египте и сразу в съем?