Скажите, в Таллине можно пить воду из-под крана?

Да, но она невкусная.

Просто она известковая, но чистая.

В целом можно, но лучше фильтровать всё же. Фильтр-кувшин или магистральный фильтр для воды в квартире. И тогда точно можно.