Можно ли открыть в Испании ИП cuenta ajena из нелегального статуса? Или хотя бы находясь в "гэпе" 90 дней после истечения студ. визы?

Нет.

ИП это куента пропиа, если успеете собрать все доки, то можно подать на модификацию в 90 дней, насколько я знаю.

Нельзя. В течении 90 дней после истечения студ tie можно подать самостоятельно пакет документов на модификацию в внж cuenta propia при соответствии условиям. В случае одобрения не только можно, но и нужно будет зарегистрировать ИП. Либо работодотодатель запрашивает модификацию в cuenta ajena в те же сроки. После истечения 90 дней за редким обоснованным исключением человек становится нелегалом со всеми последствиями.