Очень хочется посмотреть маленькие милые французские городки. Рядом с Парижем есть может такие места, посетить погулять?

Вот прямо такого мимимишного как в Эльзасе например рядом вроде нет. Но можно выделить Руан и Труа наверное, попробуйте про них почитать

Provins. Доехать можно на общественном транспорте Иль де Франс, то есть за 2,50.

Одним днём можно и в Руан, и в Дижон, но билеты не задолгое время дороговаты.