Тогда у вас отличная ситуация и отличный вариант. Держитесь за него обеими руками. Лучше уже всё равно ничего не будет. Спокойно подумайте и оцените как всё хорошо устроилось, как все довольно. Всё гармонично. Сколько приятных эмоций уже в самом факте тайных встреч урывками. Романтика. Если бы это был плохой вариант, столько народу не практиковали бы его годами и десятилетиями.
Вы только посмотрите как другие живут ( то чего вы добиваетесь): работа, магазин, дом. И так из дня в день. Да ещё муж тайком к любовнице бегает. Б-р-р-р...