Como cortar o cordão umbilical entre meu namorado e minha sogra?

Conheci meu namorado há mais ou menos 2 anos.. Tenho um filho e moro sozinha, pouco tempo que estávamos ficando ele veio "morar comigo" (já conhecia ele há anos). Porém, sinto que ele não está morando definitivamente comigo. Ele tem um irmão que já é casado e a mãe dele viúva, e tem um tio cadeirante que mora com a minha sogra... Porém ele não quer "abandoná-la". Todo santo dia está na casa dela, as vezes dorme lá.. Praticamente vem pra casa só pra dormir... Eu amo demais ele, mas isso está me desgastando.. Esse "grude" com a mãe.. Ela é saudável, trabalha, faz tudo. E o mesmo disse que quer comprar uma casa que tenha outra casa dos fundos para que ela possa ir morar com a gente. E eu já disse que não quero aceitar isso. Não vou sair de um cantinho que consiga me sustentar sozinha, pra poder ir morar com eles e daqui uns meses não dar certo e eu ter que engolir essa situação. Não aceitarei isso. Mas é muito complicado falar pra ele, que agora, a prioridade teria que ser eu e não a mãe dele. E ele fala que espera que ué nunca queira colocar ele contra ela. É bem complicada essa situação.