Que deve fazer, por ja nao sei mas o que pensar?

Namoro a 2 anos , quando o conheci ele era separado a quase dois anos ex mulher que tem duas filhas uma de 11 e outra de 3, até hoje não posso conviver com as filhas como normal, tenho um filho do meu antigo relacionamento e ele convive muito bem. E ambos se gostam, já tentou aproximar eu e elas, mas de repente ele parou, percebi que algo aconteu, e perguntei ele disse que não era o momento ainda das filhas saber que precisava se separar no papel para mostrar para as filhas que não tinha mas qualquer tipo de relação com a mãe delas, mas eu percebo que a ex usa e manipula muito ele comas meninas, uma delas ficou doente no hospital e ele pergunta da filha e ela responde "nos não dormimos bem teve que acorda pra tomar remédio..." aí teve um dia que ele não foi pq trocou com irmã dela que levou a outra filha pra ver um pouco, e nesse tempo ela chamou ele para ir almoçar com as duas próximo ao hospital, ele não foi mas não disse que estava comigo, pq se falar ela fala que ele abandona as filhas por causa de mim, e começa a falar as coisas...
Eu não sei mais o que pensar e fazer, vejo que ele não quer pq se não já teria voltado porque ela quer ainda..., mas sinto muita diferenças nesses sentido entre a gente. Por que quando quer gosta faz de tudo para estar e não vejo essa entrega dele comigo.
O que devo fazer?