Como sair de uma relação que você sabe que não vai pra frente mesmo que doa?

Tive um relacionamento muito rápido com o pai do meu filho de 6 meses, era uma relação conturbada na maioria dos momentos, quando terminamos , 2 meses depois descobri que estava grávida, passei a gravidez sozinha, puerpério, e apenas pedia a pensão para ele em justiça, quando estava com 5 meses de gravidez ele foi morar com uma outra menina na qual ele ficou 2 anos, depois desses 2 anos ele veio atrás de mim, pediu para voltar e decidi dar uma chance a ele, porém a forma como ele demonstra as coisas me entristece ainda, por exemplo ele veio falar agora que eu não posso ficar cobrando ele, que estamos “ficando” novamente e que é como se nós tivéssemos nos conhecendo novamente para ver se conseguimos voltar definitivamente, porém isso foi como um balde de água fria para mim pq não é de acordo com o que eu estava querendo, queria que a gente tentasse visando à família, e que ele me levasse a sério não como uma ficante que tem um filho com ele de 2 anos, porém agora que penso em falar para ele que não quero mais tenho medo de me arrepender não consigo entender porque sinto isso sendo que sei que o relacionamento que ele quer não condiz com as minhas expectativas, só queria seila, ter uma família e ser feliz.