Mãe do meu ex namorado não quer que a gente volte.

Eu tenho um filho de 3 anos e meio. Conheci um cara mais velho, 13 anos, e nos apaixonamos. Ele sempre muito atencioso com meu filho. Fomos morar juntos com 6 meses de relacionamento. Ele me convidou para morar na casa dele, porém a mãe dele mora junto. Na verdade a casa e dela! Meu ex sempre quis ser mais que somente o “namorado da mamãe”. Ele sempre quis ser um segundo pai para o meu filho. Mas as mamães de plantão aqui irão me atender. Eu não gostava de ver ele tentando educar meu filho. Não por ele fazer algo errado. Mas é algo meu, nenhuma mãe gosta de ver alguém fazendo o que ela também faz. Nenhuma mãe gosta de ser ver agindo de tal maneira com os filhos…
Então eu sempre tirei a autoridade dele na frente do pequeno. Certo dia, estava eu no impasse com meu pequeno, castigo e etc… e estávamos em um aniversário, os ânimos se alteraram e resolvemos ir para a casa. Moramos bem do lado do local do aniversário então fomos caminhando. O pequeno chorando, fazendo birra, querendo se jogar no chão. Meu ex falou algo, eu respondi de mal jeito e discutimos, no meio da discussão ele gritou com o meu filho, para que parasse de chorar. Eu peguei o pequeno no colo, falei algumas palavras feias pra ele e fui embora na frente. A minha ex sogra estava junto, presenciou tudo e começou a dizer para que ir embora da casa dela.
Chegamos lá arrumei todas as minhas coisas e do meu filho, fiz minha mudança de madrugada para a casa da minha mãe. Ouvindo desaforos absurdos o tempo inteiro, até que chegou um momento eu que comecei a falar coisas horríveis para ela, que é uma senhora de 70 anos.
Hoje em dia, eu e meu ex voltamos a nos falar, estamos nos entendendo, ambos erraram. Mas ele não quer voltar, disse que a mãe dele é totalmente contra é que ela e mais importante pra ele do que eu.
Entendo ele, visto que minha mãe também é contra o relacionamento. Meu pequeno sente saudades de lá, saudades do tio (nome) dele… Não sei o que fazer, porque se não fosse pela minha ex sogra, acredito que eu e ele voltaríamos…. Não para a casa dela, iríamos arrumar a nossa casa. Mas não sei o que estaco… Estou bem chateada e triste com tudo isso. Nos gostamos muito, somos muito apaixonados e ambos erraram acredito eu. Mas envolver família…. Eu não acho legal. Ok, levar em consideração opinião, mas não 100% né?! Porque se não tu acaba ficando com quem a família quer…. Me ajudem! Preciso de conselhos!