Quando explicar sobre o pai biológico?

Meu filho desde os 3 anos quando a avó falou do pai biológico, ficou curioso para saber mais sobre. O pai biológico foi embora quando ele tinha 6 meses, nunca o procurou ou viu ele. Eu casei quando meu filho tinha 2 anos, e naturalmente começou a chamar meu esposo de pai e eles se reconhecem como pai e filho.
Ele está criando curiosidade sobre o pai biológico o qual foi embora aos 6 meses, e nunca mais procurou ou conviveu. Aos 2 anos casei, e naturalmente o chamou de pai, agora no fim dos 3 anos para os 4, fez dia 03 deste mês, começou a ter curiosidade sobre o pai biológico. E eu não sei como explicar, sem magoar ou fazê-lo se sentir mal.
Queria vê sua opinião se devo ou não levá-lo para acompanhamento ou deixo ele ficar um pouco maduro. Não quero enganar ou mentir pra ele, quero que tudo seja claro. Pra ele entender que o biológico foi embora mas ele não tem culpa.
A relação dele com o pai de verdade, porque penso que pai é quem cria, é uma relação linda, de parceria e muito amor. Mas natural da criança quando falam sobre algo pra ele, ele ficar curioso. Não sei como explicar ou se devo levá-lo ao psicólogo logo.
Ele me traia, me desrespeitava e desde que nos separamos ele simplesmente esqueceu a criança. Nunca procurou ou ajudou com nada.