Meu filho de 4 anos da trabalho apenas na escola

Meu filho de 4 anos é uma criança super elétrica e brincalhona, porém houveram alguns episódios em específico que ocorreu na escola dele e que ele nunca havia feito em lugar nenhum, nem mesmo presenciado. Esses episódios ocorridos foram que ele por algum motivo se estressou na escola e agiu de forma agressiva com colegas e professor.
Acredito que isso tenha algum tipo de relação com o fato de eu estar trabalhando fora e ter reduzido o tempo no qual eu ficava com ele, já que eu trabalho a noite, penso que meu emprego tem relação ao comportamento dele, pois desde que ele nasceu eu ainda não tinha trabalhado fora e, como eu havia dito, foram episódios específicos (ocorreram em torno de 3 ou 4 vezes) sempre que eu ingressava em um emprego novo.
Isso pode estar relacionado com a forma que ele encontrou para chamar a atenção? Eu e o pai dele já conversamos, já colocamos de castigo e parece que nada resolve e o que me deixa mais intrigada é que mesmo tendo contato com outras crianças, ele não reproduz esse tipo de comportamento agressivo em lugar nenhum, somente no ambiente escolar.