Como me livrar de um sentimento indevido que me traz prazer?

Sou casada a 5 anos com alguém que namorei por 5. Portando, temos 10 anos de relacionamento. 10 anos de união intensa, onde fazíamos tudo, tudo juntos. Um relacionamento que nunca havia tido uma traição de ambas partes, pois sim, confio em meu marido.
Já eu, sempre tive inclinações a me relacionar de forma extraconjugal com alguém, mas nunca conclui de fato. Até surgir uma obsessão, por um ex namoradinho da juventude. Ele mesmo, não me cercou, sequer tomou iniciativas. Mas eu obcecada fui até onde pude e consegui o que queria. E consegui. Ficamos num dia, dias depois nos encontramos e transamos e combinamos até então em manter essa relação. A relação com meu marido não foi afetada. principalmente no quesito sexual. pois estou até com mais vontade. Mas sinto que apesar de um homem de valor, que me dá tudo e faz o que nenhum outro faria, de alguma forma venho perdendo a atração por ele devido a alguns comportamentos do cotidiano. Enquanto o outro me coloca em uma montanha russa de sentimentos e inseguranças, pois nunca sei quando irei ve-lo, nunca sei se irei ve-lo, pois some por dias, não sai da minha cabeça.
Ele não é o tipo de homem com o qual eu casaria ou assumiria algo, mas esta ocupando 90% do meu dia nos pensamentos e as vezes começo até cogitar que sim, Se ele me pedisse eu largava tudo e ficava com ele. As vezes ele some e penso: Acho que cansou de mim. E então começa a planejar como me retirar de cena de vez, pois tenho medo de sofrer cada vez mais por ele. Não saber o que ele sente e o porque de sumir me deixa louca, pois penso mil coisas: será que está tentando se manter longe para não se envolver? será que conheceu alguém? Queria realmente não sentir nada por ele e seguir minha vida com meu marido. Mas ao meso tempo sinto prazer com toda essa situação. Penso que a única forma de acabar, é com ele realmente sumindo de vez.