男友達と遊んだだけで彼氏が嫉妬してそこから別れ話に発展するといったことがあります。
しかし普通の場合はしっかり話せば誤解されることなく問題解決することが多いです。
ただこの場合は元カレの上に相手が別れていないといった非常に厄介な相手でいろいろと問題がありそうですね。

少なくとも元カレにあれこれ言われる筋合いはありませんし、もはやストーカーになりつつあって怖さすらありますね。
きちんと話しておかないといろいろ面倒なことになりそうですね。