先輩と不倫関係に…でも職場は辞めたくない

職場の先輩である男性と不倫関係になってしまいました。
好きになってしまった、付き合って欲しいと言われ冗談だと思い断ったりしていましたが、関係を持ってしまいました。
このままではいけないと思い、連絡を無視していますが職場で会うのでとても気まずいです。

辞めようかと思いましたが、今の職場に就職して一年経っておらず、その事を除けば本当にいい職場だと思えるので辞めることは避けたいです。
キャリアアップの為と嘘をついて異動したいと師長に相談してみましたが、一年経っていないことや、今異動しても自分より下の人が多いため、やめた方が良いと言われました。

不倫関係になってしまったことは誰にも言っていません。相手のことを嫌いになりきれず辛いです。
突然涙が溢れて来てしまうこともあり、情緒不安定です。相手の奥さんと子供に申し訳ない気持ちでいっぱいです。