セクハラしてきた男性との関わりについて

入職してすぐの頃、他部署の男性よりセクハラを受けました。
ただ、そのセクハラを受けたという証拠を残すことはできませんでした。

2.3回セクハラを受けてすぐに上司へ相談し、その人へ注意してくれました。
それからはセクハラはないのですが、その他部署の男性より謝罪はなかったです。
また、上司へ相談した際にも
君たちの仕事にも抜けがあり、私は目をつむっているところがある。だからその人のことも目をつむってくれないか。
と大まかにこのようなことを言われました。
自分が我慢すればいいんだと解釈しました。

私も子供な部分があったためそのセクハラをしてきた男性には必要以上に関わらない、挨拶をしない日々が続きました。

最近になって上司から
私がセクハラ男に挨拶をしない。基本的なことができていない。と注意を受けました。

セクハラという非常識は許されて
挨拶しないという非常識は許されないんですか？
挨拶をしないなんて幼稚で非常識であることはわかってます。
ただ挨拶を返す簡単なことだと思ってはいますがなんだかもやもやしてます、、。
そんな簡単なこともしたくないくらい悔しいです。

やっぱり我慢するしかないんですかね、、。