逃げるように退職した職場の人達に噂されたり街中で遭遇するのが辛い

多分お互いに関わりたくないはずなので、街中であっても知らんぷりだと思いますよ。
声かけられたら表面上仲良くみせておけばいいだけです。

私も病んで辞めましたが、田舎なので当然スーパーなどで前の職場の人に会ってしまうことがあります。最初はトピ主さんみたいにびくびくしてしまい、勝手に私の噂とかしてるって思ったけど、やった側の人はそんなこと考えず楽しく過ごしてるんだと思ったら、びくびくするのが馬鹿らしくなり、目に入っても知らない人と認識するようにしたら、だいぶ楽になりました。
ただ、向こうから挨拶などされたらし返したり会釈位はしないと田舎は人間関係が密接だからね、とりあえず形だけでもやっておけばいいんですよ。

どんと構えましょう。
　　
卑屈になってへこへこする必要もないです。
その人に雇われていた訳でも、現在の雇用主でもないし。

辞めた人のことをいつまでも言っている人のほうがよっぽどおかしいですし、いつまでもあなたのことを噂するほどその人もあなたに興味はないと思います。

今頃違う誰かに目をつけているてしょう。

強気でいきましょう。

お局って言われたら嫌じゃないですか？
辛かったと思うけど、されたら嫌なことは止めないとね。

気にしないでいいと思いますよ。

辞めた人のことは、辞めたら基本どうでもいいので、そこまで気にしてないように思います。