辞める原因となった人とまた一緒に働く羽目に

50代後半の看護師です。
訪問看護師として働いていた5年前、自転車で移動中車にぶつけられ転倒する事故に遭いました。すぐに職場へ連絡し、所長と病院行って検査、治療をして診断書をもらい(打撲、擦過傷の診断)その日は息子に職場まで迎えに来てもらい車で帰りました。
所長はケガは大したことないと思ったらしく、その日の夜に「自転車は何ともないんだから明日は出勤して」と電話がきました。
夫は「事故に遭った翌日なのに出勤しろなんておかしい」と言っていました。
打撲した足は痛かったですが無理して出勤したところ、痛みが強くなり歩くのが辛かったので早退しました。
私より若い所長は子供がまだ小さかったので、何かにつけてしょっちゅう休んでいました。次第に所長に対する不信感が募り、私は結局退職することにしました。
退職してしばらく休養していたところ、辞めた同じ法人の仲間からパートで働かないかと声をかけられ、クリニックで働き始めて4年目になります。
今春、今まで師長だった人が異動になり、代わりに以前勤めていた訪問看護ステーションの所長(辞める原因となった人)が、師長として来ることになりました。
もう顔合わせは済みましたが、「よろしく、久しぶり」とあっさりしたものでした。
私も表面上は普通にやっていますが、自己中心的でリーダーシップのない、辞める原因となった人と又一緒に働かなければならないと思うと気が重いです。
経済的にも収入は必要ですし4年目に入り慣れてきたのに辞めてまた他で最初から勤めるには年齢的にも難しいと思います。
私はパートなので一緒に仕事してまだ2日ですが、異動してきて１週間も経っていないのに子供の用事で２日休みを取り、これから保護者会などで休む予定ですと宣言しています。
その穴埋めは私がしなければなりません。
辞めて他のところへ行くべきでしょうか？
それとも我慢して慣れたところで頑張る方がいいと思いますか。
皆さんのご意見をお聞かせください。