がっかりされるのが辛いです

今はフキハラ（不機嫌ハラスメント）なんていうのがありますが、相手の行動に対して、これ見よがしにため息をつく…というのは、これの最たるものかと。
気になることや言いたいことがあるなら、せめて直接伝えればいいのに。自分の感情を相手に読み取ってもらおうとする、その行動の方がよっぽど不快で幼稚に思えます。

慎重で確認癖があることや周囲を手伝う気持ちがあることって、欠点ではなく長所だと思います。
トピ主さんのそのような性格、行動に助けられた方もいるのでは？
確かに仕事は時間内に終えられた方がよいと思いますが、あまり自分を責めすぎず、無理せず頑張ってくださいね。

相手の欲しい答えや期待に答えられない自分が苦しいです。
→→→
この考え方を変えた方がいいです。
ターゲットにされやすくなりますよ。

まず、誰も他者の欲しい答えや期待に、必ず応えられません。
これは、ため息つく人を見ればわかります。

ため息ついてる人は、必ず他者の欲しい答えや期待に応えられていますか？
ため息つく人さえ、自分も自分の考えや気持ちで他者に対応している場面や時があるはずです。

人は他者の期待に応える為に存在している訳ではないし、自分の欲しい答えや応えが欲しい時には、
まず、自分がどの様に他者と関わりあっているかに気がつく必要があります。

ため息で他者に不要な罪悪感を感じさせ、他者を動かそうとする人がいます。
この様な対人スキルの人は、まず自分が感情で他者に訴えかけ、他者を動かそうとしている事を止める必要があります。
赤ちゃん・幼児のコミュニケーションだからです。

何かあるなら、言語を使うのが基本です。
ここに気がついてない人の身勝手な、不要な機嫌や感情に対応する必要は実はありません。

現実的に状況・状態判断をして、
相手の幼稚、幼さから出ている態度なら無視してかまいません。

仕事ですから、まず自分の仕事を終わらせる事が最優先事項です。
自分の仕事がつまりそうな時に、急変等ではなく、断っても問題ないヘルプ等は、
すみません、今○○があってとか、説明して、後でなら手伝えるとかコミュニケーションとりましょう。

みんな自分も仕事してきてる訳ですから、
状況や状態判断、優先順位はわかるはずです。
だから、事情がわかり相談されれば、誰も断られたとしても、悪く思いませんよ。

この視点から言えば、ため息ついてくる人達や、
感情で他者を動かそうとする人ほど、
自分の目線、物差し、自分の感情や感覚の判断が多く、他者や状況が見えていないんです。

何か気がついたなら、ため息つくのではなく、
きちんと相談にのったり、話をしてみる方法があるからです。
基本、ため息ついてくるような人達は、
クレクレなので、こちらで線引きをして関わる必要があります。
現実的に相手の問題なら、
幼稚園児みたいだな、、、って事ですよ！