委員会活動って絶対やらなきゃいけないのか

ある大規模な病院に勤めてます。
皆さんもいろんな分野の委員会に属して活動してると思います。
自分もそうなのですが、やりたくなくてしかたありません。
活動時間は業務時間内となっていますが、忙しく時間が取れないと却下され、自宅に持ち帰り休日を潰して資料等をまとめる事が多いです。
数ヶ月前から精神的にきておりかなりつらくなってきました。
師長にそのことを報告したのですが、時間をうまく作れるように努力するべきだし、他の人は参ることなくにゃんと仕事もこなしてると逆にお叱りを受けてしまいました。
自分に上手く委員会の業務をこなせる能力がないのがいけないのですが…
業務改善のため主任や先輩達に相談していろんな案を考えても、通常業務が忙しく現場からは却下され、委員会の上の人からは何も改善してないじゃないかと説教を受け、しまいには毎月の委員会活動の目標を師長に報告して送れとまでなりました。
今年度からパワハラで有名な師長に変わったため今月だけで心が折れそうでした。
もう委員会活動をやりたくありません。
委員会活動って職員の義務なんでしょうか？
今度、労基か何かに相談してみようとは思ってますが、この考え方自体がおかしいんでしょうか？