自治会の脱退について【2022年3月】

病気や仕事の都合などもあり、自治会の寄り合いや出合い、掃除などに参加出来ません。そのため、区長さんに自治会を脱退したいと言いました。すると、区長さんは、出合いは出なくても良いから出不足として毎回5千円、寺や集議所の掃除は仕事の都合を会社に付けてもらって出るべき、市道は組の皆が掃除してるんだからそこを走るなら区の道を走る事になるから区費を払ったり掃除をするのが当たり前と言われました。日曜日が休みではない会社で働いているのに、会社に都合付けてもらって出ろとは些かおかしいと思います。区費も寺世話さんのお金だとか寺の管理費、墓の管理費など、墓もない我が家にとっては無意味なお金でしかありません。自治会から脱退する事は出来ないのでしょうか？
実際家に居る事が少ないので役員などを押し付けられても出来ません。だいたい家に居るのが午後7時前後で、昼間は仕事に出ているので近所付き合いも出来ませんし、地域から出て行けと言われて正直困っています。何とかなりませんか？