迷うところがあるなら、その迷いを無くしてからでも遅くないかと。
私も吹奏楽部をやってましたが高２で辞めました。
先生のやり方が合わないからでしたが、楽器は好きでした。
それだけの理由で辞めたことを今では少し後悔してます。皆で合奏するという楽しい期間を減らしてしまったからです。
後先考えず、決断してしまったのが原因です。
だから、迷うところがあるなら、その事に向き合い、決断することをお勧めします。
多分、嫌な部分もあるけど、良い部分もあるのでしょう。
部活よりも、辞めてやりたいことが勝るなら、それは辞めても良いのだと思います。