手札がそろってないと基本的には不利です。
パッシブスキルは1ターンに発動できる数が決まっています。
バフが6個以上発動条件を満たしたときには、leaderのバフが最も早く発動し、dance,visual,vocalが同列、その次にcenterのバフが発動します。発動できなかったバフは、次ターンに持ち越されるか、条件を満たすことができなくなりバフが消失します。
また、パッシブスキルは取った順番に発動するので、いきなり強いバフを打ちたければ、できるだけ弱いバフを避けて取る必要がありました。
恒常や一部限定の強いバフはその前に弱いバフを取らないといけないような場合も多々あったのでその点では弱いバフを取らざるを得なかったカードの救済的側面があると思います。
バフ削除の基準は人それぞれだとは思います。自身が使ってみて足を引っ張るようなバフであると感じたら新しくフェスアイドルを作り、消してみる。そして、差を確認してみるのが良いと思います。