二手房交易中签了三方合同,买方打算违约,定金没了,要付佣金给经纪吗?

们作为买方,在买二手房时与卖方和经纪方签了房地产买卖合同,并交了2万元的定金到卖方处。但是在合同约定的日期之前买方违约中止买房交易,本想放弃定金就算了,但是此时经纪公司跳出来要求我们支付总价4%的佣金作为违约金,问题:我们是否要交付这笔佣金呢?