二手房买卖居间协议违约问题

本人卖方。买卖双方与中介签订了居间协议,收取了买方定金。卖方还在房本办理过程中,还没有到签订正式买卖合同的阶段。卖方现在想违约直接按合同约定退一赔一给买方双倍定金,买方如果不接受双倍定金赔偿还想继续履行合同,卖方可以拒绝履行直接走违约赔偿强制终止这份居间协议吗。