二手房交了定金,比约定的晚了一天交首付,现在房主说我违约了,钱不退

房子约定5天给他交首付,这5天里一直都在协商房子,他提的要求太无理取闹,所以没及时交首付,第5天下午和房主谈了一下午,晚上让中介通了电话在里面协商说好第6天办手续,可当天他说我违约了定金不退,我又没说不要,他这样合理么