没有房产证的房子买后能退钱吗

你好 我们买了个附属房(4万) 把全额钱都交给一房屋中介(见证人)保管,2个半月后房子一直没有交,并且发现没有房产证。 于是要求中介退钱。 可是中介说要和房东协议,意思是要赔偿违约金(3-5千)。 请问我们直接找中介退钱对吗?还是要和房东商议? 该怎么办? 谢谢 补充:是不是只有给钱才能解决这个问题?? 盼复中