小额贷款违约金问题

我向本地小贷公司贷款6000元,分20周还,利息当场扣除,实际到账四千多。第一第二周我正常还款,第三周还款日我没有还款,直至第四周的还款日,对方公司让我一次性还款11000。就是说一个星期我要支付给他五千的违约金。当时合同签署的时候也没注意这么多。请问他收的违约金合法吗?法律是怎么规定的?我能少支付一点吗?