只要先去掉所有框的顏色，再加上對應的就好

$('.td').click(function() {
    if($(this).hasClass(color)) {
        $(this).removeClass(color);
    } else {
        // 去掉所有框的顏色
        $('.td').removeClass(color)
        $(this).addClass(color);
    }
});