自分の家族の悪口を言われたら、不快な気持ちになるのは当然なことだと思います。
言いづらいかもしれませんが、嫌なことは嫌だとちゃんと相手に伝えることが必要だと思います。
「そんなことは言うべきではない」と自分が当たり前に思っていることでも、他者にとっては決して当たり前ではないということも多々あります。
つまり、自分の常識と相手の常識は、必ずしも一致しないのです。
顔を合わせる度に家族の悪口を言われることは、辛いことです。
そのため、「悪口を言われるとこのような気持ちになるから、自分の前では言わないで欲しい」という意志表示が出来るとよいですね。