向かいの家の人が近所の人にうちの悪口？みたいなことをうちに聞こえるように言ってきます。どうしたらいいでしょうか。

以前うちの弟(中二)が向かいの家のおじさんに「なにメンチきっとんじゃ、死ねや」と言われて弟は何もしてないのにそんなこと言われて怖いと恐怖に怯えていたので、警察に電話したことがありました。
その時は警察の人は一応向かいの人の家に行ったみたいなんですけど...何も無かったみたいで。それからも「死ね」とか「ブス」とか弟だけじゃなく私にも言ってきたりして、ある日家の外で知人を待っている時、向かいのおじさんが出てきて「死ねや」「ぶっ殺すぞ」など言ってきて、その場にいた私のお母さんが「うちの子になにか」と反論？したら、「アイツ(弟)がメンチきったんじゃ、睨んでくる。から」みたいな事を言ってくるのですが弟は睨んでないと言います。
それからなぜか向かいのおじさんのお母さんが出てきて「うちの子がなにかしましたか？」みたいな感じで出てきて、それからおじさんのお母さんとうちのお母さんが色々話して弟がもしかしたら睨んでたかもしれないからと謝って終わりでした。

でもそれから私が学校に行く前など家から出ると「ブス」「死ねや」など言ってきます。
しかも上に書いたように話し合いがあったことをおじさんの母親が自分たちの都合のいいように近所の人にベラベラと話しててとても不快です。
「親が親だから子が子があんなふうに育つ」とか

うちは母子家庭でお母さんだけで私を含めた3人を一人で育てています。毎日倒れそうなほど頑張っているんです。
なのにそんなこと言われるとほんとに嫌です。
どうしたらいいですか？。
すみません...