隣人の苦情の言い方に困っています。

私は3度隣人から苦情を言われました。
1度目は、引っ越しをしてきた初日から静かにするよう言われていたのですが、初めての１人暮らしということもあり友達を呼んで会話をしていたのですが、22時頃だったこともありうるさいと言われ、すぐ謝罪して友達にも申し訳なく帰ってもらいました。

2度目は遠距離の彼が家に来てくれたときです。
前に苦情を言われた事等話していたので、私も彼もなるべく静かに行動していたのですが、何がうるさかったのか壁をどんどん叩かれながら口調悪くうるせーんだこのやろーと言われ、玄関のドアのぶをガチャガチャしながら叩かれたりもしました。
引っ越しをしてきた初日に電話番号を交換してしまった為電話が鳴りました。
お前何やってんだよおい。お前はどこの職場なんだ、などと聞かれました。
自分達は静かにしていたつもりなのですが何がうるさかったのわからないままとりあえず謝罪をしその日は家を出ました。

3度目は仕事中お昼の休憩のため家でお昼ご飯を食べに帰ったときです。
ちょっと料理をしたり物を動かしたりをしたのでうるさくしていたわけではありませんが確かに物音はたっていたと思います。
家を出た瞬間隣人も家から出てこられ、お前何してんだよ 寝てるのにうるせーんだよお前 何してたのか聞いてんだよと言われ答えようとしたらなんだお前と凄まれました。

普段からテレビの音や足音などいろんなことに気を使いながら迷惑かけまいと生活しているのに口調悪く壁やドアを叩かれもしたらさすがにこちらとしても我慢できない部分があると言いますか、女の１人暮らしなので家の出入りをするだけでも怯えています。
私の配慮が足りないということなのでしょうか。
管理人に相談しても何かあったらすぐ警察へ言ってと言われたのでまた何か言われたときは通報していいのでしょうか。
隣人は40代くらいの夫婦です。

何かアドバイスを頂けたら嬉しいです。