お金をかりた事情があれど他人がよその家（庭でも）にはいれば不法侵入です。大家さんであれど他人よその家に入るのは許されないでしょう。
こんごそうならないためにも借りた借金は早く返してしまい大家さんとは距離
おいたほうがよさそうです。合鍵あなたさまが回収して自分の家の鍵は自分で保管。甘い態度でいると他人はなんだかんだ理由をつけてはよその家に入ってしまいます。事態がおこってしまうと相談してもなかなか安心な解決は難しいもの。これからはおこる前に手をうちましょう。