ご相談させてください。

２年ほど前に彼に多額の借金があることが分かり「必ず返すから」という彼
の言葉を信じ数回にわたり合計230万円貸しました。
その後、お金のことで彼との関係がうまくいかなくなってきました。
先のことを考えると不安に思い返済を申し出たところ「借りてない。証拠を
出せ。」などと言い出しました。

さらに最近では「お前のために使ったお金だ。お前のせいで俺に借金が出来
た。俺にお金お返せ」などと言うようになりました。

借用書も書いてもらってませんし、お金も手渡しで渡したため彼にお金を貸
したという証拠がありません。
彼とは会社が同じですので逃げられたりはないのですが、会社以外で彼と直
接会うことはありませんし、電話は夜中のみとってくれる場合がある程度で
す。お金の話をするとすぐ怒り出し電話を切ってしまいます。

会社で話が出来ればいいのですが、内緒で付き合っていたためにそうも行き
ません。それに彼から「俺の借金をばらしたらどうなるか覚えておけよ」と
脅しとも取れるようなことも言われています。

このような状況ですが何かいい方法はないでしょうか？