IP電話ということなので、自宅にあるルーターに接続されているものだと思います。

ルーターにはアクセスログを記録する機能があるはずです。
PCでルーターにアクセスして様々な設定ができるはずです。アクセスログを記録する設定をしているならそのログを確認、していないなら記録する設定をします。

不可解な無言電話がかかってきたら、その時間を記録しておき、アクセスログで発信元を照合します。発信元のIPアドレスを別途メモなどに記録しておき、情報を蓄積しておきます。

IPアドレスは、123.456.789.000のような形です。
蓄積した情報からその規則性を分析します。

恐らくIPアドレスは都度変化するでしょうが、上位の部分だけでも統一性があるはずです。全てが常に同じなら完璧です。
123.456.789の部分だけでも同じならラッキーです。

共通する部分だけ受け付けないようにルーターの設定でIPアドレスでフィルターをかけられるはずです。

数字ではなくもう少し文字になった具体的な発信元を調べる方法もあります。「IPドメイン」などで検索し、そこでIPアドレスをWHOIS検索すれば、どこの国からなのか、どこのサーバーを経由しているのかなどがわかります。

こういうのは、ほとんどお隣の国など外国からだと思います。
外国から電話がかかってくることなど一生ないのであれば、IP電話のフィルターで、国ごと拒否するのも手です。

ルーターの設定でドメイン単位でフィルターをかけられるのであれば、その方が分かりやすいです。

IPアドレスの上位の数字がどの発信元に割り当てられているものなのかを調べて、フィルターをかけても問題ないレベルであれば、フィルターをかけると良いと思います。

123.456.789.000
123.456.789.001
123.456.789.002
などの数字を変えてWHOIS検索しても発信元のサーバーは同じです。

123.456.000.000
123.456.001.000
123.456.002.000

このように上位の部分を固定させて、下位の部分の数字を変えて分析できます。

これらのことの意味がわからない・調べられないスキル、または機器の説明書やFAQなどを読んで自分でできない場合は自分では防ぎようがありません。通信機器メーカーのサポートの力を借りるか、もしくは接続プロバイダのサポートの力を借りるしかありません。

ご自分でできるのであれば、ご自分でやってみてください。

とにかく嫌なら発信元情報を蓄積し、自分で分析してフィルターをかけるしかないと思います。