子どもを含めたご近所との家族付き合いについてです。

先日、子ども同士が久しぶりに遊びたがっていたので、家族4人(うちは旦那、私、年長児、2歳時児、相手方は旦那さん、奥さん、1年生、4年生)でお邪魔することになりました。午前中から遊び軽くお昼を食べて解散することになっていました。ただ、前日に私が自分の時間が持てずにイライラしてしまったため旦那と子どもにママは参加しなくても大丈夫かと確認をとりました。答えは「いいよ」とのことだったので、お邪魔する予定のママにも私は不参加なことを伝え了承を得ました。
お昼は持ち寄りの予定だったので、その時にお互い何を持って行くかを相談し、じゃあまた明日ねとなりました。
当日は、10時ころ旦那が子ども2人を連れてお邪魔しに行き、私は予定していた食べ物と子どもたちが飲める飲み物をいくつか用意し届けた後で自分の時間を過ごしに出掛けました。

このことで、帰宅後(15時ころ帰宅)旦那に、夫婦で行かないのは、相手に迷惑だ。非常識だ。と、言われました。ただ、私の感覚では家族の許可もあり、相手方にも伝え、約束のお昼は作り、しかも夫婦そろっていなくてもパパは参加している。なのに、何でそこまで非常識扱いされるのかが分かりません。
ちなみに、延期も考えたのですがお互いの子どもたちが楽しみにしているため延期は無しとなりました。みなさんの意見を聞かせてください。