ひろさん　御相談拝見しました、おさむちゃん・おじさんです。かなり以前、私も　ひろさん　と同じ事を考えた事があります。

　簡易的であれば、ゲーム機等で良く使われるビデオ端子のセレクターを使うのが早くて安いです。画像の切り替えは必要無いのですが、Ｒ／Ｌの音声切り替えだけのものが少ないので。１入力３出力仕様のセレクターが１０００円から３０００円程度で売られています。

　プリアンプ（メインアンプ前段でのインピーダンス調整用：良い音を聞く為のセレクター付きアンプ）を繋げた事がありますが、予想以上に雑音が出ていて使えませんでした。
　当時はＷＩＮ３．１に初期のサウンドブラスターでしたから、雑音もひどかったです。ＷＩＮ／ＸＰとＳＢ３２ｂｉｔ〜板が利用できる現在ならば利用できるかも知れませんね。どなたか上手く切り替えが出来ましたら教えて下さいね。