ご主人の無関心ぶりは良くないですね。
何も言わない…のではなく、何も言えないのでしょう。
自分に自信がないために父親としての威厳を保てない。
威厳を保てないと父としての自尊感情が低下して、自分を否定してしまう。
だったら関わらない方がマシ。
おそらく、そのような心理が働いているのでしょう。
でもそれでは済まされません。
もう何度も話し合っているかとは思いますが、まずは意識を変えてもらうように徹底して話し合いを続けるしか方法はないと考えます。
まずご主人に自信を持ってもらうために以下を参考にしてください。