Если нет детей и от него не зависишь пора задуматься о своевременном разбеге. А скандалить ни к чему, скучно и непродуктивно. Можно спокойно его выслушать если захочет объяснить, без обвинений типа "да ты всегда так... да у тебя вечно так... а вот тогда то ты сделал то то..." может он в это время денежку в семью зарабатывает... всяко бывает...
И научитесь в таких случаях общаться отстраненно, без особых эмоций, как будто это происходит не с вами и вы лишь наблюдатель.