渡部建被《週刊文春》爆料曾大玩「多人運動」,還有了固定砲友,而跟渡部建有不倫關係的對象,從20歲到50歲不等,傳渡部建曾經透露自己娶了日本第一美女佐佐木希仍然在外捻花惹草的心態,「我和太太還是很恩愛啊,現在都還有造人計畫呢,但那是兩回事,看到可愛的就會忍不住。不過最近有點不方便,晚上不太能出門,而且太太沒在工作,我要努力賺錢。」
《週刊文春》報導提到,佐佐木希得知老公偷吃非常生氣,要他打電話給其中一名女性,親自確認兩人出軌時間點是在和她結婚前或結婚後,還暗示要採取法律行動。
日媒《女性Seven》則指出有佐佐木希身邊的人爆料,她認為父親對孩子的成長來說很重要,並不考慮與丈夫分居或離婚的打算。而佐佐木希的經紀公司僅表示「關於夫妻間的私事,我們沒有立場代為回答。」