退休後，張忠謀除了要寫自傳、重拾打橋牌樂趣之外，他念茲在茲的依舊是他的家人，「我想跟家人一起去旅遊！」張忠謀說，他想與太太、女兒、外孫一起搭郵輪旅遊，可能會去歐洲、美國，去以前沒去過的地方或舊地重遊都好。
提到老婆，教父級的他眼中充滿柔情，而張淑芬得知先生宣布退休，開心的對友人說：「很好，他4年前就有計畫（退休），對我來說最重要的是一個安全感，因為他在我旁邊。」
2001年除夕，70歲的張忠謀與57歲的張淑芬在美國結婚，2人決定攜手共度晚年。張忠謀與張淑芬個性迥異，一個嚴謹規律，一個熱情開朗；2人卻常常攜手在餐廳用餐，或去影城看電影。
張忠謀夫妻生活簡單，2人最享受的時光就是週末窩在家中書房，一個聽音樂，一個閱讀，張忠謀還感性的對太太說：「回到家，你在，這就是個家，你不在，就只是個房子。」2人相知相惜之情感於言表。
偶而張忠謀耍起浪漫，卻讓太太哭笑不得。原來婚後第1年，張忠謀送了99朵紅玫瑰給張淑芬，被念浪費不如把錢拿去做公益，此後就未再送花，直到幾年前情人節，張忠謀請花店送花，晚上還等不到花來，他等不及跟太太說：「等下你會收到花。」讓張淑芬莞爾。
此外，熱心公益的張淑芬擔任台積電志工社社長，常常選在週六，志工社到榮民之家辦桌，張淑芬挽起袖子切菜、端菜，忙到傍晚回家，張忠謀還會半撒嬌的說：「我做了一整天的功課，你都沒有陪我。」
