《你在哪里逗留》的故事发生在今天的海口，围绕两个从内地迁居而来的家庭展开。
赵尔东与简芳是一对恩爱夫妻。赵尔东性情平和、乐观开朗，简芳贤淑能干又要强，两人还育有一对惹人喜爱的龙凤胎，男孩叫赵乐，女孩叫简兰。简芳的弟弟简圆也是这个家庭中不可忽视的一员，他虽然口才了得，却笨手笨脚，带着几分典型的北京大爷气质。对赵尔东而言，生活原本显得热闹而充满趣味。
胡杨的家庭却没有这样圆满。事业有成的他，在丈夫和父亲的角色上却似乎起步得有些仓促。他与刘海兰未婚先有子，只得匆匆成婚。此后，胡杨忙于求学、工作，后来下海经商；刘海兰则彻底牺牲自我，独自承担起抚养孩子和操持家务的重担。如今，胡杨的事业蒸蒸日上，儿子胡可也即将成年，而刘海兰已经完全成了家庭妇女。面对不断扩大的情感空缺，胡杨感到自己的婚姻生活几乎陷入一片空白。
一次在图书馆的相遇，让胡杨认识了简芳，也由此掀起了一场风波。两个同样步入中年、对生活抱持严肃态度的人，在短暂的激情过后真正相爱。然而，他们必须面对的现实，以及随之而来的生活波折，远比想象中更加复杂。
