煤矿工人勇作（高仓健）失手将一名寻衅滋事的流氓打死后，被判刑入狱，在监狱里，他非常想念自己的妻子光枝（倍赏千惠子），却因害怕耽误她的生活和前途，主动提出离婚，并真心实意地劝她改嫁。
刑满释放前，勇作给光枝写了一封信，说如果她还没有与他人结婚，仍在等待着他的归去，就在家门前的旗杆上挂上一块黄手帕，假如他看不到黄手帕，会就此远走他乡。归家途中，患得患失的勇作碰到一对驾车出行的年轻情侣（武田铁矢、桃井薰），搭乘他们的车游转了一些地方，之后，他才鼓足勇气回到家乡。