Его женой была Валентина Ивановна, они поженились 27 октября 1957 года в Оренбурге.
Супруга работала в лаборатории Медицинского управления Центра управления полетами.
В супружестве появились на свет две девочки: Лена (род. 17 апреля 1959) и Галина (род. 7 марта 1961). Сначала супруги жили в Оренбурге, спустя 2 года переехали в город Заполярный Мурманской области. Затем снова переехали в Звездный городок под Москвой.
Старшая дочь была очень прилежна в учебе и после окончания школы с золотой медалью, поступила в Московский университет на истфак. На кафедру история искусств.
После защиты диплома работала в Государственном музее изобразительных искусств имени Пушкина, где проработала 20 лет.
На сегодняшний день Гагарина является гендиректором музея-заповедника «Московский Кремль», кандидатом искусствоведения.
