Виктор Голявкин родился 31 августа 1929 года в Баку. Отец Владимир Сергеевич работал преподавателем музыки, поэтому в доме всегда звучала музыка, и сыновей (у Виктора было два младших брата) учили музыке. Но однажды Виктор нарисовал карикатуры на гостей, которые приходили к ним музицировать. Тогда отец подарил сыну книгу о живописи и художниках. Виктор прочитывал все книги об изобразительном искусстве, которые ему только удавалось найти, и сам постоянно рисовал. Виктору было всего 12 лет, когда началась Великая Отечественная война. Его отец сразу ушёл на фронт, и Виктор стал старшим мужчиной в семье. Он рисовал карикатуры на Гитлера и фашистов.