Fils d'Anne-Marie Gagon et de Pierre François Ginguené, il a commencé ses études au collège Saint-Thomas de sa ville natale, où il a eu Évariste de Parny pour condisciple. Âgé de 15 ans, au moment de l'expulsion des jésuites de France, il a terminé ses études sous les prêtres séculiers qui leur ont succédé. À sa sortie du lycée, il avait appris le grec et le latin, mais c'est son père, qui lui a appris l'anglais et l'italien qu'il connaissait très bien, en même temps qu'il l'a initié à l'étude des beaux-arts. À 24 ans, il connaissait à fond les lettres latines et les chefs-d'oeuvre de la littérature moderne française, italienne et anglaise, l'histoire et la philosophie. Il était, de plus, très savant musicien.
Monté à Paris, en 1772, il a d'abord été précepteur dans une maison particulière. Ayant lu une pièce de vers, composée, à l'âge de vingt ans, en Bretagne, intitulée la Confession de Zulmé à quelques hommes de lettres, et particulièrement à l'académicien Rochefort, celui-ci a voulu en avoir une copie, qu'il a lue dans plusieurs maisons et laissé copier.
