Louis Victor Georges Labit est né le 12 février 1862 à Toulouse.

Son père, Antoine, tient un commerce prospère de bimbeloteries situé au 54 rue Saint-Rome, appelé la Maison Universelle.

Georges fréquente le collège Sainte-Marie de Toulouse où il va rester sept ans. De 1877 à 1879, il est au Lycée de Toulouse (futur lycée Pierre-de-Fermat) où il échoue au baccalauréat ès lettres. Il part à l’École supérieure de Commerce de Paris. Accueilli chez son oncle paternel, Louis, dans le quartier du Marais, ses débuts sont difficiles mais bien vite le jeune homme prend goût à la « vie parisienne ». Il interrompt rapidement ses études de commerce et entre chez les fournisseurs de son père.

Il fuit Paris pour Saint-Etienne après avoir contracté de nombreuses dettes (jeux et femmes). Il s’y endette une nouvelle fois, si bien que le conseil de famille le fait convoquer au tribunal civil de Toulouse en 1883 : placé sous tutelle, il ne pourra désormais jouir de ses biens sans le consentement de son père.

La même année, à l’initiative de ce dernier, il débute sa vie de voyageur par une croisière en Méditerranée. À 22 ans, après son passage sous les drapeaux, il travaille au magasin familial, en butte aux humiliations paternelles. Toujours sur une décision de son père, il part à Vienne, en Autriche-Hongrie, travailler chez Simon frères. Il y restera trois ans.

À partir de 1886, il voyage souvent pour affaires : Afrique du Nord, Londres, Norvège, Laponie, Rome, Berlin ... jusqu’à sa rencontre marquante avec l’Asie en 1889. Il collectionne des objets de tous ses voyages, envoie des récits de caractère ethnographique à la Société de Géographie de Toulouse dont il est membre et conférencier ; il devient également correspondant du journal L’Illustration. Durant ce premier voyage en Asie, son père achète un terrain à « l’enclos Monplaisir » (qui deviendra en 1894 la rue du Japon) où Georges décide d’installer un musée. Il demande à son ami architecte Jules Calbairac (1857-1935) de créer un édifice d’inspiration mauresque dans lequel il réunira ses collections. L’inauguration a lieu le 11 novembre 1893.

Cependant, ses relations avec son père restent tendues. Celui-ci lui reproche notamment l’amour qu’il porte à une certaine Angèle Sicard.

De fait, en 1899, Georges Labit rompt avec Angèle et décide de se marier avec « Loulou », jeune femme rencontrée au marché aux puces. Un soir, quelques jours avant son mariage, Georges est agressé dans la rue ; des coups sont portés avec une flèche empoisonnée provenant de son musée. Gravement blessé, il meurt le 9 février 1899 des suites des ses blessures (trois jours avant ses 38 ans). L’agresseur, selon son père, ne serait autre que le frère de son ancienne petite amie Angèle. Cependant, la famille Labit ne souhaitant pas porter plainte, l’assassinat est étouffé et le meurtrier présumé non inquiété. En 1912, à la mort de son père, le musée est légué à la ville de Toulouse. Après bien des péripéties et de nombreuses métamorphoses, le musée Georges Labit ouvre ses portes en avril 1935.