L’intelligence artificielle pour retrouver ses souvenirs : la colorisation des photos de guerre « Rebooting Memories»

Technologie Images

Un livre de photos prises avant et pendant la Seconde Guerre mondiale connaît un succès incroyable au Japon, ce qui assez rare pour un ouvrage de ce type. Sa particularité ? Tous les clichés ont été colorisés à l’aide d’une intelligence artificielle, donnant ainsi l’effet que le passé est presque devenu le présent. Une jeune étudiante japonaise et un professeur de l’Université de Tokyo sont à l’origine de cette idée.

Niwata Anju NIWATA Anju

Étudiante à l’Université de Tokyo. Née dans la préfecture de Hiroshima en 2001. Elle lance le projet « Rebooting Memories» après avoir rencontré Hamai Tokusô qui a grandi dans le quartier de Nakajima, à Hiroshima, avant que le lieu ne devienne le Parc du mémorial de la paix. Elle travaille à préserver le patrimoine des survivants de la guerre à travers des expositions, des réalisations vidéo et le développement d’applications. Elle a déjà obtenu plusieurs prix, y compris le prix Étudiant du festival de films « Unis Pour La Paix » en 2018.

Watanabe Hidenori WATANABE Hidenori

Professeur d’études interdisciplinaires en sciences de l’information de l’université de Tokyo. Né dans la préfecture d’Ôita en 1974. Chercheur en méthodes de préservation de la mémoire à travers la conception de l’information et l’archivage numérique. Il commence la colorisation de photos monochromes en 2016, et rejoint Niwata Anju dans son projet « Rebooting Memories ». Il reçoit le prix 2016 de l’association de la presse japonaise pour le projet « Nous n’oublierons jamais », au sujet des victimes du tsunami de 2011, en partenariat avec le journal Iwate Nippô.

L’initiative d’une étudiante et d’un professeur d’université

Si convertir des photos couleur en monochrome ou sépia leur apporte une dimension nostalgique, qu’en est-il du contraire, de la colorisation de photos en noir et blanc ? On les sent bien plus vivantes, bien plus proches de notre temps, tout simplement. Niwata Anju s’en est rendue compte pour la première fois il y a trois ans. La jeune fille était alors en seconde.

Au lycée, Niwata faisait partie d’un comité chargé d’enregistrer des témoignages pour les archives de Hiroshima. Ce projet a été lancé en 2011 par le professeur Watanabe Hidenori de l’Université de Tokyo afin de sauvegarder tout document lié au bombardement atomique par le biais de le technologie et l’art.

Niwata a fait la connaissance d’un survivant de la bombe atomique, Hamai Tokusô, afin de retranscrire son témoignage. Enfant, Hamai habitait le quartier de Nakajima, à Hiroshima, où son père était coiffeur avant la tragédie. Si le jeune Hamai a pu ressortir vivant des décombres, tout le reste de sa famille, elle, avait péri.

En écoutant Hamai parler de sa famille tout en regardant ensemble de vieilles photos, Niwata a eu une idée. « Je savais que ça le rendrait heureux si je pouvais lui montrer des versions colorisées de ces clichés », dit-elle. Il se trouve qu’elle avait déjà vu des photos d’Okinawa avant la guerre que le professeur Watanabe avait colorisées dans son atelier. Elle avait alors ressenti à quel point cette méthode pouvait rapprocher les mémoires d’antan au vécu d’aujourd’hui…

C’est en 2016 que Watanabe s’est familiarisé pour la première fois avec la technologie de colorisation automatique par intelligence artificielle (IA). À cette époque, il utilisait un logiciel open source de colorisation développé par le professeur Ishikawa Hiroshi de l’Université de Waseda pour rajouter de la couleur à des photos de Hiroshima prises juste après la guerre. Les résultats l’ont bouleversé : c’était comme si les personnes figurant sur les images avaient repris vie. Il a alors compris pourquoi si peu de visiteurs aux archives de Hiroshima étaient touchés par les photos monochromes, malgré la force des témoignages des survivants. En fait, elles ne suffisaient pas à exprimer leur importance.

« Nous avons tous tellement l’habitude de photos couleur que celles en noir et blanc paraissent inorganiques, statiques, presque figées, juge Watanabe. Cela crée un gouffre entre nous et la guerre, nous empêchant de toucher notre cœur au plus profond. »

Le professeur a colorisé des photos du champignon atomique et des unités d’attaques-suicides spéciales (kamikazes) qu’il a ensuite affichées sur Twitter. Les images ont été partagées des milliers de fois, et les gens se sont même mis à donner des informations supplémentaires. Ces réactions ont poussé Watanabe à rechercher des précieuses photos prises avant et pendant la guerre pour les coloriser, et les afficher sous le titre de « il y a tout juste XX ans ».

Des membres d’une unité d’attaque-suicide spéciale (kamikazes) avec un chiot. Photo prise le 26 mai 1945 à l’aérodrome Bansei de Kagoshima, deux heures avant leur vol.
Des membres d’une unité d’attaque-suicide spéciale (kamikazes) avec un chiot. Photo prise le 26 mai 1945 à l’aérodrome Bansei de Kagoshima, deux heures avant leur dernier vol.

La version colorisée apporte une dimension bien plus vivante, une sensation d’immédiateté à l’image (avec l’aimable autorisation du projet Rebooting Memories)
La version colorisée apporte une dimension bien plus vivante, une sensation d’immédiateté à l’image (avec l’aimable autorisation du projet Rebooting Memories)

Soudain, tous les souvenirs remontent à la surface...

Watanabe a enseigné les techniques de colorisation à Niwata, et la jeune fille a pu retoucher quelques photos qu’elle a ensuite montré à Hamai. « C’est comme si ma famille était toujours en vie ! », s’est-il exclamé. Ces photos lui ont permis de raviver d’autres souvenirs que les versions monochromes : « Regardez, là c’est moi qui m’amusait avec un faux pistolet… »

Photo prise au printemps 1935 sous les cerisiers en fleur du parc Chôjuen. Hamai Tokusô est le garçon au bonnet blanc dans les bras de sa mère, quatrième à partir de la gauche (avec l’aimable autorisation de Hamai Tokusô).
Photo prise au printemps 1935 sous les cerisiers en fleur du parc Chôjuen. Hamai Tokusô est le garçon au bonnet blanc dans les bras de sa mère, quatrième à partir de la gauche (avec l’aimable autorisation de Hamai Tokusô).

La version colorisée (avec l’aimable autorisation du projet Rebooting Memories)
La version colorisée (avec l’aimable autorisation du projet Rebooting Memories)

Niwata a par la suite rendu visite à Takahashi Hisashi, qui est également né à Nakajima où sa famille tenait un studio de photographie. Comme Hamai, c’est le seul survivant de sa famille après la bombe atomique. Takahashi souffre de démence, avec des difficultés d’élocution, mais à la vue des photos colorisées, il s’est mis à parler avec enthousiasme de sa famille. Il a alors expliqué que c’était parce que le flash de l’appareil lui faisait peur qu’il avait caché son visage avec un morceau de pastèque.

Cette photo, prise au studio photo Takahashi en été 1936, nous montre la famille Takahashi tout sourire, en pleine dégustation de pastèque. Hisashi est le petit garçon se cachant la face avec un morceau de pastèque. (Avec l’aimable autorisation de Takahashi Hisashi)
Cette photo, prise au studio photo Takahashi en été 1936, nous montre la famille Takahashi tout sourire, en pleine dégustation de pastèque. Hisashi est le petit garçon se cachant la face d’une drôle de façon. (Avec l’aimable autorisation de Takahashi Hisashi)

Version colorisée (avec l’aimable autorisation du projet Rebooting Memories)
Version colorisée (avec l’aimable autorisation du projet Rebooting Memories)

Chaque année, à l’approche de la commémoration du bombardement du 6 août, les écoles primaires de Hiroshima organisent des cours sur la paix. « J’avais du mal à apprécier ces leçons quand j’étais petite », raconte Niwata, expliquant qu’elle n’avait jamais pu réellement ressentir les horreurs de la guerre et qu’elle ne faisait même pas attention aux photos qu’on leur montrait en classe.

« Je pense que c’est parce que je ne captais aucun lien avec nos vies d’aujourd’hui. C’était comme si ça venait d’un autre monde. Alors je crois que coloriser ces vieilles photos monochromes permet à ceux qui n’ont pas vécu la guerre de comprendre à quel point c’est personnel. Avant la guerre, les gens vivaient leur vie, comme ils le font maintenant, mais la bombe atomique leur a tout ôté en un instant. La guerre, ce n’est pas quelque chose qui appartient au passé lointain. Ça pourrait nous arriver aussi. Là. Maintenant. »

Le projet « Rebooting Memories » ressuscite les photos et par conséquent les souvenirs des personnes ayant vécu l’époque. Le dialogue devient tout à coup plus riche : ils nous parlent du monde d’alors, de la culture et de la vie quotidienne immortalisés sur pellicule.

Le rôle du travail manuel et de la recherche active

« Rebooting Memories » est une collaboration entre l’IA et le travail manuel. Tout d’abord, l’équipe utilise un système d’intelligence artificielle qui se base sur environ 2,3 millions de photos monochromes et couleur pour coloriser les photos automatiquement. Si l’IA rend habilement les couleurs naturelles comme la peau, le ciel, la mer et les montagnes, elle est bien moins efficace pour tout ce qui est artificiel, comme les habits ou les véhicules. Puisqu’elle délaisse les éléments qui manquent de naturel, une autre partie de la tâche doit être effectuée à la main en se basant sur les commentaires des survivants, les archives, et l’apport des réseaux sociaux. Ce travail demande beaucoup de temps et d’effort, et cela peut prendre plusieurs mois pour finir une seule photo.

« Les périodes de l’avant-guerre et de la guerre ressuscitées à travers l’IA et les photos colorisées » (AI to karâka-shita shashin de yomigaeru senzen, sensô, aux éditions Kôbunsha)
« Les périodes de l’avant-guerre et de la guerre ressuscitées à travers l’IA et les photos colorisées » (AI to karâka-shita shashin de yomigaeru senzen, sensô, aux éditions Kôbunsha)

Tout ce travail aboutit en 2020 à un livre, « Les périodes de l’avant-guerre et de la guerre ressuscitées à travers l’IA et les photos colorisées » (AI to karâka-shita shashin de yomigaeru senzen, sensô, aux éditions Kôbunsha), une collection de 355 photos colorisées représentant cette époque mouvementée. Watanabe et son éditeur ont pris la décision de ne pas inclure des photos grotesques ou trop tragiques. Tout comme le réalisateur Katabuchi Sunao dans son film d’animation Dans un recoin de ce monde (2016), ils voulaient surtout mettre en avant la vie de tous les jours pendant la guerre, faisant ressortir par ce biais les ténèbres enveloppant ces existences qui semblaient heureuses jusque là.

Le projet comprend aussi des clichés pris par des photographes militaires américains au Japon, ainsi que des photos de Japonais dans des camps de prisonniers aux États-Unis. Niwata a tout particulièrement mis l’accent sur la recherche d’images montrant le point de vue des enfants, afin de saisir la façon dont la guerre s’était instaurée dans la vie des plus jeunes, comme les témoignages de Hamai et Takahashi sur le vécu de leur enfance l’avait démontré.

« La volonté de Niwata Anju, sa candeur, et la façon toute naturelle et inébranlable qu’elle a d’écouter ont beaucoup joué pour faire ressortir les souvenirs et les véritables sentiments des survivants » explique l’éditeur de Kôbunsha.

Une photo en particulier a fait parler d’elle

Le livre, publié en juillet 2020, a fait écho chez les lecteurs. Il devint rapidement un bestseller et cinq tirages ont été réalisés en un mois. Watanabe nous met quand même en garde : « les couleurs de ces photos ne sont pas les vraies couleurs. Nous avons tout fait pour être aussi fidèles que possible à la réalité, mais c’est encore loin d’être parfait. Ce livre démontre simplement le résultat de notre travail au moment de l’impression. »

Un épisode en particulier illustre bien la vérité de ses commentaires. La première et la dernière photos du livre montrent un jeune couple regardant la ville en ruines. La légende dit : « Le 5 août, 1946. Un an après le bombardement, on peut toujours constater les décombres de Hiroshima. Ce couple regarde vers le sud-est, à partir du grand magasin Fukuya de la rue Hatchôbori. »

	Un couple regardant la ville incinérée, en août 1946 (© Kyôdô News)
Un couple regardant la ville incinérée, en août 1946 (© Kyôdô News)

Watanabe a découvert cette image au Centre Wilmington College Peace Resource lors d’une visite aux États-Unis en 2016. Une fois colorisée, il l’a affiché sur Twitter le 6 août 2018, le jour commémoratif du bombardement de Hiroshima. La réaction a été extraordinaire : la photo a été reprise par les journaux, et suite aux articles, le professeur a reçu un courrier de l’agence de presse Kyôdô avec des détails sur le cliché en question. Selon la lettre, la photo aurait été prise par Kyôdô avant le 5 août 1946, et faisait partie d’une série de photos distribuées dans tout le Japon pour commémorer le premier anniversaire du bombardement et la fin de la guerre.

Le courrier expliquait aussi que le grand magasin Fukuya, démoli au moment du bombardement, avait ouvert une salle de danse bien avant le premier anniversaire du bombardement, espérant donner un coup de pouce à la revitalisation du quartier.

L’identité du couple restant inconnue, Niwata et Watanabe ont présenté l’image en tant que le symbole de la volonté des habitants de Hiroshima de reconstruire, et d’espérer des jours meilleurs.

Mais l’histoire ne s’est pas arrêtée là…

Peu après la publication de l’ouvrage de photographies, Kawaue Kiyoshi, un ostréiculteur à la retraite de 90 ans, vivant dans le quartier Minami de Hiroshima, a annoncé que le couple en question, c’était lui-même et la femme qu’il a épousée plus tard. Niwata n’a alors pas manqué de lui rendre visite ! Malheureusement, sa femme, Yuriko, était décédée en janvier 2020, à l’âge de 90 ans.

Niwata s’est mis au travail tout de suite, demandant des détails à Kawaue ainsi que son aide pour corriger les couleurs des vêtements et du paysage. Il a signalé que le terrain représenté sur la photo continuait encore de fumer, et qu’il était plus noir que sur l’image. Il a aussi expliqué qu’ils ne contemplaient pas la ville avec un sentiment d’espoir, comme se l’étaient imaginé Niwata et Watanabe : non, ils regardaient là où avaient été leurs maisons, pleurant les amis qu’ils avaient perdus lors du bombardement. Malgré la présence continue de ces blessures du cœur, Yuriko l’avait toujours soutenu, et ils s’étaient mariés cinq ans plus tard.

Version colorisée non corrigée. (avec l’aimable autorisation du projet Rebooting Memories)
Version colorisée non corrigée (avec l’aimable autorisation du projet Rebooting Memories)

La version colorisée corrigée grâce à la participation de Kawaue Kiyoshi. À gauchen Yuriko, qui deviendra sa femme (avec l’aimable autorisation du projet Rebooting Memories)
La version colorisée corrigée grâce à la participation de Kawaue Kiyoshi. À gauche, Yuriko, qui deviendra sa femme (avec l’aimable autorisation du projet Rebooting Memories)

« J’ai été très ému de revivre ces souvenirs de ma femme », dit Kawaue Tsuyoshi.  (© Niwata Anju)
« J’ai été très ému de revivre ces souvenirs de ma femme », dit Kawaue Tsuyoshi. (© Niwata Anju)

« Je pense que nous aurons de nouveaux témoignages. Nous les écouterons et continuerons à améliorer les photos » dit Watanabe. Le professeur et la jeune Niwata ont entrepris un voyage pour redécouvrir les couleurs du passé, sans doute un voyage sans fin.

(Photo de titre : Niwata Anju, à droite, et Watanabe Hidenori montrent la version publiée de leur projet « Rebooting Memories ». « Nous espérons voir ce livre publié en anglais, et d’autres langues aussi », disent-ils. Photo de l’auteur)

technologie photographie guerre Hiroshima Seconde Guerre mondiale