獲得奧運參賽資格後，受到日本泳聯的處分

就這樣瀨戶迎來了第2019年的世錦賽。他在200公尺和400公尺個人混合泳上奪得兩冠後大放異彩，並獲得了東京奧運這兩個項目的參賽資格。此時的他一帆風順，之後需要做的，只剩下面向奧運開幕，進行萬無一失的調整。

然而， 2020年9月，一樁震驚世人的外遇醜聞曝光，不僅令泳迷和奧運粉絲失望，也讓他跌入了穀底。所屬公司與他終止了合同，贊助商也離他而去，日本泳聯則對他做出了禁賽至2020年底的處分。

2020年3月，東京奧運被決定推遲一年舉行，這更使瀨戶的積極性明顯下降，以至於在被禁賽之前，他也無法全身心地投入訓練。雖然他的奧運參賽資格沒有被取消，但實力能否恢復到衝擊金牌的水準，則不得而知。

然而，失去了很多的瀨戶在沮喪失意之時，拯救了他的還是游泳。新年過後的2021年2月，迎來了日本公開賽。這是他禁賽處罰結束後首次參加的賽事，他表情凝重地說：「我為去年自己輕率的行為，給許多人帶來的麻煩感到抱歉，現在還能繼續游泳，讓我心懷感激。」

重出「江湖」的他以4分12秒57的成績贏得了400公尺個人混合泳的冠軍。考慮到這剛剛是2月初，而且是他複出後的首場賽事，可以說這個成績是非常不錯的了。從他的身影裡，可以看出他在被禁賽期間轉戰一個又一個泳池，全身心投入訓練的樣子。

瀨戶在日本公開賽400公尺個人混合泳決賽中表現出色，2021年2月4日，東京水上運動中心（時事）
瀨戶在日本公開賽400公尺個人混合泳決賽中表現出色，2021年2月4日，東京水上運動中心（時事）

恢復參賽後，瀨戶的成績一步一步提高。4月，日本錦標賽的首戰在東京奧運的舉辦地——東京水上運動中心舉行。瀨戶毫無懸念地贏得了400公尺個人混合泳的冠軍，而且游出了在日本錦標賽上的歷史最佳成績：4分9秒02，比他之前在2019年日本錦標賽上的4分9秒98的最佳成績快了近一秒。

「相較於從年初到2月的日本公開賽這一期間，從日本公開賽到4月的日本錦標賽這段時間，不管是成績的提升幅度，還是在體能和技術方面，我都能感覺到自己的狀態在不斷恢復。」