訴求臺灣教育的重要性

1895年，由於馬關條約的簽訂，明治政府將臺灣納入統治範圍，對於首次獲得的新領土，開始摸索統治經營的方法。日本統治下的臺灣，是個受到四重侵擾的島嶼──地方性流行病的蔓延、吸食鴉片的惡習、武裝勢力的襲擊、原住民族的抵抗。當時已經44歲的伊澤，前往會見首任臺灣總督樺山資紀，針對在當地施行教育的重要性，陳述自己獨到的見解，當時樺山資紀便說：「那希望你可以幫我推動實行」，拔擢伊澤擔任臺灣總督府民政局學務部長心得（譯註：「心得」為代理該職之意）。

該年5月17日，伊澤帶領燃起教育熱情、擁有遠大志向的7位教師，前往臺灣臺北任職。在伊澤的帶領下，渡臺的7名教師分別為楫取道明、關口長太郎、中島長吉、桂金太郎、井原順之助、平井數馬、山田耕造。一行人在位於臺北市北部的士林一帶的小山丘芝山巖設置學務部，6月28日，便已在該處的一個角落開設學堂，由此可知其行動之迅速。

當時有6位臺灣青年，為了成為教師而進入該校就讀。伊澤向當地耆老說明：「自己前來此地，並非為了戰爭，而是為了推動培育日本國的良民教育而來」，因此才能獲得如此成果。這便是臺灣最初的日語教育，臺灣總督府開設後未滿1個月，就以如此迅速的步調，開始推展日本教育。

返國期間發生的悲劇

創校後開始授課之際，反對日本統治的武裝勢力持續展開游擊戰抵抗，雖然知道治安尚未穩定，但伊澤等人下定決心，認為「若無法身無寸鐵地進入居民群眾之中，便無法進行教育工作」。此外，更覺悟到可能遭遇生命危險，「若吾等為國殉難，便能向臺灣子弟具體展現身為日本國民的精神」，因此繼續在芝山巖授課，同時亦學習臺語。6位學生在學習4個月後，便可以理解日語，相當優秀。開學後，伊澤見到教學已上軌道，為了增加授課教師，便與山田耕造暫時回到日本，正當招募人才的行動如火如荼地展開之際，發生了慘絕人寰的悲劇。

當時，武裝勢力將在1896年元旦襲擊臺北的傳聞甚囂塵上，當地居民勸告留在學校的6位教師前往他處避難，但他們展現出不畏生死的決心，認為這是「雖死猶榮，死得其所」。為了向總督府道賀新年，教師們從學校出發時，受到接近百人的武裝勢力襲擊，全員慘遭殺害。教師全員被斬首，身上衣物亦遭剝除殆盡，教室內的物品被洗劫一空，狀況極為慘烈。

這個稱為「芝山巖事件」的慘烈事件，不只臺灣島內，當時連日本內地都受到了巨大的衝擊。為了招募更多教師，持續在報紙上刊登招募資訊的伊澤，感受到的悲傷與憤怒更是非同小可。原本有高達800名的應徵者，但新聞報導該事件後，許多人因而辭退，最終只剩下45名。伊澤並無意中止臺灣教育的推動，那些與伊澤一同渡臺的教師們也都有所覺悟，「無論在前方等待的是何種危難，我們都要為臺灣教育拼命」。

1896年6月，這45名教師渡海來臺，花費2個月的時間學習臺語，其後前往臺灣各地，在設置於臺灣全島14個地方的「國語傳習所」擔任教師。「國語傳習所」的學制將15歲以上、30歲以下分為甲科，8歲以上、15歲以下則是乙科；前者培養通曉日語的官員，後者則是培育臺灣未來的人才。