Car Širakava umire 1129. godine, a na njegovo mesto dolazi unuk Toba.

On je kao
zamonašeni car vladao do 1156. godine. Efektivnost Insei sistema značajno je opala nakon
njegove smrti, tako da, iako je u teoriji Insei sistem i dalje postojao, u praksi više nije imao
nikakav značaj jer su nakon cara Tobe ratnički klanovi uspeli da nadjačaju i ustoličene i
zamonašene careve. To su učinili tako što su iskoristili to što je Go-Širakava postao zamonašeni
car i svaki klan je tvrdio da je zaštitnik prestola. Svi ovi klanovi bili su previše moćni da bi ih
kontrolisao jedan zamonašeni car, tako da je on abdicirao 1158. godine i više nije vladao. Umro
je od bolesti u proleće 1192. godine. Zato se za Insei sistem može reći da je trajao 70 godina,
počevši od 1086. pa do smrti cara Tobe, 1156. godine.

Glavni cilj je bio da se slome Fuđivara regenti i da se vrati carska vlast. Usledio je period
,,vladanja iz senke“, tako što bi carevi ubrzo nakon dolaska na presto abdicirali u korist svojih
sinova ili nećaka, dok su bivši carevi promatrali trenutnu situaciju i povremeno se mešali ukoliko
je to bilo potrebno. Ovime se fokus pomerio na očinsku liniju i stvorio se autoritet nezavisan od
majčinske linije vladara. Ovakva politika novih careva nije odgovarala Fuđivara klanu, a javili su
se i drugi problemi koji su doprineli njihovom padu. Žene iz ovog klana su počele da umiru
mlade, da često rađaju žensku decu, ili čak nisu mogle da imaju decu uopšte. Takođe, javile su se
i međusobne razmirice unutar klana, što je bila idealna prilika za oslobađanje uticaja Fuđivara.
Zbog svega ovoga su postepeno gubili autoritet i povlačili su se sa značajnih pozicija.

Javlja se nova forma vlasti koja se zasnivala isključivo na vojnoj moći, a ne na rođenju ili
reputaciji. U poređenju sa poreklom plemića Fuđivara porodice, većina novih ljudi je bila nižeg
ranga. Neki od njih su bili učenjaci, kao što su pripadnici Oje porodice, naslednici
konfucijanskih intelektualaca. Oje Masafusa, čije je zvanično ime bilo Gon Ćunagon, istaknut
kao neko ko je dobro poznavao politiku, pa je mogao je da daje savete caru i za njega se može
reći da je napredovao zbog svog talenta. Autor je dela Koke Šidai, koje je jedno od najvrednijih
izvora detaljnih informacija o ceremonijalnim i javnim funkcijama 11.veka.

Fuđivare su bile zapošljavane samo ukoliko su bile su vredne toga, a sa druge strane,
članovi Minamoto klana su vremenom dobijali važne pozicije. Iako je moć Fuđivara bila
uništena, vladavina zamonašenih careva izazvala je niz drugih problema. Jedan od takvih
problema bila je odmazda onih čiji je opstanak bio ugoržen. Zamonašeni vladari nisu imali
dovoljno novca kako bi održali svoju visoku poziciju. Oni nisu imali prava na blagajnu, već su se
oslanjali na prihode iz svojih vila. Zbog toga su obično bili prinuđeni da traže pristalice, a oni bi
zauzvrat sticali službe. Agrarna politika cara Go-Sanđoa nije išla u prilog mnogim dvoranima.
jer car je car nije posedovao praktično zemlju u velikom delu provincija, pa su tako zvaničnici
koji nisu imali prihode od zemlje su bili u lošoj poziciji. Dnevnici i zapisi iz tog vremena
svedoče o ovakvim nevoljama, kao što je Dnevnik Šunki iz 1039. godine. U njemu zvaničnik
opisuje kako nema novca jer nema ni platu ni zemlju koju bi obrađivao. Iako su postojali neki
izuzeci, činilo se da je nova forma vladavine je uglavnom bila vođena od strane ljudi kojima je
nedostajala sposobnost i integritet.

U istorijskim spisima je zabeleženo da je car Go-Sanđo smatrao da je pogrešno da car u

svojim poslednjim godinama postane samo figura, a i on sam je u svojim poslednjim godinama
života aktivno vladao, tako da nema sumnje da je on začetnik sistema vlasti zamonašenih
vladara. Ono što nije sigurno je da li je planirao da to bude trajno i na koji način je planirao da to
funkcioniše, ali ono što je važno je da je ovim sistemom zamenjena porodica Fuđivara.