Simplifique

(senx + cosx)²/(sen2x + 1) = (sen²x + cos²x + 2senx.cosx)/(sen2x + 1) (I)

lembrando que; sen²x + cos²x = 1; 2senx.cosx = sen2x
logo (I) fica: (1 + sen2x)/(1 + sen2x) = 1

reescrevendo a expressão y:
y = 1 + (cos2x)/(1 + tgx) -1 = (cos2x)/(1 + tgx);

no denominador temos 1 + tgx = 1 + senx/cosx = (sex + cosx)/cosx

no numerador cos2x pode ser escrito como cos²x - sen²x
então multiplicando pelo inverso do denominador.

y = (cos²x - sen²x).(cosx)/(senx + cosx);
y = (cosx + senx).(cosx - senx).(cosx)/(senx + cosx) = cos²x - senx.cosx = cos²x - (sen2x)/2

Muito obrigado Wilson Calvin.