Je suis retourné à l'AS hier et j'ai mis sur une table cote a cote (dans le même coloris) le SE, le 7 et le 7 Plus. La différence de taille (form-factor mais aussi, et plus surprenant pour l'écran lui-même) est plus notable entre un 7 et un 7 Plus qu'entre un SE et un 7!
A mon sens la taille idéale est le 4.7'', la prise en main est bonne et l'écran a le mérite d'être un peu plus spacieux (et surtout de meilleure qualité).
Je te suggère la lecture de la timeline de l'iPhone SE: http://www.igen.fr/timeline/iphone-se
Perso, à moins de ne vouloir un petit smartphone pour des raisons de praticité (mais ça semble plus être une crainte pour toi), dans l'optique d'attendre le 8, le meilleur choix serait de chercher une super occase sur un 6S 
A part l'autonomie qui a fait un bond sur le 7 (et qui semble meilleure sur le SE!!), les améliorations de 7 ne te changeront pas la vie (même si elles ne sont pas anecdotiques: stabilisation optique de l'APN, étanchéité, optimisation puissance/ batterie avec l'A10 Fusion, écran P3 vraiment très agréable...etc).
L'APN est tout de même meilleur que celui du 6 et le 3D touch est présent, ainsi que "dis Siri" sans obligation que l'iPhone soit en mode recharge.