Si l’endomorphisme $u$ possède une valeur propre alors la droite vectorielle engendrée par un vecteur propre associé est évidemment stable par $u$.
Sinon, la matrice réelle $A$ représentant $u$ dans une base n’a que des valeurs propres complexes non réelles. Parmi celles-ci considérons en une que nous notons $\lambda$. Il existe alors une colonne complexe $Z$ non nulle telle que $AZ=\lambda Z$. En écrivant $\lambda =\alpha +i\beta$ et $Z=X+iY$ avec $\alpha ,\beta ,X,Y$ réels, l’équation précédente donne

Considérons ensuite les vecteurs $x$ et $y$ de $E$ représentés par les colonnes réelles $X$ et $Y$. Les relations précédentes donnent

et donc le sous-espace vectoriel $\mathrm{Vect}(x,y)$ est stable par $u$.
Or celui-ci n’est pas nul car $Z\ne 0$ et est donc de dimension 1 ou 2 (et en fait 2 car l’absence de valeurs propres réelles dans le cas présent signifie l’absence de droite vectorielle stable).

• (a)

  Par l’absurde supposons $X$ et $Y$ colinéaires. Il existe alors une colonne $X_0$ réelle telle que

  $$X=\alpha X_0\text{ et }Y=\beta X_0\text{ avec }(\alpha ,\beta )\ne (\mathrm{0,0})\text{.}$$

  On a alors $Z=(\alpha +\mathrm{i}\beta )X_0$ et la relation $AZ=\lambda Z$ donne

  $$(\alpha +\mathrm{i}\beta )A{X}_0=\lambda (\alpha +\mathrm{i}\beta )X_0\text{.}$$

  Puisque $\alpha +\mathrm{i}\beta \ne 0$, on peut simplifier et affirmer $A{X}_0=\lambda X_0$. Or $X_0$ est une colonne réelle donc, en conjuguant, $A{X}_0=\overline{\lambda }{X}_0$ puis $\lambda \in ℝ$ ce qui est exclu.

• (b)

  On écrit $\lambda =a+\mathrm{i}b$ avec $a,b\in ℝ$. La relation $AZ=\lambda Z$ donne en identifiant parties réelles et imaginaires

  $$AX=aX-bY\text{ et }AY=aY+bX\text{.}$$

  On en déduit que $\mathrm{Vect}(X,Y)$ est stable par $A$.

• (c)

  Le polynôme caractéristique de $f$ est

  $$(X+1)(X-2)(X^2-2X+2)\text{.}$$

  Les valeurs propres de $A$ sont $-\mathrm{1,2}$ et $1\pm \mathrm{i}$ avec

  $$E_{-1}(A)=\mathrm{Vect}{\left(\begin{array}{cccc}\hfill 0\hfill & \hfill 0\hfill & \hfill 1\hfill & \hfill 0\hfill \end{array}\right)}^{\top },E_2(A)=\mathrm{Vect}{\left(\begin{array}{cccc}\hfill 1\hfill & \hfill 1\hfill & \hfill 0\hfill & \hfill 1\hfill \end{array}\right)}^{\top }\text{ et }{E}_{1+\mathrm{i}}(A)=\mathrm{Vect}{\left(\begin{array}{cccc}\hfill \mathrm{i}\hfill & \hfill -1\hfill & \hfill 0\hfill & \hfill 1\hfill \end{array}\right)}^{\top }\text{.}$$

  Soit $P$ un plan stable par $f$. Le polynôme caractéristique de l’endomorphisme $u$ induit par $f$ sur ce plan divise le polynôme caractéristique de $f$ tout en étant réel et de degré 2. Ce polynôme caractéristique ne peut qu’être

  $$(X+1)(X-2)\text{ ou }{X}^2-2X+2\text{.}$$

  Dans le premier cas, 1 et 2 sont valeurs propres de $u$ et les vecteurs propres associés sont ceux de $f$. Le plan $P$ est alors

  $$\mathrm{Vect}\{\left(\begin{array}{cccc}\hfill 0\hfill & \hfill 0\hfill & \hfill 1\hfill & \hfill 0\hfill \end{array}\right),\left(\begin{array}{cccc}\hfill 1\hfill & \hfill 1\hfill & \hfill 0\hfill & \hfill 1\hfill \end{array}\right)\}\text{.}$$

  Dans le second cas, pour tout $x\in P$, on a par le théorème de Cayley Hamilton

  $$u^2(x)-2u(x)+2x=0_E$$

  et donc la colonne $X$ des coordonnées de $x$ vérifie

  $$X\in \mathrm{Ker}(A^2-2A+2{\mathrm{I}}_4)\text{.}$$

  Après calculs, on obtient

  $$X\in \mathrm{Vect}({\left(\begin{array}{cccc}\hfill 1\hfill & \hfill 0\hfill & \hfill 0\hfill & \hfill 0\hfill \end{array}\right)}^{\top },{\left(\begin{array}{cccc}\hfill 0\hfill & \hfill -1\hfill & \hfill 0\hfill & \hfill 1\hfill \end{array}\right)}^{\top }\text{.}$$

  Ainsi, le plan est inclus dans le plan

  $$\mathrm{Vect}\{\left(\begin{array}{cccc}\hfill 1\hfill & \hfill 0\hfill & \hfill 0\hfill & \hfill 0\hfill \end{array}\right),\left(\begin{array}{cccc}\hfill 0\hfill & \hfill -1\hfill & \hfill 0\hfill & \hfill 1\hfill \end{array}\right)\}$$

  ce qui suffit à le déterminer.

• (a)

  Si $e\notin H$ alors la valeur de $u(e)$ détermine entièrement un élément $u$ de $\{u\in E^{*}|u(H)=\{0\}\}$. Cela permet de mette en place un isomorphisme entre $\{u\in E^{*}|u(H)=\{0\}\}$ et $𝕂$. La dimension cherchée vaut $1$.

• (b)

  Si $H$ est stable par $f$ alors, pour tout $x\in H$, $u\left(f(x)\right)=0$ donc

  $$u\circ f\in \{v\in E^{*}|v(H)=\{0\}\}\text{.}$$

  Or $u$ est un élément non nul de cette droite vectorielle donc $u\circ f$ est colinéaire à $u$. La réciproque est immédiate.

• (c)

  ${\mathrm{Mat}}_{ℬ}(u)=L\ne 0$ (car $u$ définit une équation d’hyperplan), ${\mathrm{Mat}}_{ℬ}(u\circ f)=LA$ donc

  	$u\circ f=\lambda u$	$\iff LA=\lambda L$
  		$\iff A^{\top }{L}^{\top }=\lambda L^{\top }$

  avec $L^{\top }$ colonne non nulle.

• (d)

  $\mathrm{Sp}(A^{\top })=\mathrm{Sp}(A)=\{\mathrm{1,2},-1\}$. Une base de vecteurs propres est formée des vecteurs $(-1,-\mathrm{1,1})$, $(\mathrm{0,1,1})$ et $(-\mathrm{1,0,1})$. Les plans stables par $f$ sont ceux d’équations $x+y-z=0$, $y+z=0$ et $x-z=0$.