Comme $f^2\ne 0$, il existe $x\in E$ tel que $f^2(x)\ne 0$. Posons

$$e_1=x,e_2=f(x),e_3=f^2(x)\text{.}$$

Si ${\lambda }_1{e}_1+{\lambda }_2{e}_2+{\lambda }_3{e}_3=0$ alors

$${\lambda }_{1}x+{\lambda }_{2}f(x)+{\lambda }_3{f}^2(x)=0\text{.}$$

En appliquant $f^2$ à cette relation, on a ${\lambda }_1{f}^2(x)=0$ car on sait $f^3=0$.
Puisque $f^2(x)\ne 0$, on a ${\lambda }_1=0$ et sans plus de difficultés on montre aussi ${\lambda }_2=0$ et ${\lambda }_3=0$.
La famille $ℬ=(e_1,e_2,e_3)$ est libre en dimension 3, c’est donc une base de $E$. La matrice de $f$ dans celle-ci est comme voulue.

Soit $x\notin \mathrm{Ker}\left(f^{n-1}\right)$. Un tel $x$ existe puisque $f^{n-1}\ne 0$.
Considérons la famille $ℬ=(f^{n-1}(x),\mathrm{\dots },f(x),x)$.
Supposons

$${\lambda }_{n-1}{f}^{n-1}(x)+\mathrm{\cdots }+{\lambda }_{1}f(x)+{\lambda }_{0}x=0_E\text{.}$$

En y appliquant successivement $f^{n-1},\mathrm{\dots },f,\mathrm{Id}$ on obtient ${\lambda }_0=0,\mathrm{\dots },{\lambda }_{n-2}=0$ puis ${\lambda }_{n-1}=0$ car $f^{n-1}(x)\ne 0_E$.
$ℬ$ est une famille libre formée de $n=dimE$ vecteurs, c’est donc une base de $E$.
De plus, ${\mathrm{Mat}}_{ℬ}(f)$ est de la forme convenable.

• (a)

  Comme $f^{n-1}\ne 0,\exists x\in E,f^{n-1}(x)\ne 0$.
  Si ${\lambda }_{0}x+{\lambda }_{1}f(x)+\mathrm{\cdots }+{\lambda }_{n-1}{f}^{n-1}(x)=0$ alors:
  en composant avec $f^{n-1}$, on obtient ${\lambda }_0{f}^{n-1}(x)=0$ d’où ${\lambda }_0=0$.
  en composant successivement avec $f^{n-2},\mathrm{\dots },f,I$, on obtient successivement ${\lambda }_1=0,\mathrm{\dots },{\lambda }_{n-2}=0,{\lambda }_{n-1}=0$
  Par suite, $ℬ=(x,f(x),f^2(x),\mathrm{\dots },f^{n-1}(x))$ est libre et forme donc une base de $E$.

• (b)

  On a

  $${\mathrm{Mat}}_{B}f=\left(\begin{array}{cccc}\hfill 0\hfill & \hfill \hfill & \hfill \hfill & \hfill (0)\hfill \\ \hfill 1\hfill & \hfill \mathrm{\ddots }\hfill & \hfill \hfill & \hfill \hfill \\ \hfill \hfill & \hfill \mathrm{\ddots }\hfill & \hfill \mathrm{\ddots }\hfill & \hfill \hfill \\ \hfill (0)\hfill & \hfill \hfill & \hfill 1\hfill & \hfill 0\hfill \end{array}\right)=A$$

  puis

  $${\mathrm{Mat}}_{ℬ}(f^2)=A^2=\left(\begin{array}{cccc}\hfill 0\hfill & \hfill \hfill & \hfill \hfill & \hfill (0)\hfill \\ \hfill 0\hfill & \hfill \mathrm{\ddots }\hfill & \hfill \hfill & \hfill \hfill \\ \hfill 1\hfill & \hfill \mathrm{\ddots }\hfill & \hfill \mathrm{\ddots }\hfill & \hfill \hfill \\ \hfill (0)\hfill & \hfill 1\hfill & \hfill 0\hfill & \hfill 0\hfill \end{array}\right),\mathrm{\dots },\text{.}$$

  $${\mathrm{Mat}}_{ℬ}(f^{n-1})=A^{n-1}=\left(\begin{array}{cccc}\hfill 0\hfill & \hfill \hfill & \hfill \hfill & \hfill (0)\hfill \\ \hfill 0\hfill & \hfill \mathrm{\ddots }\hfill & \hfill \hfill & \hfill \hfill \\ \hfill \hfill & \hfill \mathrm{\ddots }\hfill & \hfill \mathrm{\ddots }\hfill & \hfill \hfill \\ \hfill 1\hfill & \hfill \hfill & \hfill 0\hfill & \hfill 0\hfill \end{array}\right)\text{.}$$

• (c)

  Notons $C(f)=\{g\in ℒ(E)|g\circ f=f\circ g\}$.
  Il est clair que $\mathrm{Vect}(I,f,f^2,\mathrm{\dots },f^{n-1})\subset C(f)$.
  Inversement, soit $g\in C(f)$, notons $a_0,\mathrm{\dots },a_{n-1}$ les composantes de $g(x)$ dans $ℬ$. On a

  $$\{\begin{array}{ccccccccccccccccccccc}\hfill g(x)=a_{0}x+a_{1}f(x)+\mathrm{\cdots }+a_{n-1}{f}^{n-1}(x)& & & & & & & & & & & & & & & & & & & & \\ \hfill g(f(x))=f(g(x))=a_{0}f(x)+\mathrm{\cdots }+a_{n-2}{f}^{n-1}(x)& & & & & & & & & & & & & & & & & & & & \\ \hfill \mathrm{⋮}& & & & & & & & & & & & & & & & & & & & \\ \hfill g(f^{n-1}(x))=f^{n-1}(g(x))=a_0{f}^{n-1}(x)\text{.}& & & & & & & & & & & & & & & & & & & & \end{array}$$

  Par suite,

  $${\mathrm{Mat}}_{ℬ}g=\left(\begin{array}{cccc}\hfill a_0\hfill & \hfill \hfill & \hfill \hfill & \hfill (0)\hfill \\ \hfill a_1\hfill & \hfill \mathrm{\ddots }\hfill & \hfill \hfill & \hfill \hfill \\ \hfill \mathrm{⋮}\hfill & \hfill \mathrm{\ddots }\hfill & \hfill \mathrm{\ddots }\hfill & \hfill \hfill \\ \hfill a_{n-1}\hfill & \hfill \mathrm{\cdots }\hfill & \hfill a_1\hfill & \hfill a_0\hfill \end{array}\right)=a_{0}I+a_{1}A+\mathrm{\cdots }+a_{n-1}{A}^{n-1}\text{.}$$

  Donc $g=a_{0}I+a_{1}f+\mathrm{\cdots }+a_{n-1}{f}^{n-1}\in \mathrm{Vect}(I,f,\mathrm{\dots },f^{n-1})$.
  Ainsi,

  $$C(f)=\mathrm{Vect}(I,f,f^2,\mathrm{\dots },f^{n-1})\text{.}$$

• (a)

  Par hypothèse $f(y)=0$ et $f^2(z)=-z$. En composant l’identité $x=y+z$ avec $f^2$, on obtient

  $$f^2(x)=0+f^2(z)=-z$$

  et il en découle

  $$y=x-z=x+f^2(x)\text{.}$$

• (b)

  Ce qui précède assure l’unicité de la décomposition d’un vecteur $x$ de $E$ et donc le caractère direct de la somme.

  De plus, pour $x\in E$, en posant $y=x+f^2(x)$ et $z=-f^2(x)$, on vérifie $x=y+z$ et

  	$f(y)$	$=f(x)+f^3(x)=(f^3+f)(x)=0$
  	$(f^2+\mathrm{Id})(z)$	$=-f^4(x)-f^2(x)=-(f^3+f)\left(f(x)\right)=0\text{.}$

  On peut donc affirmer que $E$ est la somme directe de $\mathrm{Ker}(f)$ et $\mathrm{Ker}(f^2+\mathrm{Id})$.

• (c)

  On a $(f^2+\mathrm{Id})\circ f=0$ donc $\mathrm{Im}(f)\subset \mathrm{Ker}(f^2+\mathrm{Id})$. Or $f\ne 0$ donc $dim\mathrm{Im}(f)\ge 1$ puis $dim\mathrm{Ker}(f^2+\mathrm{Id})\ge 1$.

  Soit $x$ un vecteur non nul de $\mathrm{Ker}(f^2+\mathrm{Id})$. Supposons

  $$\lambda .x+\mu .f(x)=0\text{.}$$

  (1)

  En composant avec $f$, on obtient $\lambda .f(x)+\mu .f^2(x)=0$ puis

  $$\lambda .f(x)-\mu .x=0\text{.}$$

  (2)

  La combinaison $\lambda \times (\mathit{\text{<a xmlns="http://www.w3.org/1999/xhtml" href="\#S0.E1" title="(1) ‣ (c)" class="ltx\_ref ltx\_font\_italic"><span class="ltx\_text ltx\_ref\_tag">1</span></a>}})-\mu \times (\mathit{\text{<a xmlns="http://www.w3.org/1999/xhtml" href="\#S0.E2" title="(2) ‣ (c)" class="ltx\_ref ltx\_font\_italic"><span class="ltx\_text ltx\_ref\_tag">2</span></a>}})$ donne $({\lambda }^2+{\mu }^2).x=0$. Sachant $x\ne 0$, on obtient ${\lambda }^2+{\mu }^2=0$ puis $\lambda =\mu =0$ car $\lambda$ et $\mu$ sont réels. La famille $(x,f(x))$ est donc libre.

• (d)

  En dimension impaire $\det (-\mathrm{Id})=-1$. Si l’endomorphisme $f$ est inversible, la relation $f^3+f=0$ peut être simplifiée en $f^2+\mathrm{Id}=0$. Ceci donne $\det (f^2)=\det (-\mathrm{Id})=-1$ ce qui est incompatible avec $\det (f^2)={\left(\det (f)\right)}^2\ge 0$. On en déduit que $f$ n’est pas inversible: $dim\mathrm{Ker}(f)\ge 1$.

  La conjonction des résultats qui précèdent donne

  $$dim\mathrm{Ker}(f)=1\text{ et }dim\mathrm{Ker}(f^2+\mathrm{Id})=2\text{.}$$

• (e)

  Soit $y$ un vecteur non nul de $\mathrm{Ker}(f)$ et $x$ un vecteur non nul de $\mathrm{Ker}(f^2+\mathrm{Id})$. La famille $(y)$ est base de $\mathrm{Ker}(f)$ et la famille $(x,f(x))$ est base de $\mathrm{Ker}(f^2+\mathrm{Id})$. Ces deux espaces étant supplémentaires dans $E$, la famille $(y,x,f(x))$ est base de $E$. La matrice de $f$ dans celle-ci est de la forme voulue.

Soit $x\in \mathrm{Ker}(f)\cap \mathrm{Im}(f)$. Il existe $a\in {ℝ}^3$ tel que $x=f(a)$ et alors

$$x=-f^3(a)=-f^2(x)=-f(f(x))=-f(0)=0\text{.}$$

Ainsi $\mathrm{Ker}(f)\cap \mathrm{Im}(f)=\{0\}$ puis, par le théorème du rang, on peut affirmer

$${ℝ}^3=\mathrm{Ker}(f)\oplus \mathrm{Im}(f)\text{.}$$

Si $f^2+\mathrm{Id}=\tilde{0}$ alors $f^2=-\mathrm{Id}$ puis ${\left(\det (f)\right)}^2=\det (-\mathrm{Id})=-1$. C’est impossible.
On en déduit que $f^2+\mathrm{Id}\ne \tilde{0}$ et puisque $f\circ (f^2+\mathrm{Id})=\tilde{0}$, on a $\mathrm{Ker}(f)\ne \{0\}$.
Soit $e_1\in \mathrm{Ker}(f)$ non nul.
Puisque par hypothèse $f$ n’est pas l’application nulle, considérons $e_2=f(a)\in \mathrm{Im}(f)$ vecteur non nul. Posons $e_3=-f(e_2)\in \mathrm{Im}(f)$.
On vérifie

$$f(e_3)=-f^2(e_2)=-f^3(a)=f(a)=e_2\text{.}$$

De plus, les vecteurs $e_2$ et $e_3$ ne sont pas colinéaires.
En effet, si $e_3=\lambda e_2$, on obtient en composant par $f$, $e_2=-\lambda e_3$ et l’on en déduit $e_2=-{\lambda }^2{e}_2$. Sachant $e_2\ne 0$, on obtient ${\lambda }^2=-1$ ce qui est impossible avec $\lambda \in ℝ$.
Puisque $(e_2,e_3)$ est une famille libre de $\mathrm{Im}(f)$ et puisque $(e_1)$ est une famille libre de $\mathrm{Ker}(f)$, on peut affirmer que $(e_1,e_2,e_3)$ est une base de ${ℝ}^3$. Dans celle-ci, la matrice de $f$ est égale à $A$.

Si $f=0$ alors $f\circ g=0$.

Sinon, il existe une base de ${ℝ}^2$ dans laquelle la matrice de $f$ est

$$A=\left(\begin{array}{cc}\hfill 0\hfill & \hfill 1\hfill \\ \hfill 0\hfill & \hfill 0\hfill \end{array}\right)\text{.}$$

La matrice de $g$ commutant avec celle de $f$, elle est de la forme

$$\left(\begin{array}{cc}\hfill a\hfill & \hfill b\hfill \\ \hfill 0\hfill & \hfill a\hfill \end{array}\right)$$

Puisque $g^2=0$, il vient $a=0$.

Par suite, la matrice de $f\circ g$ est nulle.