${\phi }^2(M)=P(PM+MP)+(PM+MP)P=PM+2PMP+MP$ car $P^2=P$.
${\phi }^3(M)=PM+6PMP+MP$.
Par suite, ${\phi }^3(M)-3{\phi }^2(M)=-2PM-2MP=-2\phi (M)$.
Ainsi, $\phi$ annule le polynôme $X^3-3X^2+2X=X(X-1)(X-2)$.
Puisque ce polynôme est scindé simple, l’endomorphisme $\phi$ est diagonalisable.

• (a)

  En développant, on vérifie $(f-\alpha \mathrm{Id})\circ (f-\beta \mathrm{Id})=\tilde{0}$.
  L’endomorphisme $f$ annule un polynôme scindé simple, il est donc diagonalisable.
  De plus, $\mathrm{Sp}(f)\subset \{\alpha ,\beta \}$.
  On a$f(x)=\alpha x\iff \beta v(x)=\alpha v(x)\iff v(x)=0$.

• (b)

  On a $(f-\beta \mathrm{Id})=(\alpha -\beta )u$ et $(f-\alpha \mathrm{Id})=(\beta -\alpha )v$.
  La relation $(f-\alpha \mathrm{Id})\circ (f-\beta \mathrm{Id})=\tilde{0}$ donne $v\circ u=\tilde{0}$ et par un calcul symétrique, on obtient aussi $u\circ v=\tilde{0}$.
  On en déduit $u=u\circ \mathrm{Id}=u^2+u\circ v=u^2$ et donc $u$ est une projection vectorielle.
  De plus, $\mathrm{Ker}(u)=\mathrm{Ker}\left((\alpha -\beta )u\right)=\mathrm{Ker}(f-\beta \mathrm{Id})$ et $\mathrm{Im}(u)=\mathrm{Ker}(\mathrm{Id}-u)=\mathrm{Ker}(v)=\mathrm{Ker}(f-\alpha \mathrm{Id})$.

• (c)

  Par récurrence $f^n={\alpha }^{n}u+{\beta }^{n}v$.

Par élimination de $u$, on a

et

Par élimination de $v$, on obtient

Ainsi, $P=X(X-\alpha )(X-\beta )$ est annulateur de $f$.

Cas: $\alpha \ne \beta$ et $\alpha ,\beta \ne 0$. $f$ est diagonalisable car annule un polynôme scindé simple.

Cas: $\alpha =\beta =0$. $f$ est diagonalisable car $f$ est l’endomorphisme nul.

Cas: $\beta =0$ et $\alpha \ne 0$. On a $f^2-\alpha f=0$ donc $f$ est diagonalisable car annule le polynôme scindé simple $X(X-\alpha )$.

Cas: $\alpha =0$ et $\beta \ne 0$. Semblable.

Cas: $\alpha =\beta \ne 0$. On a $f=\alpha (u+v)$ et $f^2={\alpha }^2(u+v)$ donc à nouveau $f^2-\alpha f=0$.

Dans tous les cas, l’endomorphisme $f$ est diagonalisable.

• (a)

  On a

  $$f(f(M))=M+(2+\mathrm{tr}(AB))\mathrm{tr}(AM)B$$

  donc

  $$P(X)=X^2-(2+\mathrm{tr}(AB))X+1+\mathrm{tr}(AB)$$

  est annulateur de $f$. Les racines de ce polynôme sont $1$ et $1+\mathrm{tr}(AB)$.
  Si $\mathrm{tr}(AB)\ne 0$ alors $f$ est diagonalisable car annulé par un polynôme scindé simple.
  Pour $M$ appartenant à l’hyperplan défini par la condition $\mathrm{tr}(AM)=0$, on a $f(M)=M$.
  Pour $M\in \mathrm{Vect}(B)\ne \{0\}$, on a $f(M)=(1+\mathrm{tr}(AB))M$.
  Ce qui précède détermine alors les sous-espaces propres de $f$.
  Si $\mathrm{tr}(AB)=0$ alors 1 est la seule valeur propre possible de $f$ et donc $f$ est diagonalisable si, et seulement si, $f=\mathrm{Id}$ ce qui donne la conditio

  $$\forall M\in {ℳ}_n(ℝ),\mathrm{tr}(AM)B={\mathrm{O}}_n\text{.}$$

  Cette propriété a lieu si, et seulement si, $A={\mathrm{O}}_n$ ou $B={\mathrm{O}}_n$.

• (b)

  Si $A={\mathrm{O}}_n$ ou $B={\mathrm{O}}_n$ alors $f=\mathrm{Id}$ et donc

  $$dimC=n^4\text{.}$$

  Si $\mathrm{tr}(AB)\ne 0$ alors $f$ est diagonalisable avec des sous-espaces propres de dimensions $1$ et $n^2-1$. On en déduit

  $$dimC=1+{(n^2-1)}^2\text{.}$$

  Il reste à étudier le cas complémentaire

  $$\mathrm{tr}(AB)=0\text{ et }A={\mathrm{O}}_n\text{ ou }B={\mathrm{O}}_n\text{.}$$

  Considérons une base de l’hyperplan de ${ℳ}_n(ℝ)$ donnée par l’équation $\mathrm{tr}(AM)=0$ dont le premier éléments serait $B$. Complétons celle-ci en une base de ${ℳ}_n(ℝ)$. La matrice de $f$ dans cette base est de la forme

  $$\left(\begin{array}{cccc}\hfill 1\hfill & \hfill \hfill & \hfill (0)\hfill & \hfill \lambda \hfill \\ \hfill \hfill & \hfill \mathrm{\ddots }\hfill & \hfill \hfill & \hfill \hfill \\ \hfill (0)\hfill & \hfill \hfill & \hfill 1\hfill & \hfill (0)\hfill \\ \hfill \hfill & \hfill \hfill & \hfill (0)\hfill & \hfill 1\hfill \end{array}\right)\text{ avec }\lambda \ne 0\text{.}$$

  En étudiant la commutation avec une telle matrice, on obtient

  $$dimC=n^4-2n^2+2\text{.}$$

On observe

Ainsi,

Si $\mathrm{tr}(A)\ne 0$ alors l’endomorphisme $f$ est diagonalisable car annule le polynôme $X^2-\mathrm{tr}(A)X$ qui est scindé à racines simples.
Si $\mathrm{tr}(A)=0$ alors les valeurs propres de $f$ figurent parmi les racines du polynôme $X^2$. Seule 0 peut donc être valeur propre de $f$ et par conséquent $f$ est diagonalisable si, et seulement si, $f=\tilde{0}$. Ceci correspond au cas $A={\mathrm{O}}_n$.
Déterminons maintenant les sous-espaces propres de $f$.
Le cas $A={\mathrm{O}}_n$ est immédiat. Supposons-le désormais exclu.
Si $\mathrm{tr}(M)=0$ alors

Pour $M$ matrice de l’hyperplan des matrices de trace nulle, $f(M)=\lambda M$ avec $\lambda =\mathrm{tr}(A)$. On en déduit que $\mathrm{tr}(A)$ est valeur propre de $M$ et le sous-espace propre associé est de dimension au moins $n^2-1$.
Dans le cas où $\mathrm{tr}(A)=0$, l’endomorphisme n’est pas diagonalisable et la dimension du sous-espace propre associé à la valeur propre $\mathrm{tr}(A)$ est exactement $n^2-1$.
Dans le cas où $\mathrm{tr}(A)\ne 0$, l’endomorphisme $f$ est diagonalisable et donc la dimension des sous-espaces propres des valeurs propres 0 et $\mathrm{tr}(A)$ sont respectivement $1$ et $n^2-1$.

Notons $\varphi$ l’endomorphisme de $ℒ(E)$ étudié.

On observe que ${\varphi }^3=\varphi$. Par annulation d’un polynôme scindé simple, on peut affirmer que $\varphi$ est diagonalisable de seules valeurs propres possibles $0$, $1$ et $-1$.

En introduisant une base adaptée à la projection $f$, la matrice de cet endomorphisme est

avec $1\le r<dimE$.

En notant

la matrice de $u$ dans cette base, on obtient

Les valeurs propres de $\varphi$ sont donc exactement $0$, $1$ et $-1$ et les sous-espaces propres associés viennent d’être décrits.

• (a)

  Soient $\lambda$ une valeur propre de $f$ et $v\in ℒ(E)$ un vecteur propre associé:

  $$f(v)=\lambda .v\mathit{\hspace{1em}}\text{et}\mathit{\hspace{1em}}v\ne 0\text{.}$$

  Puisque l’endomorphisme $v$ n’est pas nul, il existe $x\in E$ tel que $y=v(x)$ soit non nul et l’égalité $(u\circ v)(x)=\lambda .v(x)$ donne $u(y)=\lambda .y$. Ainsi, $\lambda$ est valeur propre de $u$.

• (b)

  Puisque $E_{\lambda }$ n’est pas réduit au vecteur nul, l’endomorphisme $v$ est non nul. Au surplus, pour tout $x\in E$, on a $v(x)\in E_{\lambda }(u)$ et donc $(u\circ v)(x)=\lambda .v(x)$. On en déduit $f(v)=\lambda .v$. Ainsi, $v$ est un vecteur propre de $f$.

  Par double inclusion, $u$ et $f$ ont les mêmes valeurs propres.

• (c)

  Supposons que $u$ soit diagonalisable. On sait

  $$dimE=\sum _{\lambda \in \mathrm{Sp}(u)}dim{E}_{\lambda }\text{.}$$

  L’égalité admise entraîne alors

  $$\sum _{\lambda \in \mathrm{Sp}(u)}dim{\mathrm{\Delta }}_{\lambda }={(dimE)}^2=dimℒ(E)\text{.}$$

  On conclut que $f$ est diagonalisable.

• (d)

  On vérifie par récurrence

  $$f^n(v)=u^n\circ v\mathit{\hspace{1em}}\text{pour tout }n\in \mathbb{N}\text{.}$$

  Par combinaison linéaire, on en déduit que pour tout polynôme réel $P$,

  $$P(f)(v)=P(u)\circ v\text{.}$$

  Si $P$ annule $u$, il annule évidemment $f$ et la réciproque est vraie, il suffit de prendre $v={\mathrm{Id}}_E$. Les endomorphismes $u$ et $f$ ont donc les mêmes polynômes annulateurs et a fortiori le même polynôme minimal.

  Un endomorphisme étant diagonalisable si, et seulement si, son polynôme minimal est scindé à racines simples: on peut assurer que la diagonalisabilité de $f$ équivaut à celle de $u$.

• (a)

  Soit $P$ un polynôme. $P(F)(u)=P(f)\circ u$ donc $P(f)=0\iff P(F)=0$. La diagonalisabilité étant équivalente à l’existence d’un polynôme scindé à racines simples, on peut conclure.

• (b)

  $f$ et $F$ ont le même polynôme minimal donc les mêmes valeurs propres.

• (c)

  Tout $u\in ℒ(E,E_{\lambda }(f))\subset ℒ(E)$ est élément de $E_{\lambda }(F)$ donc $dim{E}_{\lambda }(F)\ge dimE\times dim{E}_{\lambda }(f)$. Mais par diagonalisabilité $dimℒ(E))=\sum {}_{\lambda \in \mathrm{Sp}(F)}dimE{}_{\lambda }(F)\ge dimE\times \sum {}_{\lambda \in \mathrm{Sp}(f)}dimE{}_{\lambda }(f)=dimE{}^2=dimℒ(E)$ et donc on a les égalités $dim{E}_{\lambda }(F)=dimE\times dim{E}_{\lambda }(f)$ pour tout $\lambda \in \mathrm{Sp}(f)$.

• (a)

  On a

  $${\varphi }^3(f)=p^3\circ f\circ s^3=p\circ f\circ s=\varphi (f)\text{.}$$

  L’endomorphisme $\varphi$ annule le polynôme $X^3-X=X(X-1)(X+1)$.
  Ce polynôme étant scindé simple, l’endomorphisme $\varphi$ est diagonalisable.

• (b)

  Les valeurs propres possibles de $\varphi$ sont $\mathrm{0,1},-1$.
  En raisonnant dans une base adaptée à la décomposition $E=F\oplus G$, les matrices de $p$ et $s$ sont de la forme

  $$\left(\begin{array}{cc}\hfill {\mathrm{I}}_r\hfill & \hfill \mathrm{O}\hfill \\ \hfill \mathrm{O}\hfill & \hfill \mathrm{O}\hfill \end{array}\right)\text{ et }\left(\begin{array}{cc}\hfill {\mathrm{I}}_r\hfill & \hfill \mathrm{O}\hfill \\ \hfill \mathrm{O}\hfill & \hfill -{\mathrm{I}}_s\hfill \end{array}\right)$$

  avec $r=dimF$ et $s=dimG$. La matrice de $f$ sera dans une même décomposition par blocs de la forme

  $$\left(\begin{array}{cc}\hfill A\hfill & \hfill B\hfill \\ \hfill C\hfill & \hfill D\hfill \end{array}\right)$$

  et par calcul la matrice de $\varphi (f)$ sera

  $$\left(\begin{array}{cc}\hfill A\hfill & \hfill -B\hfill \\ \hfill \mathrm{O}\hfill & \hfill \mathrm{O}\hfill \end{array}\right)\text{.}$$

  Il est alors facile de résoudre les équations $\varphi (f)=\lambda f$ pour $\lambda =\mathrm{0,1},-1$.
  On obtient

  $$E_0(\varphi )=\{f\in ℒ(E)|\mathrm{Im}(f)\subset G\}\text{.}$$

  $$E_1(\varphi )=\{f\in ℒ(E)|G\subset \mathrm{Ker}(f)\text{ et }\mathrm{Im}(f)\subset F\}$$

  et

  $$E_{-1}(\varphi )=\{f\in ℒ(E)|F\subset \mathrm{Ker}(f)\text{ et }\mathrm{Im}(f)\subset G\}\text{.}$$