Si $u$ est une homothétie, c’est-à-dire un endomorphisme de la forme $\lambda .{\mathrm{Id}}_E$, l’endomorphisme $u$ avec tout endomorphisme de $E$ et en particulier avec les isométries.

Inversement, soit $u$ un endomorphisme commutant avec toutes les isométries de $E$. Notons $A$ la matrice de $u$ dans une base orthonormale $e=(e_1,\mathrm{\dots },e_n)$. La matrice $A$ commute avec toute matrice orthogonale. En particulier, pour $i=1,\mathrm{\dots },n$, la matrice $A$ commute avec la matrice

Par le produit $D_{i}A$, la $i$-ème ligne de $A$ est transformée en son opposé. Par le produit $A{D}_i$, c’est la $i$-ème colonne de $A$ qui est transformée en son opposé. Les matrices $A{D}_i$ et $D_{i}A$ étant égales, les coefficients de la $i$-ème ligne et de la $i$-ème colonne sont assurément nuls à l’exception du coefficient diagonal. La matrice $A$ est donc diagonale.

De plus, pour $1\le i<j\le n$, la matrice

est orthogonale et l’égalité $A{\mathrm{\Omega }}_{i,j}={\mathrm{\Omega }}_{i,j}A$ assure que les coefficients diagonaux d’indices $i$ et $j$ de $A$ sont égaux. Finalement, la matrice $A$ est une matrice scalaire et l’endomorphisme $u$ figuré par $A$ est une homothétie.

• (a)

  On reconnaît le produit scalaire canonique sur ${ℳ}_n(ℝ)$.

• (b)

  Posons $f:M\mapsto \mathrm{\Omega }M$. $(f(M)\mid f(N))=\mathrm{tr}(M^{\top }{\mathrm{\Omega }}^{\top }\mathrm{\Omega }N)$.
  $f$ est $\phi$-orthogonale si, et seulement si, pour tout $M,N\in ℳ$, $(M\mid {\mathrm{\Omega }}^{\top }\mathrm{\Omega }N)=(M\mid N)$ c’est-à-dire pour tout $N\in ℳ$, ${\mathrm{\Omega }}^{\top }\mathrm{\Omega }N=N$ c’est-à-dire ${\mathrm{\Omega }}^{\top }\mathrm{\Omega }={\mathrm{I}}_n$.
  Ainsi $f$ est $\phi$-orthogonale si, et seulement si, $\mathrm{\Omega }$ l’est.

• (a)

  L’application linéaire $\phi$ est injective et par conséquent conserve la dimension. Par inclusion et égalité des dimensions, $\phi (F)=G$.

  Pour $x\in F$, $f_{\phi }(x)=\phi (x)\in G$ et donc $f_{\phi }\left(f_{\phi }(x)\right)={\phi }^{-1}\left(\phi (x)\right)=x$. Pour $x\in G$, le calcul est semblable. Par égalité d’applications linéaires sur des espaces supplémentaires, $f_{\phi }\circ f_{\phi }={\mathrm{Id}}_E$.

  On a vu au-dessus $f_{\phi }(F)\subset G$ et cette inclusion se transforme en égalité par les dimensions car $f_{\phi }$ est une application linéaire injective. On acquiert de même $f_{\phi }(G)=F$.

• (b)

  Vérifions que $f_{\phi }$ conserve la norme. Soit $x\in E$ que l’on écrit $x=a+b$ avec $a\in F$ et $b\in G$. On a

  	${\parallel f_{\phi }(x)\parallel }^2$	$=\parallel \phi (a)+{\phi }^{-1}(b)\parallel$
  		$={\parallel \phi (a)\parallel }^2+2⟨\phi (a),{\phi }^{-1}(b)⟩+{\parallel {\phi }^{-1}(b)\parallel }^2\text{.}$

  La conversation du produit scalaire par $\phi$ et la propriété supposée entraîne

  $${\parallel f_{\phi }(x)\parallel }^2={\parallel a\parallel }^2+2⟨a,b⟩+{\parallel b\parallel }^2={\parallel x\parallel }^2\text{.}$$

  On en déduit que $f_{\phi }$ est un automorphisme orthogonal.

• (c)

  Si $f_{\phi }$ est un automorphisme orthogonal, il conserve le produit scalaire et donc

  $$⟨f_{\phi }(x),f_{\phi }(y)⟩=⟨x,y⟩\mathit{\hspace{1em}}\text{pour tous }x,y\in E\text{.}$$

  En particulier, pour $x=u$ et $y={\phi }^{-1}(u^{\prime })$ on obtient la relation voulue.

• (a)

  Soient $y\in M(\phi )$ et $x\in F(\phi )$.
  $\phi (x)=x$ et il existe $a\in E$ tel que $y=\phi (a)-a$.
  On a alors

  $$⟨x,y⟩=⟨x,\phi (a)⟩-⟨x,a⟩=⟨\phi (x),\phi (a)⟩-⟨x,a⟩=0$$

  car $\phi \in \mathrm{O}(E)$.
  Ainsi, $M(\phi )$ et $F(\phi )$ sont orthogonaux et par la formule du rang

  $$dimM(\phi )+dimF(\phi )=dimE$$

  donne

  $$M(\phi ){\oplus }^{\perp }F(\phi )=E\text{.}$$

• (b)

  Par récurrence sur $k\ge 1$.

  Pour $k=1$: la propriété est immédiate.

  Supposons la propriété vraie au rang $k\ge 1$.

  Soient $(u_1,\mathrm{\dots },u_{k+1})$ une famille libre et $\phi =s_{u_1}\circ \mathrm{\cdots }\circ s_{u_{k+1}}\in \mathrm{O}(E)$. Étudions $F(\phi )$.

  Soit $x\in F(\phi )$. La relation $\phi (x)=x$ donne

  $$s_{u_2}\circ \mathrm{\cdots }\circ s_{u_{k+1}}(x)=s_{u_1}(x)$$

  puis

  $$s_{u_2}\circ \mathrm{\cdots }\circ s_{u_{k+1}}(x)-x=s_{u_1}(x)-x\text{.}$$

  Or $s_{u_1}(x)-x\in \mathrm{Vect}(u_1)$ et par hypothèse de récurrence $s_{u_2}\circ \mathrm{\cdots }\circ s_{u_{k+1}}(x)-x\in \mathrm{Vect}(u_2,\mathrm{\dots },u_{k+1})$.

  Puisque la famille $(u_1,\mathrm{\dots },u_{k+1})$ est libre, on obtient

  $$s_{u_2}\circ \mathrm{\cdots }\circ s_{u_{k+1}}(x)-x=s_{u_1}(x)-x=0\text{.}$$

  Ainsi, $x$ est point fixe de $s_{u_2}\circ \mathrm{\cdots }\circ s_{u_{k+1}}$ et de $s_{u_1}$ et donc

  $$x\in \mathrm{Vect}{(u_2,\mathrm{\dots },u_{k+1})}^{\perp }\cap \mathrm{Vect}{(u_1)}^{\perp }=\mathrm{Vect}{(u_1,\mathrm{\dots },u_{k+1})}^{\perp }\text{.}$$

  Par suite,

  $$F(\phi )\subset \mathrm{Vect}{(u_1,\mathrm{\dots },u_{k+1})}^{\perp }\text{.}$$

  L’autre inclusion étant immédiate, on obtient

  $$F(\phi )=\mathrm{Vect}{(u_1,\mathrm{\dots },u_{k+1})}^{\perp }$$

  puis

  $$M(\phi )=\mathrm{Vect}(u_1,\mathrm{\dots },u_{k+1})\text{.}$$

  Récurrence établie.

• (c)

  Posons

  $$\phi =s_{u_1}\circ \mathrm{\cdots }\circ s_{u_k}=s_{v_1}\circ \mathrm{\cdots }\circ s_{v_k}\text{.}$$

  Par l’étude qui précède

  $$F(\phi )=\mathrm{Vect}{(u_1,\mathrm{\dots },u_k)}^{\perp }\text{.}$$

  De façon immédiate

  $$\mathrm{Vect}{(v_1,\mathrm{\dots },v_k)}^{\perp }\subset F(\phi )\text{.}$$

  En passant à l’orthogonal

  $$\mathrm{Vect}(u_1,\mathrm{\dots },u_k)\subset \mathrm{Vect}(v_1,\mathrm{\dots },v_k)\text{.}$$

  Puisque la famille $(u_1,\mathrm{\dots },u_k)$ est supposé libre, un argument de dimension permet d’affirmer que la famille $(v_1,\mathrm{\dots },v_k)$ l’est aussi.

• (a)

  Soient $u,v\in \mathrm{\Gamma }$ et $\lambda \in [0;1]$. Pour tout $x\in E$,

  $$\parallel (\lambda u+(1-\lambda )v(x)\parallel \le \lambda \parallel u(x)\parallel +(1-\lambda )\parallel v(x)\parallel \le \parallel x\parallel$$

  donc $\lambda u+(1-\lambda )v\in \mathrm{\Gamma }$.
  Pour $u\in \mathrm{O}(E)$, on a

  $$\forall x\in E,\parallel u(x)\parallel =\parallel x\parallel \le \parallel x\parallel$$

  et donc $u\in \mathrm{\Gamma }$.

• (b)

  Puisque $f\ne g$, il existe un vecteur $x$ vérifiant $f(x)\ne g(x)$.
  Si $\parallel f(x)\parallel <\parallel x\parallel$ ou $\parallel g(x)\parallel <\parallel x\parallel$ alors

  $$\parallel u(x)\parallel =\frac{1}{2}\parallel f(x)+g(x)\parallel \le \frac{\parallel f(x)\parallel +\parallel g(x)\parallel }{2}<\parallel x\parallel$$

  et donc $u\notin \mathrm{O}(E)$.
  Si $\parallel f(x)\parallel =\parallel x\parallel$ et $\parallel g(x)\parallel =\parallel x\parallel$ alors la condition $f(x)\ne g(x)$ entraîne

  $$\parallel f(x)+g(x)\parallel <\parallel f(x)\parallel +\parallel g(x)\parallel$$

  car il y a égalité dans l’inégalité triangulaire euclidienne si, et seulement si, les vecteurs sont positivement liés.
  On en déduit que dans ce cas aussi $\parallel u(x)\parallel <\parallel x\parallel$ et donc $u\notin \mathrm{O}(E)$.

• (c)

  Soit $M$ la matrice de $v$ dans une base orthonormale $e$ de $E$. La matrice $M^{\top }M$ est symétrique à valeurs propres strictement positives donc orthogonalement semblable à une matrice diagonale $D$ de coefficients diagonaux strictement positifs. On peut alors former une matrice symétrique $S$ de valeurs propres strictement positives telles que $S^2=M^{\top }M$. Considérons $s$ l’endomorphisme figuré par $S$ dans la base $e$ et $\rho =v\circ s^{-1}$. Matriciellement, on vérifie $\rho \in \mathrm{O}(E)$ et $v=\rho \circ s$ est l’écriture voulue.

• (d)

  Soit $u\in \mathrm{\Gamma }\setminus \mathrm{O}(E)$. On peut écrire $u=\rho \circ s$ avec $\rho \in \mathrm{O}(E)$ et $s$ endomorphisme symétrique de valeurs propres positives. Puisque

  $$\forall x\in E,\parallel u(x)\parallel =\parallel s(x)\parallel$$

  on a $s\in \mathrm{\Gamma }$ et donc les valeurs propres de $s$ sont éléments de $[0;1]$. Dans une base orthonormée de diagonalisation, la matrice de $s$ est de la forme

  $$\left(\begin{array}{ccc}\hfill {\lambda }_1\hfill & \hfill \hfill & \hfill (0)\hfill \\ \hfill \hfill & \hfill \mathrm{\ddots }\hfill & \hfill \hfill \\ \hfill (0)\hfill & \hfill \hfill & \hfill {\lambda }_n\hfill \end{array}\right)\text{ avec }{\lambda }_1,\mathrm{\dots },{\lambda }_n\in [0;1]\text{.}$$

  Si les ${\lambda }_i$ sont tous égaux à 1 alors $s={\mathrm{Id}}_E$ et $u=\rho \in \mathrm{O}(E)$ ce qui est exclu. Il y a donc au moins un ${\lambda }_i$ différent de 1. Considérons alors l’endomorphisme $t$ dont la matrice dans la base orthonormée précédente est

  $$\left(\begin{array}{ccc}\hfill 2{\lambda }_1-1\hfill & \hfill \hfill & \hfill (0)\hfill \\ \hfill \hfill & \hfill \mathrm{\ddots }\hfill & \hfill \hfill \\ \hfill (0)\hfill & \hfill \hfill & \hfill 2{\lambda }_n-1\hfill \end{array}\right)\text{.}$$

  On peut écrire

  $$s=\frac{1}{2}({\mathrm{Id}}_E+t)$$

  avec ${\mathrm{Id}}_E\in \mathrm{\Gamma }$, ${\mathrm{Id}}_E\ne t$ et $t\in \mathrm{\Gamma }$ car les coefficients diagonaux précédents sont inférieurs à $1$ en valeur absolue.
  On en déduit

  $$u=\frac{1}{2}(\rho +\rho \circ t)$$

  avec $\rho ,\rho \circ t\in \mathrm{\Gamma }$ et $\rho \ne \rho \circ t$.

• (e)

  Soit $v\in ℒ(E)$. Pour $k>0$ assez grand

  $$v_k=v+\frac{1}{k}{\mathrm{Id}}_E\in GL(E)$$

  car $v$ ne possède qu’un nombre fini de valeurs propres.

  On peut alors écrire

  $$v_k={\rho }_k\circ s_k\text{ avec }{\rho }_k\in \mathrm{O}(E)\text{ et }{s}_k\in {𝒮}^{+}(E)\text{.}$$

  Puisque $\mathrm{O}(E)$ est compact, il existe une suite extraite $({\rho }_{\phi (k)})$ qui converge ${\rho }_{\mathrm{\infty }}\in \mathrm{O}(E)$. On a alors

  $$s_{\phi (k)}={\rho }_{\phi (k)}^{-1}\circ v_{\phi (k)}\underset{k\to +\mathrm{\infty }}{\overset{}{\to }}{\rho }_{\mathrm{\infty }}^{-1}\circ v\text{.}$$

  En posant $s_{\mathrm{\infty }}={\rho }_{\mathrm{\infty }}^{-1}\circ v$, on a $s_{\mathrm{\infty }}\in {𝒮}^{+}(E)$ car ${𝒮}^{+}(E)$ est fermé et donc $v={\rho }_{\mathrm{\infty }}\circ s_{\mathrm{\infty }}$ donne l’écriture voulue.