On a

$$\mathrm{\Omega }{\mathrm{\Omega }}^{\top }={\left(A^{-1}\right)}^{\top }A{A}^{\top }{A}^{-1}\text{.}$$

Or $A$ et $A^{\top }$ commutent donc

$$\mathrm{\Omega }{\mathrm{\Omega }}^{\top }={\left(A^{-1}\right)}^{\top }{A}^{\top }A{A}^{-1}={\mathrm{I}}_n\text{.}$$

• (a)

  Puisque $A$ et $A^{\top }$ commutent, on a ${(A^{\top }A)}^p={(A^{\top })}^p{A}^p=0$ et donc $A^{\top }A$ est nilpotente.
  D’autre part, la matrice $A^{\top }A$ est symétrique réelle donc diagonalisable. Étant nilpotente, sa seule valeur propre possible est 0 et donc $A^{\top }A$ est nulle car semblable à la matrice nulle.

• (b)

  En exploitant le produit scalaire canonique sur ${ℳ}_n(ℝ)$ on a

  $${\parallel A\parallel }^2=(AA\mid =)\mathrm{tr}\left(A^{\top }A\right)=0$$

  et donc $A=0$

Soit $A={\mathrm{I}}_n+N\in {ℳ}_n(ℝ)$ une matrice unipotente orthogonale. L’égalité $A^{\top }A={\mathrm{I}}_n$ donne $N^{\top }N+N^{\top }+N={\mathrm{O}}_n$. Aussi, l’égalité $A{A}^{\top }={\mathrm{I}}_n$ donne $N{N}^{\top }+N^{\top }+N={\mathrm{O}}_n$. On en déduit que les matrices $N$ et $N^{\top }$ commutent. Puisque $N$ est nilpotente, on peut affirmer par commutation que $N^{\top }N$ est aussi nilpotente. Or cette matrice est symétrique réelle et donc diagonalisable, c’est alors la matrice nulle. En particulier, ${\parallel N\parallel }_2^2=\mathrm{tr}\left(N^{\top }N\right)=0$ ce qui donne $N={\mathrm{O}}_n$. Finalement, $A={\mathrm{I}}_n$. La réciproque est entendue.

Soit $M$ solution, $M$ est diagonalisable sur $ℂ$ avec pour valeurs propres $j$ et $j^2$.
Puisque $\mathrm{tr}(M)$ est réel, les valeurs propres $j$ et $j^2$ ont même multiplicité. Par suite, $n$ est pair, $n=2p$.
Nous allons montrer, en raisonnant par récurrence sur $p$ qu’il existe une matrice orthogonale $P$ tel que

$$PM{P}^{-1}=\left(\begin{array}{ccc}\hfill J\hfill & \hfill \hfill & \hfill (0)\hfill \\ \hfill \hfill & \hfill \mathrm{\ddots }\hfill & \hfill \hfill \\ \hfill (0)\hfill & \hfill \hfill & \hfill J\hfill \end{array}\right)$$

avec

$$J=R_{2\pi /3}=\left(\begin{array}{cc}\hfill -1/2\hfill & \hfill -\sqrt{3}/2\hfill \\ \hfill \sqrt{3}/2\hfill & \hfill -1/2\hfill \end{array}\right)\mathit{\hspace{1em}}\text{ou}\mathit{\hspace{1em}}J=R_{-2\pi /3}\text{.}$$

Pour $n=2$: $M=\left(\begin{array}{cc}\hfill a\hfill & \hfill b\hfill \\ \hfill c\hfill & \hfill d\hfill \end{array}\right)$.

$$M^{\top }M=M{M}^{\top }\iff \{\begin{array}{ccccccccccccccccccccc}\hfill ab+cd& =ac+db\hfill & & & & & & & & & & & & & & & & & & & \\ \hfill b^2& =c^2\text{.}\hfill & & & & & & & & & & & & & & & & & & & \end{array}$$

Si $b=c$ alors $M$ est symétrique donc diagonalisable sur $ℝ$ ce qui n’est pas le cas.
Il reste $b=-c$ et donc $a=d$.
Ainsi $M=\left(\begin{array}{cc}\hfill a\hfill & \hfill b\hfill \\ \hfill -b\hfill & \hfill a\hfill \end{array}\right)$ et la relation $M^2+M+I=0$ donne

$$\{\begin{array}{ccccccccccccccccccccc}\hfill a^2-b^2+a+1& =0\hfill & & & & & & & & & & & & & & & & & & & \\ \hfill 2ab+b& =0\hfill & & & & & & & & & & & & & & & & & & & \end{array}$$

puis

$$\{\begin{array}{ccccccccccccccccccccc}\hfill a& =-1/2\hfill & & & & & & & & & & & & & & & & & & & \\ \hfill b& =\pm \sqrt{3}/2\hfill & & & & & & & & & & & & & & & & & & & \end{array}$$

ce qui permet de conclure (car le cas $b=0$ est à exclure).
Supposons la propriété établie au rang $n=2p$ et étudions le rang $n=2p+2$.
Soit $M$ une matrice solution.
La matrice $S=M^{\top }+M$ est symétrique et donc il existe $X\ne 0$ tel que $SX=\lambda X$.
On observe alors que l’espace $F=\mathrm{Vect}(X,MX)$ est stable par $M$ et par $M^{\top }$. Par suite, $F^{\perp }$ est aussi stable par $M$ et $M^{\top }$. On peut alors appliquer l’étude menée pour $n=2$ à l’action de $M$ sur $F$ et l’hypothèse de récurrence à celle sur $F^{\perp }$.
Cela établit la récurrence. Il ne reste plus qu’à souligner que les matrices ainsi obtenues sont bien solutions.