Determinantes

a) Desarrollamos por la primera fila:$$|M| = 1\cdot(a - 0) - 1\cdot(a^2 - 0) + 2\cdot(a - 1) = a - a^2 + 2a - 2 = -a^2 + 3a - 2 = -(a - 1)(a - 2)$$$$|M| = 0 \iff a = 1 \ \text{o}\ a = 2$$Caso $a \neq 1$ y $a \neq 2$. $|M| \neq 0$, luego $\operatorname{rg}(M) = 3$.

Caso $a = 1$. $M = \begin{pmatrix} 1 & 1 & 2 \\ 1 & 1 & 0 \\ 1 & 1 & 1 \end{pmatrix}$, con $|M| = 0$ y el menor de las filas 1 y 2 con las columnas 2 y 3:$$\begin{vmatrix} 1 & 2 \\ 1 & 0 \end{vmatrix} = -2 \neq 0 \;\Longrightarrow\; \operatorname{rg}(M) = 2$$Caso $a = 2$. $M = \begin{pmatrix} 1 & 1 & 2 \\ 2 & 1 & 0 \\ 1 & 1 & 2 \end{pmatrix}$ (la tercera fila repite la primera), con $|M| = 0$ y$$\begin{vmatrix} 1 & 1 \\ 2 & 1 \end{vmatrix} = -1 \neq 0 \;\Longrightarrow\; \operatorname{rg}(M) = 2$$b) Para $a = 0$, por el apartado a), $|M| = -(0 - 1)(0 - 2) = -2$. Tomamos determinantes en $2PM = M^3$:$$|2PM| = |M^3| \;\Longrightarrow\; |2P|\,|M| = |M|^3 \;\Longrightarrow\; 2^3|P|\,|M| = |M|^3$$porque $P$ es de orden 3 (para que el producto $PM$ dé una matriz $3\times 3$) y al multiplicar una matriz de orden 3 por 2 se multiplican por 2 sus tres filas. Como $|M| = -2 \neq 0$, podemos dividir:$$8|P| = |M|^2 = (-2)^2 = 4 \;\Longrightarrow\; |P| = \frac{4}{8} = \frac{1}{2}$$Comprobación. Como $M$ es invertible, de $2PM = M^3$ sale $P = \frac{1}{2}M^2$, y entonces $|P| = \frac{1}{2^3}|M|^2 = \frac{4}{8} = \frac{1}{2}$ ✓.