Límites y continuidad

Llamemos $N(x)$ y $D(x)$ al numerador y al denominador.

Paso 1: la indeterminación.$$N(0) = 0\cdot 0 + a(1 - 1) + 0 = 0, \qquad D(0) = 0 + 0 - 0 = 0$$Es $\frac{0}{0}$ para cualesquiera $a$ y $b$: la indeterminación no aporta ninguna ecuación, hay que ir más allá.

Paso 2: primera derivación (L'Hôpital).$$N'(x) = \operatorname{sen}(x) + x\cos(x) + a\,e^{x} + \cos(x)$$$$D'(x) = 2bx + 1 - \cos(x)$$Evaluando en $x = 0$:$$N'(0) = 0 + 0 + a + 1 = a + 1, \qquad D'(0) = 0 + 1 - 1 = 0$$Paso 3: condición sobre $a$. El denominador vuelve a anularse. Si $N'(0) = a+1 \neq 0$, el cociente $\frac{N'(x)}{D'(x)}$ tendría límite infinito y el límite original no podría valer $1$. Por tanto$$a + 1 = 0 \;\Longrightarrow\; a = -1$$Paso 4: segunda derivación. Con $a = -1$ seguimos en $\frac{0}{0}$, así que derivamos de nuevo:$$N''(x) = \cos(x) + \bigl(\cos(x) - x\operatorname{sen}(x)\bigr) + a\,e^{x} - \operatorname{sen}(x) = 2\cos(x) - x\operatorname{sen}(x) - \operatorname{sen}(x) + a\,e^{x}$$$$N''(0) = 2 - 0 - 0 + a = 2 + a = 2 - 1 = 1$$$$D''(x) = 2b + \operatorname{sen}(x) \;\Longrightarrow\; D''(0) = 2b$$Paso 5: condición sobre $b$. Para que el límite sea finito y valga $1$ hace falta $2b \neq 0$ y$$\lim_{x\to 0}\frac{N''(x)}{D''(x)} = \frac{1}{2b} = 1 \;\Longrightarrow\; b = \frac{1}{2}$$Comprobación con desarrollos de Taylor. Con $\operatorname{sen}(x) = x - \frac{x^{3}}{6}+\cdots$ y $e^{x} = 1 + x + \frac{x^{2}}{2}+\cdots$:$$N(x) = x^{2} + a\left(x + \frac{x^{2}}{2}\right) + x + \cdots = (a+1)\,x + \left(1 + \frac{a}{2}\right)x^{2} + \cdots$$$$D(x) = b\,x^{2} + \frac{x^{3}}{6} + \cdots$$El denominador es de orden $2$ (si $b\neq 0$), luego el término en $x$ del numerador debe anularse: $a = -1$. Entonces el numerador vale $\left(1 - \frac{1}{2}\right)x^{2} = \frac{x^{2}}{2}$ y$$\lim_{x\to 0}\frac{\tfrac{1}{2}x^{2}}{b\,x^{2}} = \frac{1}{2b} = 1 \;\Longrightarrow\; b = \frac{1}{2}$$(Si fuese $b = 0$, el denominador pasaría a ser de orden $3$ y haría falta $a=-1$ y $a=-2$ a la vez: imposible. Queda descartado.)