Bom dia Tiago,
Trabalhei com os módulos da Toradex há alguns anos e posso dizer que atendem bem aos requisitos que você precisa.
Eles prestam um bom serviço também, mas claro, não vão resolver tudo, então você terá que resolver a maior parte dos problemas ou pagar alguém pra fazer por você.
Embora você possa em teoria usar um processador com microcontrolador interno, sugiro usar um microcontrolador externo como você está pensando em fazer mesmo por questão de flexibilidade. Se você for usar FreeRTOS, NuttX ou Zephyr no microcontrolador externo, poderá usar o RPMSG VirtIO para fazer IPC entre o Linux e este microcontrolador via SPI, UART ou I2C.
Troca uma ideia com o Matheus Castello, ele trabalha na Toradex e talvez possa ajudar neste desafio.
Att.,
Alan