Con la versión de MuseScore 3.
1. Ve a "Formato / Estilo / Tamaños".
2. En "Tamaño de las notas pequeñas" pon el valor que quieras, por ejemplo 150% y pulsa "Aceptar".
3. Selecciona las notas que quieras cambiar de tamaño.
4. Pulsa F8 para abrir el Inspector.
5. Activa en la subcategoría "Notas" la opción "pequeña".
Saludos