En el siguiente código de ejemplo se ve cómo se hace esto. 

Utilizaremos el icono que viene por defecto en la aplicación.

package desarrolladores.android.com.icono.titulo;

import android.app.Activity;
import android.os.Bundle;
import android.view.Window;

public class IconoEnTitulo extends Activity {
    @Override
    public void onCreate(Bundle icicle) {
        super.onCreate(icicle);
        Window w = getWindow();
        w.requestFeature(Window.FEATURE_LEFT_ICON);
        setContentView(R.layout.main);
        w.setFeatureDrawableResource(Window.FEATURE_LEFT_ICON, R.drawable.icon);
    }
} 

Como vemos en el código marcado en negrita, lo que hacemos es decirle a la ventana que vamos a añadirle un icono a la izquierda del título (Window.FEATURE_LEFT_ICON). También podemos utilizar Window.FEATURE_RIGHT_ICON si lo que queremos es que aparezca a la derecha del título.

Una vez le asignemos el Layout, le decimos a la ventana el icono que queremos que tenga mediante setFeatureDrawableResource y el identificador (id) de la imagen Drawable que tenemos en el /res/drawable. 

También podemos utilizar:

setFeatureDrawable(int featureId, Drawable drawable)  

Al que le pasamos directamente un objeto Drawable.

setFeatureDrawableUri(int featureId, ContentURI uri) 

Al que le pasamos un objeto ContentURI con la referencia al icono.

Si tienes alguna duda sobre Android o sobre algún tutorial, entra en Dudas y preguntas y publícala. 

Intentaré resolverla en la medida de lo posible. También se aceptan sugerencias y correcciones.