Prueba con virtual Dub, no te aseguro que se pueda, no he partido precisamente ese tipo de formato.. pero teniendo los codecs instalados deberias poder con cualquiera... buscalo por google que es gratuito, o bajalo de aqui que viene con un pack que subi con el reproductor para PSP, hay un link con los codecs tambien.
Suerte.
¿Como ver DivX en la PSP? Ayuda sobre programa