Empecemos por la pregunta importante: ¿Por que desconcilias / cancelas el pago, para luego volver a crear otro pago? (por saber que tratas de hacer por encontrar la respuesta idonea.
Segundo, los pagos recuerda que suelen estar en el diario de caja o en el banco, no en el de las facturas, no sea que hayas configurado el diario equivocado. Además, creo que la propia programación de odoo impide borrar pagos, necesitas un módulo que deshabilite ese comportamiento, pero no es lo correcto, pues si has registrado un pago es que has recibido dinero, lo correcto es emitir otro pago, en este caso saliente, en lugar de borrar el pago (cobro) original.
Y para terminar, ten en cuenta que en odoo, la factura es un asiento contable independiente, el pago (la entrada de fondos a tu cuenta) es OTRO asiento independiente. La factura se marca como pagada cuando se concilian ambos asientos (ténicamente son los apuntes los que se concilian, pero para entendernos vale). Si rompes la conciliación ambos apuntes siguen existiendo y el pago sigue reflejado en tu contabilidad, únicamente que no está asociado a ninguna factura.
Así que lo primero que tienes que hacer es ver por que estás cancelando pagos, pues suele ser correcto. Si ha entrado dinero a tu cuenta, entonces el pago es válido y en tu contabilidad debe permanecer, tienes que crear otro pago en el sentido contrario para "anularlo".
Si estás cancelando el pago por que en realidad nuca recibiste el dinero, no deberías haber creado el pago en primer lugar.
Y si lo que pasa es que el cliente ha devuelto un artículo, deberías crear una factura rectificativa, y registrar el pago de la misma (en este caso eres tu el que paga al cliente). Ten en cuenta que las facturas rectificativas y las normales pueden conciliarse entre si, para compensar saldos.