Paraku rikkus elu kõik tema plaanid: vangivõetu perekond keeldus küsitud summat maksmast ja algasid läbirääkimised, mis kestsid koguni 12 aastat. Kõik need aastad pidi de Bueil kohtlema pantvangi tema kõrge staatusega vastavuses, mis polnud sugugi odav lõbu. Kokkuvõttes juhtus nii, et rikastumise asemel leidis de Bueil end viimaks laostumise äärelt ja oli sunnitud pöörduma kuninga poole, et too pantvangi tagasi võtaks ja ülalpidamiskulud kinni maksaks.