Commencez par lister les types de données financières que le système devra traiter dans votre contexte d'usage réel. Ne vous limitez pas aux cas simples. Incluez délibérément des données complexes, ambiguës ou atypiques qui représentent les situations difficiles que vous rencontrerez en production. Cette liste de catégories devient le cadre de constitution du jeu de données et doit être documentée avant de commencer la collecte des données effectives.

Un jeu de données homogène favorise artificiellement les systèmes optimisés pour ce type de données. Diversifiez les sources pour couvrir la variété réelle des données que vous utiliserez. Documentez précisément l'origine de chaque segment du jeu de données. Cette documentation est indispensable pour permettre à d'autres évaluateurs de reproduire ou de vérifier vos tests ultérieurement. Les données issues d'une seule source créent un biais de sélection difficile à détecter a posteriori.

Pour chaque élément du jeu de données, définissez la réponse attendue indépendamment du système testé. Cette étape est chronophage mais incontournable. Les réponses de référence doivent être produites par des experts indépendants des fournisseurs évalués. Documentez les cas où plusieurs réponses correctes sont possibles et définissez des critères d'acceptabilité clairs pour ces cas ambigus. L'absence de réponses de référence claires rend toute mesure de précision impossible à défendre.

Avant d'utiliser le jeu de données pour les tests, vérifiez que sa composition reflète réellement la distribution des données rencontrées en usage réel. Faites valider cette représentativité par des experts du domaine indépendants de l'équipe qui a constitué le jeu de données. Documentez les biais de composition identifiés lors de cette validation, même ceux que vous ne pouvez pas corriger. Cette transparence sur les limites du jeu de données est essentielle pour que les résultats soient correctement interprétés par les lecteurs du rapport.

Assignez un identifiant de version clair au jeu de données final et archivez-le dans un état immuable avant de lancer les tests. Toute modification ultérieure du jeu de données doit produire une nouvelle version avec un identifiant distinct. Cette pratique permet de reproduire exactement les tests ultérieurement et de comparer des résultats obtenus à des moments différents. Sans versionnage, il est impossible de déterminer si des différences de résultats entre deux sessions de test sont dues au système évalué ou à des modifications du jeu de données.