Dit is een methode om te bepalen of een construct valide is geoperationaliseerd. De methode komt er op neer dat men grondig en met gezond verstand beschouwt of de gestelde vragen en overige metingen een valide meting van het construct kunnen opleveren.
Deze wordt gebruikt als maat voor betrouwbaarheid, niet als er sprake is van één vraag maar van een batterij vragen. Er wordt niet gekeken naar de overeenstemming tussen twee zo vergelijkbaar mogelijke helften, maar er wordt een gemiddelde overeenstemming uitgerekend tussen alle mogelijke manieren waarop men de items in tweeën kan delen; parallelle en nietparallelle.
Als de variabele waar we naar kijken een categorische variabele is, kijken we naar de proportie (%) overeenstemming. Dit is het totaal aantal beoordelingen en de proportie van overeenstemming; Σfdiagonaal / N. Waarbij de fdiagonaal voor iedere categorie het aantal door beoordelaar 1 en beoordelaar 2 identiek ingedeelde respondenten is, en N het totaal aantal respondenten. Nadeel van deze maat is dat grote afwijkingen even zwaar worden aangerekend als kleine afwijkingen. Daarbij houdt de maat er geen rekening mee dat als 2 beoordelaars op grond van toeval respondenten hadden geclassificeerd, er ook voor een deel overeenstemming was geweest. Een maat die daarvoor corrigeert is de;
Als er twee beoordelaars zijn, en de variabele die zij allebei gescoord hebben minimaal interval niveau is, dan is de mate van overeenstemming eenvoudig uit te drukken in de gewone Pearson-product-moment-correlatiecoëfficiënt. Deze correlatie coëfficiënt heeft als voordeel dat het een inzichtelijke veel gebruikte maat is. Voordeel is dat kleine afwijkingen minder zwaar worden aangerekend als grote afwijkingen.
