Mittarien luotettavuus riippuu hyvin paljon kysymysten laadinnasta. Jos kysymykset laaditaan "tarkoitushakuisesti", tulokseksi saadaan se, mitä etukäteen haluttiin.almi kirjoitti:Mutta mahtaisivatko ne olla kovin luotettavia?
Älykkyystestien ongelmana on myös se, että testit ovat hieman "kulttuurisidonnaisia". Siis kysymykset sinänsä eivät sovi sellaisinaan esitettäväksi esim. Suomen kaltaisessa avoimessa yhteiskunnassa ja Saudi-Arabiassa, jossa naisen arvo on pienempi kuin kamelin. Myöskään samoilla kysymyksillä ei saada luotettavaa tulosta, jos kysely tehdään rikkaassa Belgiassa, tuossa EU:n napamaassa ja vaikkapa Keski-Afrikan tasavallassa, jossa lukutaitoprosenttikin on hieman alhaisempi. Lukutaito tai taidon puutehan ei sinänsä vielä kerro mitään totuutta, mutta lukutaidon avulla tottakai älykkyystestiin voi helpommin vastata.
Älykkyystestien ongelmana on myös usein se, että ne mittaavat usein ns. matemaattista älykkyyttä. Kuitenkin kielellisen älykkyyden mittaaminen olisi yhtä tärkeää. Suomen kouluissa on huomattu se, että pojat menestyvät usein paremmin matemaattisissa aineissa kuin tytöt. Tytöt sen sijaan voittavat pojat kielten opiskelussa mennen tullen. Tuo ero saattaa johtua sukupuolten erilaisista piirteistä, tai vain muuten kasvatuksellisista metodeista. Mene ja tiedä. En mene enkä tiedä.