Jan Kromkamp voetbalde als kind met z’n vader, die boswachter was in de buurt van het Friese Lippenhuizen. Toen de familie Kromkamp verhuisde naar Apeldoorn kwam Jan al snel in beeld bij AGOVV, waarna hij toetrad tot de beroemde jeugdopleiding van Go Ahead Eagles. Na twee seizoenen aan de Vetkampstraat in Deventer tekende Kromkamp een contract bij AZ, waar hij vijf seizoenen basisspeler was in de verdediging van de Alkmaarders.
Na het succesjaar onder leiding van Co Adriaanse kon Kromkamp na enig touwtrekken een contract tekenen bij het Spaanse Villareal, waar hij nauwelijks aan spelen toekwam. Gelukkig toonde de kersverse Champions League winnaar Liverpool interesse, waardoor de overstap naar de Merseyside snel gemaakt was.