Prima di qualsiasi tipo di lavoro per la realizzazione del film, il produttore Martin Bregman pranzò con Peter Maas per discutere di un possibile adattamento cinematografico della biografia di Frank Serpico. La prima sceneggiatura scritta da Waldo Salt venne però scartata dal regista Sidney Lumet, che la ritenne troppo lunga. La sceneggiatura venne poi ricontrollata da un secondo sceneggiatore, ovvero Norman Wexler, che riuscì a tagliare alcune parti superficiali della sceneggiatura del collega. Inizialmente il regista designato per la regia fu John G. Avildsen, che però venne rimosso dalla produzione a causa di alcune divergenze con il produttore Bregman. Così, poco prima di girare, venne scelto il regista Sidney Lumet. Inizialmente il vero Frank Serpico volle essere presente durante le riprese del film, ma alla fine non gli fu permesso di rimanere poiché Lumet temeva che la sua presenza avrebbe trasmesso agli attori (in particolare ad Al Pacino) più tensione. Il film venne completamente girato per le strade di New York.