Orgelet i Berger kirke ble bygget i 1895, samme år som kirken stod ferdig. Det var orgelbygger August Nilsen fra Oslo som stod for orgelet, og det fikk fem stemmer og ett manual pluss pedal. Orgelet var også utstyrt med koppel fra manualet til pedal.
Etter at orgelet ble bygget har det vært flere planer for endringer. På 1970-tallet ble det innhentet tilbud for et helt nytt, større orgel, og på 80-tallet vedtok menighetsrådet i Svelvik å bytte ut orgelet med et digitalt orgel. Heldigvis ble ingen av disse vedtakene faktisk gjennomført, utenom en større rens i 1985, og derfor er det orginale orgelet i bruk den dag i dag, mer enn 125 år etter at det først ble bygget.
Den eneste endringen som er gjort i orgelet skjedde i 2024. Da ble orgelet utvidet med én ekstra stemme, i tillegg til et oktavkoppel. Den ekstra stemmen ble bygget med piper fra et annet August Nilsen orgel fra samme tidsperiode.