Džamiju je sagradio 1572. godine Ibrahim - paša, sin Skender - bega, hercegovačkog subaše, kasnije paše i sandžak bega. Džamija je sagrađena za potrebe obavljanja verskih obreda vojne posade čiji je komandant bio Ibrahim - paša. Posada je obezbeđivala most na Limu i putni pravac iz Prijepolja prema - Pljevljima. Sagradili su je inžinjeri koji su gradili i održavali most na Limu.

Oko džamije se ubrzo formirala mahala u prvo vreme zvana Ibrahim - pašina mahala, a kasnije Gornji Vakuf. U blizini džamije a pored kamenog zida je mezar Ibrahim - paše i njegove sestre Kajdafe. Na prednjem nišanu mezara Ibrahim - paše ima ispisano šehade i uklesana sablja. Završava se tradicionalnim pašinskim kaukom. Visok je 1,80 m. Nema drugih natpisa. Godina pašine smrti je još uvek nepoznata. Do pašinog je izuzetno raskošan mermerni prednji nišan njegove sestre Kajdafe.