Kuća Ismaellijevih nije bila središte zemljoposjeda, budući da oni nisu imali zemlje na Visu kao ostali hvarski plemići, već jer bila mjesto trgovine i ladanja.
Izvorno katnica kasnije je nadograđena za još jedan kat.
Građena je fino obrađenim klesancima, te pokrivena četverostrešnim krovom.
Na prvom katu u osi pročelja okrenutog trgu je balkon koji počiva na tri dvostruke ukrašene konzole.
Ograđen je kamenim stupićima “dvostruke kruške“ i ugaonim stupićima ukrašenim biljnim ukrasom.
Vrata balkona završavaju lukom s reljefnim cvijećem i ljudskom glavom u tjemenu.
Kuća po svom obliku ima odlike baroknog sloga 17. stoljeća.
Izvorna raščlamba glavnog pročelja u prizemlju i unutrašnjost kuće temeljito su preuređeni tijekom 19. stoljeća te u njoj nisu sačuvani elementi baroknog interijera iz vremena gradnje.
Kuća Ismaelli upisana je u Registar kulturnih dobara Republike Hrvatske.