İngiliz tüccar James William Whittall, İstanbul'u adeta yurt bilmişti. Moda'yı bir dükalık haline getirmişti. James William Whittall 9 Nisan 1862'de İzmir Buca'lı Samuel Barker'ın kızı Edith Anne Barker ile evlendi. Çiftin Edith Mary, Ethel Marianne, Frederick Edwin ve Linda Frances adlı 4 çocuğu dünyaya geldi. James Whittall, büyüyen ailesi için 1870'de Moda Caddesi'nden denize kadar olan yamacında çok geniş bir arazi satın aldı.