Emily est née le 1er mai 1844 à Princeton, dans le Missouri et dans une famille de paysans. Elle a trois sœurs et deux frères dont elle est l'aînée. Leurs parents les laissant souvent livrés à eux-mêmes, elle apprend très tôt à s'occuper d'eux. Enfant, elle aime beaucoup s'amuser à l'extérieur et apprend tôt à monter à cheval, arrivant à dresser bientôt les plus têtus d'entre eux. Son enfance reste pour elle, le meilleur souvenir de sa vie. Sa famille n'était pas riche mais elle était heureuse et s'en sortait plutôt bien.

En 1860, leur ferme devint le territoire d'une guerre civile et leurs terres brûlèrent. Les Brown durent fuir leur ancienne vie et empruntèrent les routes en direction de l'Oregon. Emily et sa famille voyagèrent pendant 5 mois, durant lesquels, sa mère, Charlotte, tomba terriblement malade. Pendant que les hommes allaient à la chasse, Emily s'occupa jours et nuits de leur mère qui finit par mourir de ce mal inconnu. Leur père tomba dans une agonisante dépression et se suicida quelques semaines après.
Il ne restait plus qu'Emily et ses frères et soeurs. Sans argent, abandonnés par leurs parents, les hommes restant de la famille s'engagèrent dans l'armée et les deux filles trouvèrent du travail là où elles le pouvaient.

Emily n'avait aucune connaissances, ni capacités spéciales. Elle savait travailler en ferme et s'occuper d'une maison mais elle ne savait ni lire, ni écrire et en cela, elle ne pouvait ni être vendeuse, ni propriétaire d'un quelconque magasin. C'est alors qu'elle croisa le chemin d'Elisabeth Bullock qui lui proposa un travail bien payé pour seulement quelques nuits par semaine. Ce n'était pas le plus beau des jobs mais cela payait les factures.. Emily accepta de se prostituer.

Elle fit ce travail durant plusieurs mois puis tomba enceinte de l'un de ses clients qui ne voulut jamais reconnaître l'enfant bâtard. Emily adorait cet enfant, bien que son père soit un politique odieux et misogyne. Avec cette nouvelle bouche à nourrir, les rêves de fuite d'Emily s'estompèrent. Elle aurait aimé quitter ce travail après avoir économisé quelque billets mais cela lui est désormais impossible, elle doit élever son enfant et pour cela, il lui faut encore et toujours de l'argent..