Počet obyvatel Vysoké Lhoty v období 2004-2024 vykazuje mírný pokles s občasnými drobnými výkyvy. Mezi lety 2011 a 2012 došlo k výraznějšímu poklesu, poté se počet obyvatel ustálil a s mírnými výkyvy se pohybuje okolo 15 obyvatel.
| rok | počet obyvatel |
| 2024 |
15 .
|
| 2023 |
16 .
|
| 2022 |
16 .
|
| 2021 |
14 .
|
| 2020 |
15 .
|
| 2019 |
15 .
|
| 2018 |
15 .
|
| 2017 |
15 .
|
| 2016 |
15 .
|
| 2015 |
17 .
|
| 2014 |
17 .
|
| 2013 |
18 .
|
| 2012 |
18 .
|
| 2011 |
21 .
|
| 2010 |
22 .
|
| 2009 |
22 .
|
| 2008 |
22 .
|
| 2007 |
22 .
|
| 2006 |
21 .
|
| 2005 |
23 .
|
Následující graf ukazuje vývoj počtu obyvatel obce za posledních 150 let a zároveň ho porovnává s postupným růstem obyvatelstva v celé České republice. Vysoká Lhota patří v rámci ČR mezi sídla s vůbec největším úbytkem obyvatelstva za měřené období.
Vývoj počtu obyvatel Vysoké Lhoty v okrese Pelhřimov vykazuje dlouhodobý pokles, kontrastující s celorepublikovým trendem. Zatímco Česko zaznamenávalo v sledovaném období, s výjimkou poválečných let a krátkého úseku po roce 1991, nárůst populace, Vysoká Lhota se od konce 19. století postupně vylidňovala. Největší propad nastal po druhé světové válce, kdy obec ztratila téměř polovinu obyvatel. Tento úbytek lze pravděpodobně připsat kolektivizaci zemědělství a migraci obyvatel do měst za prací a lepším životním standardem. Podobný trend, byť méně dramatický, lze pozorovat i v dalších desetiletích, kdy pokračující industrializace a nedostatek pracovních příležitostí na venkově dále prohlubovaly odliv obyvatel. Pokles z 103 obyvatel v roce 1950 na pouhých 14 v roce 2021 svědčí o dlouhodobé neudržitelnosti obce v její současné podobě. Na rozdíl od Vysoké Lhoty, Česko jako celek procházelo demografickým růstem, poháněným rozvojem průmyslu, zlepšováním zdravotní péče a v posledních dekádách také imigrací. Rozdílný vývoj Vysoké Lhoty a Česka ilustruje obecnější trend venkovského exodu a koncentrace obyvatelstva ve městech, typický pro moderní dobu.
Tento graf srovnává jak se velikost obce Vysoká Lhota změnila ve srovnání s dalšími okoními obcemi.
Následující graf ukazuje složení obyvatele podle věku a pohlaví.
| Obec: | Vysoká Lhota |
| Okres: | Pelhřimov |
| Kraj: | Kraj Vysočina |
| Typ obce: | vesnice |
| Katastrální výměra: | 310 ha |