Основну школу и два разреда гимназије завршио је у Лозници, родном граду као најбољи ђак. Као ученик основне школе читао је за себе и другима песме и приче из збирки Вука Караџића. Осим песама и прича, читао је и Вуков Рјечник и Вукову збирку загонетки, Сан Матере Божје, сановнике и рожданике. За тај период живота Јован је написао да је био безбрижан и готово несвесан. У периоду када је Јован похађао школу, у Лозници је постојала само дворазредна гимназија, тако да је своје школовање морао да настави у Шапцу, месту које је око 58 km удаљено од Лознице. Шабац је у то време био напредан трговачки град и у њему је постојала четвороразредна гимназија, односно полугимназија, која је била најбоље уређена гимназија у Србији захваљујући директору, Ђури Козарцу. Настава се изводила редовно и од ученика се захтевао озбиљан рад. Јован је био вредан и даровит ученик, па су га наставници у Шапцу сматрали за једног од најбољих ђака. Међу професорима шабачке гимназије који су најјачи утисак оставили на Јована били су директор гимназије, Ђуро Козарац, који је предавао немачки језик, и Владимир Карић, професор географије. Професор Карић пресудно је утицао на Јованов животни позив. Тако је у аутобиографији Из успомена и живота написао следеће о свом професору географије:
Од осталих наставника, на ме је утицао Владимир Карић, који је, већ болестан од плућа, био намргођен и ћуталица, заједало, али оштре памети, и могао је у моментима постати речит и пасиониран. Тада је он почео радити на уџбеницима за географију, и те прве скице диктирао је ђацима. То су били нацрти чија је грађа неравномерно распоређена, и у којима је нарочито место заузимала историја изналажења и испитивања ваневропских континената. Тражио је од ученика потпуну прецизност у изражавању. За немарне и незналице био је неумољив. Мене је већ при крају трећега разреда гимназије одликовао тиме што ме позивао на шетње и упуштао се у разговоре. Из тога времена датирају моје везе с Карићем, које су се доцније развиле.
Као ученик гимназије Цвијић је осим редовне литературе читао и социјалистичке књиге и часописе које му је позајмљивао професор физике Ранко Петровић. Та литература му је веома проширила поглед на свет и на живот и како је записао све друго осим мисли о срећи човечанства постало ми је споредним. За књижевна дела се заинтересовао у шестом разреду гимназије.
Крајем XIX и почетком ХХ века у Србији је потпуна осморазредна гимназија постојала у Београду и Крагујевцу. Цвијић је у Шапцу завршио четврти разред, а своје даље школовање (од петог до осмог разреда) морао је да настави у једном од ова два места где је постојала потпуна гимназија. Јован је наставио школовање у Београду. У томе му је помогао посланик у Лозници, Велизар Кундовић, који је успео да од лозничке општине издејствује за Јована стипендију у износу од 50 динара. У исто време када је Цвијић уписао гимназију у Београду, за директора ове школе постављен је Ђуро Козарац, некадашњи директор Гимназије у Шапцу. Био је директор који ствара гимназију, тако да је убрзо увео ред и пробрао наставнике, написао је Цвијић у аутобиографији. Цвијић је и овде био најбољи ђак, истичући се вредноћом и даровитошћу. Предмети за које се интересовао били су: зоологија, анатомија, географија, историја, немачки и француски језик. Осим француског и немачког језика, савладао је и енглески језик, читајући упоредо на српском и енглеском језику Хершелову Физичку географију, Гикијеву Малу географију и геологију и Хекслијеве Природњачке говоре. Познавање енглеског језика му је веома помогло за време студија у Бечу, а посебно приликом писања докторске дисертације, када је користио инострану стручну литературу.
У петом разреду превео je са немачког језика О електричним појавама Розентала. Свој рад изложио је гимназијској дружини Нада. У шестом разреду гимназије преводио је више чланака Бихнера и Молешота. Превод Бихнерове Ћелије читао је у гимназијској дружини Нада. У шестом и седмом разреду заинтересовао се за биолошку литературу и чланке, који су објављивани у Гласнику Ученог друштва и у Раду Југословенске академије. Сентенце из Горског вијенца знао је напамет. Цвијић је изнео своје мишљење о гимназији свога времена:
Гимназија формира интелигенцију и карактер можда више, снажније, и у неким правцима дубље, него универзитет; она је од великог утицаја на дух и моралну вредност будућих интелектуалних нараштаја. Поред универзитета, од ње највише зависи каква ће се морална и духовна атмосфера развити у држави, какав ће тим добити њена цивилизација, и, напослетку, да ли ће се морална и духовна атмосфера развити у држави, какав ће тим добити њена цивилизација, и, напослетку, да ли ће се успоравати или ометати развијање великих личности, у којима се до највећег степена изражавају особине једног народа.
У клупама Прве мушке гимназије, поред Јована Цвијића, седело је неколико касније признатих српских научника, као што су Михаило Петровић Алас, Павле Поповић и Љубомир Стојановић. Они ће касније бити и први професори Универзитета у Београду.
Цвијић је завршио гимназију са одличним успехом. Матуру је полагао у јуну 1884. године. У оквиру матурског испита полагао је следеће предмете: српски језик и књижевност код Момчила Иванића, француски језик код Живка Недељковића, немачки језик код Косте Вујића, латински језик код Мите Живковића, математику код Марка Велизарића и Срете Стојковића, физику код Светозара Видаковића. На матури је присуствовао и изасланик Министарства просвете, Сима Лозанић, касније његов колега на Великој школи и Универзитету у Београду. Директор гимназије био је Ђуро Козарац, а један од чланова испитне комисије био је Марко Леко, професор хемије. Јован Цвијић је у свим разредима постигао одличан успех и награђиван је књигама за одлично учење и примерено владање.
Након матуре, лозничка општина му je саопштила да га не може стипендирати на студијама медицине у иностранству, због лошег буџета. У другој половини августа одлази у Београд, где је случајно срео свог некадашњег професора географије, Владимира Карића. Испричао му је о свом проблему са стипендијом за студије медицине. Тада му је професор Карић почео говорити о научној вредности и значају географије. Предложио му је да се упише на Велику школу, истовремено обећавши да ће му помоћи око литературе и за одлазак на усавршавање у иностранство. Цвијић је прихватио предлог свог професора и уписао се на Математичко-природњачки одсек Велике школе. На студијама Велике школе похађао је наставу на следећим предметима: математика (предавао Димитрије Нешић), хемија (предавао Сима Лозанић), минералогија са петрографијом и геологија (предавао Јован Жујовић), физика (предавао Коста Алковић), логика, психологија, историја, философија (предавао Љуба Недић), механика (предавао Љубо Клерић), метеорологија и астрономија (предавао Милан Недељковић), историја српског народа (предавао Панта Срећковић), етнографија (предавао Јован Драгашевић). Главну пажњу посветио је предметима везаним за географију, односно геологији са палеонтологијом, минералогији, метеорологији, зоологији и ботаници. Служио се литературом на три светска језика, те се на самом почетку студија истакао и привукао пажњу својих професора. Са неким професорима се зближио и остао са њима пријатељ до краја свог или њиховог живота као што су: Јован Жујовић, Сава Урошевић, Сима Лозанић и Богдан Гавриловић. Већ током студија Цвијић је показао одлике научника истраживача тако што је повезивао знања стицана из наставничких предмета и књига са властитим посматрањима земљине коре, њеног геолошког састава и облика. У другој години Велике школе написао је свој први научни рад Прилог географској терминологији нашој. Рад је објављен у Просветном гласнику, свеска за децембар 1887. и јануар 1888. године. При изради рада, Цвијићу је у виду савета помагао Владимир Карић, његов професор географије из гимназије, а приликом прикупљања материјала за рад помогао му је професор геологије на Великој школи, Јован Жујовић, са којим је ишао на теренске екскурзије у источној Србији. Терминологија (брег, брдо, коса, главица, чот, кик, чука, хрид, вртача, пећина, бук, планина, било, клисура, коса, повијарац, долина, луг, висораван) коју је Цвијић увео у литературу са овим радом, остала је као основа српске географске терминологије, којом се научници и данас служе. Завршио је студије са одличним успехом 6. јула 1888. године.
