Школа основана на базе начальной школы, открытой в 1921 году на ст. Муртазово (хотя имеются документально не подтвержденные данные, что в конце 90-х годов 19-го века функционировала одноклассная школа).

В 1929 году школа была преобразована в семилетнюю, а с 1935 года - в среднюю школу.
Терская школа №2 после открытия в городе еще одной школы, получила свой номер в 1967 году. В 1987 году, в связи со строительством нового здания, школа была закрыта.
С сентября 1991 года школа функционирует в новом корпусе.