Sekolah Menengah Kebangsaan Orang Kaya Haji telah dibina sekitar tahun 1960an. Pada masa itu hanya ada sebuah bangunan sahaja. Struktur bangunan itu masih kekal hingga kini. Terdapat bilik guru besarnya yang mempunyai pintu separuh yang berspring.

Bangunan asal SMK Orang Kaya Haji,

sekarang telah dijadikan Pusat Kegiatan Guru (PKG) Daerah Lipis.

Sekolah ini dahulunya dikenali sebagai Sekolah Lanjutan iaitu menampung pelajar-pelajar yang lulus darjah enam. Sesiapa yang lulus darjah enam ketika itu dianggap pelajar yang hebat dan pandai. Malahan ada diantara mereka yang berjaya pada awalnya hanya lulus tahap ini. Kemudian menyambung pelajaran dan berjaya dalam bidang yang diceburi.

Sekitar tahun 1964, bangunan baru dibina. Ia dikenali sebagai bangunan Khir Johari kerana pada ketika itu Menteri Pelajaran ialah En. Khir Johari. Rupa bentuk bangunan yang dibina ketika itu adalah seragam di seluruh negara.Bangunan ini didirikan dengan menggunakan bahan binaan batu bata dan batu blok simen yang tidak diplaster.

Rupa bentuk Bangunan Khir Johari

Sukatan Pelajaran pada ketika itu hanya tertumpu kapada mata pelajaran kemahiran tangan seperti membuat bakul, menganyam tikar dan barang kraf yang lain. Pada tahun 1965 mata pelajaran seni perusahaan mula di perkenalkan apabila bangunan baru siap dibina.

Apabila bangunan siap dibina, ia telah beroperasi sepenuhnya pada tahun 1965, sekolah ini dikenali dengan nama Sekolah Menengah Rendah Kebangsaan Kuala Lipis atau singkatannya SEMARAK. Jarak sekolah ini dengan bandar Kuala Lipis ialah 2 kilometer melalui Jalan Lipis – Benta. Sekolah ini menerima pelajar-pelajar aliran Melayu di peringkat menengah.Ketika itu tidak ada langsung sekolah menengah Melayu di kawasan ini.Kebanyakannya pelajar di sekolah ini berasal dari kampung-kampung berjauhan dan sukar ke sekolah seperti mereka yang tinggal di perkampungan tepi sungai ( Sungai Jelai ) dan di pinggiran jalan kereta api dari Kuala Lipis ke Jerantut. Mereka ini diperingkat sekolah rendah daripada SK Kuala Lanar, SK Kuala Kenong, SK Jeram Bungor, SK Kuala Kechau, SK Kerambit, SK Limau Purut, SK Tanjung Yong,SK Jeram Landak dan SK Mela.

Kumpulan Pelajar Perintis

SMK Orang Kaya Haji pada tahun 1965.

Kemudian sekolah ini juga menerima pelajar yang datang dari Tanjung Gahai, Merapoh, Kuala Medang dan lain-lain kawasan yang menggunakan jalan kereta api dan pengangkutan sungai.Pelajar – pelajar ini ditempatkan di asrama lelaki dan perempuan Selain itu, sekolah ini juga menerima pelajar –pelajar dari SK Wan Ibrahim, SK Penjom dan SK Relong .Apabila satu bahasa pengantar sahaja digunakan di sekolah, sebilangan pelajar dari SRK Clifford mula ditempatkan di sekolah ini pada tahun 1980an.

Pada tahun 1974, asrama sekolah telah siap dibina. Ianya mempunyai dua buah bangunan untuk menempatkan pelajar lelaki dan perempuan. Pada awal penubuhannya, asrama ini menempatkan pelajar tingkatan empat hingga enam dari Sekolah Menengah Clifford, manakala pelajar tingkatan satu hingga tiga dari sekolah ini sendiri.

Lokasi asrama lelaki dan perempuan

Pada tahun 1980 -1988. Jabatan Pelajaran Negeri Pahang ( JPNP ) mengarahkan sekolah ini menempatkan pelajar-pelajar tahun satu hingga enam dari SK Kuala Kechau dan SK Kampung Lalang yang diarah tutup oleh Kementerian Pelajaran.Bermula tahun 1989, barulah pelajar-pelajar SMK Orang Kaya Haji ditempatkan diasrama sepenuhnya.

Pada tahun 1980an, bangunan tambahan telah dibina iaitu Blok E, F , kantin dan gelanggang.Pada tahun 1990, Blok H,I,J,dan K pula dibina bagi menampung keperluan pelajar. Pada tahun 1994, pejabat sekolah yang berada di Blok D berpindah ke Blok I sekarang.Pada tahun 2002, Blok M iaitu bangunan baru empat tingkat dibina.Menjelang tahun 2005, makmal ICT siap dan beroperasi pada tahun 2006.

Bangunan Baru yang siap dibina pada tahun 2003.