Um dos mais expressivos nomes das artes plásticas brasileiras do século XX, Carlos Scliar tinha duas casas ateliê, uma em Minas Gerais na cidade de Ouro Preto e outra em Cabo Frio no Rio de Janeiro, na qual manteve sua principal moradia.
Scliar morre em 2001, no mesmo ano em que é criado o instituto cultural que leva seu nome. O processo para criação da instituição foi acompanhado pelo artista, um acordo que fez com o filho Francisco para manter sua memória. Fundado por Francisco Scliar junto com os amigos: Cildo Meireles, Anna Letycia, Thereza Miranda, Regina Lamenza, Eunice Scliar, entre outros conselheiros.
A instituição está sediada na casa ateliê localizada as margens do Canal de Itajurú na cidade de Cabo Frio. Um sobrado setecentista, adquirido em ruínas por Scliar, reformado em 1965 para abrigar seu ateliê e ampliado na década de 70, com projeto de Zanine Caldas. Nesta casa Scliar viveu, trabalhou, recebeu amigos como Clarice Lispector, Ferreira Goulart e Ana Maria Machado, e colecionou seu acervo por cerca de 40 anos.
A escolha da casa de Cabo Frio para sede da instituição passou por dois critérios: o primeiro foi a carência de espaços culturais na região fluminense, diferentemente da estrutura cultural existente na cidade de Ouro Preto, e a segunda razão foi a maneira como Scliar lidou com os espaços da casa de Cabo Frio, nos anos de 1970 o artista construiu um anexo para abrigar todo seu arquivo pessoal, seus desenhos, estudos e gravuras. A casa principal foi decorada por Scliar com obras dos amigos, constituindo uma expressiva coleção de pintores da arte contemporânea brasileira. As obras forram as paredes de todos os ambientes da casa, tornando o espaço, além de uma casa museu de personalidade, também uma casa de colecionador.
Aberta ao público em 2004, a casa mantém a ambientação dos espaços deixada por Scliar com seus objetos pessoais, o acervo documental, gravuras, desenhos e além das obras de seu patrono, faz parte da coleção obras dos amigos José Pancetti, Djanira, Cildo Meirelles, Di Cavalcanti, Aldo Bonadei, entre outros. A casa museu atende a cerca de 2000 visitantes por ano e possui um programa educativo destinado prioritariamente aos estudantes da rede pública.
A missão da instituição é difundir a cultura em todas as suas formas de manifestação, preservar e divulgar a vida e obra do pintor, além de dar acesso à população aos seus acervos bibliográfico, pictórico e documental.
Em 2008, o Instituto Cultural Carlos Scliar perdeu seu idealizador e presidente, Francisco Scliar. Ao longo dos quase 20 anos de trabalho junto à população, a instituição reforça o compromisso de sua criação: dar acesso e divulgar a cultura por meio do trabalho que realiza junto às escolas públicas da região.