Apesar da Secretaria de Estado dos Negócios da Marinha e Ultramar ter sido criada pelo Alvará de 28 de Julho de 1736, as origens do Arquivo remontam apenas ao ano de 1843, quando o Decreto de 15 de Fevereiro reorganiza a referida Secretaria de Estado, estabelecendo no seu art.º 11º, um arquivo a cargo de oficial ou amanuense. Porém, as reformas frequentes que, a partir do constitucionalismo remodelaram o Ministério, a incorporação de fundos na Biblioteca Nacional (1897), a desanexação do Ministério das Colónias levou a que a documentação de alguns dos fundos da Marinha tivesse ficado dispersa em diferentes organismos, nomeadamente no Arquivo Histórico Ultramarino (originalmente chamado Arquivo Histórico Colonial), e só na década de sessenta do século XX (após a criação do Arquivo Geral da Marinha), se conseguiu que parte dela voltasse à Marinha, onde foi incorporada no seu Arquivo Histórico.

O Decreto-lei n.º 42840, de 10 de Fevereiro de 1960, o Arquivo Geral da Marinha, que substituiu o antigo Arquivo da Marinha. Pelo artigo 3º do referido Decreto-lei, o Arquivo Geral da Marinha é constituído por um Arquivo Central, um Arquivo Histórico, uma Biblioteca e uma secretaria, dispondo de um conselho administrativo.

O Decreto-Lei n.º 49/93, de 26/02, aprova a nova Lei Orgânica da Marinha (LOMAR) e altera a estrutura existente. O Decreto Regulamentar nº 35/94, de 01/09 define as competências e Organização dos Órgãos da Marinha de Natureza Cultural, passa o Arquivo Central da Marinha para a dependência orgânica da Biblioteca Central da Marinha, incluindo um Arquivo Central e um Arquivo Histórico) e a Declaração de Retificação nº 213/94, de 30/11 (Marinha) retifica o Dec. Reg. Nº 35/94, extinguindo o Arquivo Geral da Marinha.

Por sua vez, A Lei Orgânica da Marinha publicada em 2009 (Decreto-lei 233/2009, de 14 de Setembro) coloca o Arquivo Central na dependência da Superintendência dos Serviços de Tecnologias da Informação, com a denominação de Centro de Documentação, Informação e Arquivo Central da Marinha, continuando o Arquivo Histórico na dependência da Biblioteca Central da Marinha.