Estava com esse problema recentemente e vou dar dicas sobre o que pode ser feito:

• Criar um arquivo usando o próprio Excel que servirá de template. Escrever os dados e dar nome ao range de dados (“Name a Range” no Excel em Inglês).
• Neste template definir as tabelas dinâmicas (pivot tables) usando o range definido no item anterior (não utilizar seleção manual de células). Entrando nas opções da tabela dinâmica, marcar a opção para fazer refresh ao abrir o documento.
• Utilizando o POI, escrever os comandos no java que abra o arquivo template, insira os dados reais por cima dos dados de exemplo, reajuste o named range de células para refletir a quantidade de linhas que tem os dados inseridos e salvar o arquivo com outro nome.

Expliquei bem por cima o que tem que fazer para ajudar aqueles que não tem nenhuma idéia. Outra coisa é que o POI deu problema ao tentar abrir um arquivo meu que tinha filtros, então devemos tirar todos os filtros do arquivo Excel. Uma coisa que não sei é se as tabelas dinâmicas feitas vão funcionar no Open Office.