Avaliar empiricamente sistemas de planejamento automatizado contribui para a evolução e melhoria da qualidade dos planejadores no contexto da inteligência artificial. Este trabalho aborda o desenvolvimento de uma plataforma com o objetivo de automatizar a avaliação de planejadores, permitindo aos usuários agendar, executar e analisar experimentos de maneira sistemática e reprodutível. A necessidade desse tipo de ferramenta surge da crescente complexidade dos domínios de planejamento e da importância de comparações consistentes e abrangentes entre diferentes abordagens. A plataforma foi projetada para centralizar a gestão de domínios e problemas predefinidos, assegurando uniformidade no processo de avaliação.
A metodologia adotada baseou-se no Modelo C4, uma abordagem estruturada que possibilita a visualização da arquitetura do sistema em diferentes níveis de abstração. Os diagramas de Contexto, Contêiner, Componente e Código foram utilizados para descrever desde as interações externas do sistema até os detalhes internos de implementação, favorecendo a clareza na comunicação entre membros da equipe técnica e não técnica. Essa abordagem permitiu a construção de uma solução escalável e modular, atendendo às necessidades específicas de uma plataforma para atender a pesquisa na área de planejamento automatizado.
Os resultados obtidos com a plataforma destacam sua eficiência em comparar planejadores distintos, aplicando métricas personalizadas aos mesmos domínios e condições controladas de acesso a recursos. Foram gerados gráficos comparativos que apresentam o tempo total de resolução de problemas, o tempo de busca e a cobertura normalizada em função do tempo, permitindo uma análise detalhada do desempenho de cada planejador. Tabelas de dados foram disponibilizadas para facilitar a incorporação dos resultados em publicações científicas. Essa capacidade de análise comparativa contribui para a evolução dos planejadores ao identificar pontos fortes e fracos, promovendo avanços nas abordagens utilizadas.
Apesar dos resultados positivos, algumas limitações foram encontradas durante o desenvolvimento do sistema. A integração com planejadores externos demandou esforços adicionais devido à ausência de padrões unificados para entrada e saída de dados, e a configuração de múltiplos contêineres para assegurar isolamento e escalabilidade aumentou a complexidade técnica do sistema. A dependência de infraestrutura computacional robusta também pode restringir o uso da plataforma em contextos com recursos limitados. Entretanto, o trabalho demonstrou que a automação da análise empírica é uma ferramenta valiosa para melhorar a qualidade dos planejadores, fornecendo um ambiente mais consistente e acessível para estudos na área de planejamento de inteligência artificial. Com isso, este trabalho contribui significativamente para a padronização e reprodutibilidade de experimentos, consolidando uma base para avanços futuros na área.
Em competições internacionais como a International Planning Competition (IPC - https://ipc2023-classical.github.io/), onde os principais objetivos são testar e comparar a eficiência, escalabilidade e flexibilidade dos planejadores. É necessário que o planejador resolva problemas em diferentes domínios e complexidades. Para avaliar o desempenho dos planejadores, no padrão da IPC, é necessário conhecer e entender suas métricas em comparação com outros planejadores que utilizam abordagens similares, nos seguintes critérios:
A automação no processo de geração de testes para sistemas de planejamento automatizado apresenta uma contribuição acadêmica significativa, especialmente no contexto de competições internacionais, como a IPC. Essas competições contribuem para a evolução dos planejadores automatizados, incentivando avanços em eficiência e inovação nas abordagens de planejamento. A geração automatizada de testes ajuda a avaliar a performance dos planejadores em cenários variados e complexos, permitindo a análise de suas capacidades em múltiplas dimensões, como tempo de execução, tempo de busca e tamanho da solução. A crescente complexidade dos domínios de planejamento e a necessidade de avaliação em larga escala tornam impraticável a criação manual de testes abrangentes. Ao propor técnicas de automação, o trabalho amplia o escopo e a precisão dos testes, contribuindo para a melhoria contínua dos planejadores, promovendo maior consistência na comparação entre diferentes planejadores.
A contribuição acadêmica deste trabalho está no desenvolvimento de um método para avaliar planejadores automatizados em diversos contextos. A proposta inclui a automação do processo de geração de testes, incorporando múltiplas variáveis de entrada — como domínios, problemas, métricas e planejadores — em cenários experimentais variados, promovendo o avanço no desenvolvimento de novos planejadores.
No campo prático, essa abordagem beneficia áreas como logística, saúde, manufatura e robótica, que dependem fortemente de sistemas de planejamento automatizado. A avaliação sistemática e automatizada contribui para a criação de planejadores mais eficientes, capazes de oferecer soluções otimizadas para problemas reais.