6_-_590_(112-129)

Resumo: O registro contábil de Despesas de Exercícios Anteriores(DEA’s) remete a um descompasso na execução do orçamento público, pois o fato gerador, ocorrido em exercício passado, acaba por ser pago às custas do orçamento vigente, problemática recorrentemente apontada pelos tribunais de contas em todo o país. Posto isso, o objetivo da pesquisa foi avaliar a relação entre as Despesas de Exercícios Anteriores e as variáveis associadas ao orçamento e a eficiência de gestão de recursos nas Instituições Federais de Ensino Superior. Trata-se de uma pesquisa exploratória, realizada mediante análise descritiva e explicativa, que se apropria da metodologia de Análise Envoltória de Dados para realizar uma regressão com Dados em Painel que explique a variância encontrada nas DEA’s. Utilizando como conceitos a execução do orçamento público, sob a perspectiva de vetor fundamental na consecução das atividades do setor público, e a eficiência na gestão, inerente a Nova Administração Pública, foram mensurados escores de eficiência aplicando Análise Envoltória de Dados, os quais, foram regredidos por meio de Dados em Painel. Os resultados demonstram que a partir desses dois parâmetros estatísticos é possível explicar a variância nas DEA’s, fomentando o debate acerca da responsabilidade na gestão de recursos e sobre a importância do orçamento no planejamento e execução de políticas públicas. O presente estudo expõe o efeito que a disposição do orçamento, aliado com a eficiência da gestão de recursos, possuem no volume das DEA’s, cujos resultados podem causar adversidades na condução orçamentária das instituições analisadas, por vezes frustrando a execução de políticas públicas.

Palavras-chave: Despesas de Exercícios Anteriores; Planejamento Orçamentário; Eficiência Pública; Despesas Públicas; Gestão de Recursos.

EXPENSES FROM PREVIOUS YEARS: AN ANALYSIS OF THE RELATIONSHIP WITH THE EXECUTION OF THE PUBLIC BUDGET AND EFFICIENCY IN RESOURCE MANAGEMENT

Abstract: The accounting record of Expenses from Previous Years (DEA's) refers to a mismatch in the execution of the public budget, since the taxable event, which occurred in the past year, ends up being paid at the expense of the current budget, a problem recurrently pointed out by the courts of accounts throughout the country. That said, the objective of the research was to evaluate the relationship between the Expenses of Previous Years and the variables associated with the budget and the efficiency of resource management in Federal Institutions of Higher Education. It is an exploratory research, carried out through descriptive and explanatory analysis, which appropriates the Data Envelopment Analysis methodology to perform a regression with Panel Data that explains the variance found in the DEA's. Public budget execution concepts are used, from the perspective of a fundamental vector in the performance of public sector activities. And the efficiency in management, inherent to the New Public Administration, efficiency scores were measured using Data Envelopment Analysis, which were regressed by means of Panel Data. The results demonstrate that based on these two statistical parameters, it is possible to explain the variance in the DEA’s, fostering the debate about responsibility in resource management and about the importance of the budget in the planning and execution of public policies. The present study exposes the effect that the budget provision, combined with the efficiency of resource management, have on the DEA's volume, whose results can cause adversities in the budgetary conduct of the institutions analyzed, sometimes frustrating the implementation of public policies.

Keywords: Expenses from Previous Years; Budget planning; Public Efficiency; Public Expenditure; Resource management.

INTRODUÇÃO

A s Despesas de Exercícios Anteriores (DEA’s) podem ser conceituadas como despesas que tiveram seu fato gerador em exercício precedente ao de seu empenhamento (MCASP, 2019). Ou seja, de acordo com a Lei 4.320/1964, trata-se de despesas para as quais havia orçamento em época adequada, mas que não foram processadas e executadas de forma apropriada.

Acrescenta Lima (2018), que às DEA’s, apesar de possuírem previsão legal, comprometem o regime de competência para contabilização da despesa, tendo em vista que prejudica a previsibilidade de valores a serem alocados no orçamento subsequente ao de sua elaboração e aprovação. Ou seja, a adequação entre os ingressos financeiros e os dispêndios que ocorrem dentro do exercício financeiro, representa um problema para a organização na execução orçamentária do setor público, dado que impacta a situação financeira e orçamentária do exercício vigente (Silva, Batista & Nascimento, 2017).

Ademais, o tema é recorrente nos apontamentos dos órgãos de controle, cujos relatórios realizados pelo plenário do Tribunal de Contas da União (TCU), fomentam maior racionalização nas ações de controle, aprimorando as atividades de gestão e governança, auferindo impactos positivos à consecução de seus objetivos institucionais (Acórdão 3455/2014 – TCU – Plenário).

A partir disso, ressalta-se a importância do orçamento como instrumento para tomada de decisão em políticas públicas, de forma que as questões orçamentárias determinam as possibilidades e a ação do estado, ou seja, a previsão da alocação de recursos torna-se um vetor para a implementação de políticas públicas. Cujo orçamento passa a ser pautado desde o planejamento, em que recursos públicos são levantados para articular o atingimento dos objetivos e metas institucionais (Abreu & Câmara, 2014; Giacomoni, 2019).

Nessa seara, a eficiência de gestão de recursos, no caso das Instituições Federais de Ensino Superior (IFES) é assumida como a transformação do capital humano pelo desenvolvimento acadêmico (Førsund, 2017), percebido pelos indicadores de qualidade no ensino superior, outputs em um modelo que considera as despesas incorridas nesse processo. Portanto, compreende-se que a gestão de recursos por meio do orçamento são condutores para promoção de economia e eficiência no uso de recursos públicos. Para Freides (1992) o orçamento pode ser responsável pelo impedimento de deliberações políticas pela falta de recursos, ao passo que a gestão precisa ser eficiente para aplicar os recursos disponibilizados com o melhor resultado. (Fernández-Gutiérrez & Walle, 2018; Ho, 2018).

Tendo em vista os apontamentos realizados pelos órgãos de controle, o exposto pelo marco teórico, bem como as disposições das legislações aplicáveis, surge a inquietação que motivou a seguinte questão de pesquisa: qual a relação entre as Despesas de Exercícios Anteriores (DEA’s) e as variáveis associadas ao orçamento e a eficiência de gestão nas Instituições Federais de Ensino Superior (IFES)? Neste sentido, o objetivo da pesquisa foi avaliar a relação entre as Despesas de Exercícios Anteriores e as variáveis associadas ao orçamento e a eficiência de gestão de recursos nas Instituições Federais de Ensino Superior.

Assume-se então que a presente proposta de estudo é relevante em diferentes aspectos, seja sob o atendimento às determinações expedidas por diversos órgãos de controle. Dentre os quais o TCU e a Controladoria Geral da União, que mostraram cautela quanto às despesas sem prévio empenho que não apresentarem justificativas plausíveis (Monteiro & Gomes, 2013).

Outrossim, o estudo em tela busca ainda atender à crescente demanda por maiores níveis de accountability e governança nas IFES, de maneira que o controle social se torne efetivo e as contas públicas, ligadas às DEA’s, possam ser objeto de análise (Freides, 1992; Kvalvik & Boe, 2015; Moreno-Enguix & Bayona , 2017). Sob o ponto de vista acadêmico, é possível apontar que a partir dos achados em tela, é traçado um paralelo entre o orçamento público e a eficiência de gestão de recursos, combinado com possíveis inferências na condução das atividades organizacionais (Pascarelli Filho, 2011; Moreno-Enguix & Bayona, 2017; Lima, 2018; Giacomoni, 2019).

Trata-se de uma pesquisa exploratória, realizada mediante análise descritiva e explicativa, que se apropria da metodologia de Análise Envoltória de Dados para realizar uma regressão com Dados em Painel que explique a variância encontrada nas DEA’s.

A amostra corresponde às universidades públicas federais, as quais exercem uma atividade de transformação do capital social mediante o ensino, extensão e a pesquisa e, que estão sujeitas as premissas do controle social descrito pela accountability aplicada ao setor público.

As etapas foram estruturadas de forma a demonstrar o marco teórico, metodologia aplicada; o tratamento dos dados; análise dos resultados; considerações sobre os resultados da análise e conclusões.

2 NOVA ADMINISTRAÇÃO PÚBLICA

Como ferramenta para construção de pesquisas acadêmicas, a Nova Administração Pública (NAP) tem pregado a estabilização das instituições para sua legitimidade, enquanto permite maior governança e reformulação de arranjos institucionais (Hyndman & Mckillop, 2019). Tais mudanças no ambiente estatal trouxeram novos desafios, haja vista que a sociedade passa a cobrar uma nova postura do governo, oferecendo subsídios para pesquisadores em diversos aspectos (Wallmeler et al, 2018). Ainda no âmbito da NAP, saliente-se que a governança pública não guarda relação com o poder em si, mas sim com o ato de conduzir. Nesse sentido, o gestor avalia a capacidade dos sistemas políticos e administrativos oferecerem ferramentas para resolver os problemas públicos (Lima, 2018).

No que se refere às instituições de ensino, a busca pela eficiência, defendida pela NAP, está associada ao serviço social de transformação do capital humano por meio da formação acadêmica, outputs relacionados à provisão de bens e serviços públicos (Førsund, 2017).

Deste modo, a partir da função alocativa do orçamento, a escolha do gestor na aplicação de recursos traz consigo conflitos, sejam de ordem política ou social. Portanto, a tomada de decisão precisa se pautar naquilo que é possível, no que é permitido e politicamente viável (Fernández-Gutiérrez & Walle, 2018). Logo, a governança acaba por refletir a adoção de novos processos e procedimentos, emparelhando novos métodos por meio dos quais a sociedade é conduzida. Ou seja, é notório o impacto das atividades estatais sobre sua capacidade de produção, o que sucinta questionamentos acerca da forma como as decisões gerenciais são concebidas (Lima, 2018).

Ao reconhecer o orçamento e gerenciamento por desempenho, inerentes à NAP, Ho (2018) advoga que governos passam a responder perante a opinião pública a respeito de seu planejamento; como são elaboradas suas políticas de riscos financeiros; ciclos orçamentários; revisões periódicas de gastos; e auditorias de desempenho, como àquelas realizadas por controles externos.

Sob essa perspectiva, a partir da adoção ao orçamento programa, é observada uma ligação entre as atividades de orçamento, planejamento estratégico e planejamento financeiro em relação às medidas de desempenho e avaliação. Portanto, é natural que a alocação orçamentária articule o atingimento de objetivos e metas institucionais, o que coloca o orçamento como peça chave na condução de políticas públicas (Giacomoni, 2019). Assim, a administração pública pode ser utilizada como suporte à análise de desempenho na execução orçamentária, ao passo que permite difundir aspectos políticos, sociais e organizacionais, bem como ao explicar a relação entre fenômenos que efetivam políticas e programas públicos (Ho, 2018).

Nesse momento surge o paralelo entre a accountability e os modelos de gestão, dado que as políticas públicas e os interesses dos cidadãos convergem à medida que há eficiência na administração pública. Para tanto, a Nova Administração Pública foi construída como um mecanismo de gestão mais profissional e aceitável (Kaul, 1997; Aziz, Rahman, Alam & Said, 2015).

Assim, a fiscalização por parte dos órgãos de controle tem um papel essencial na aplicação de recursos públicos, bem como à prestação de contas e participação da sociedade, defendidos pela accountability. Cabe portanto, trazer à discussão os apontamentos realizados por tribunais de contas no Brasil, quanto à problemática envolta da execução das DEA’s.

Quadro 1: Consideração dos Órgãos de Controle

Instrumento de Controle	Aspecto Abordado
Acórdão 32/2007 – TCU – Segunda Câmara	Abstenção quanto ao reconhecimento de dívidas, em virtude de configurar despesas sem cobertura contratual apropriada.
Decisão 437/2011 – TCEDF	Necessidade de fundamentação para execução de Despesas de Exercícios Anteriores, cabendo à responsabilização civil e penas dos agentes públicos responsáveis.
Acórdão 3325/2012 – TCEPR	Excepcionalidade no pagamento de Despesas de Exercícios Anteriores, devido à inconformidade às normas do direito financeiro. Entretanto, o cumprimento destas obrigações é devido em face da possibilidade de incorrer em enriquecimento sem causa.
Acórdão 806/2014 – TCU – Plenário	Importância quanto à definição de procedimentos e rotinas contábeis para o registro contábil e suporte documental a fenômenos relacionados ao reconhecimento de dívidas.
Acórdão 3455/2014 – TCU – Plenário	Maior profissionalismo na gestão das IFES sob diversos aspectos, incluindo a gestão de recursos, dentre os quais se encontra a discricionariedade na execução de Despesas de Exercícios Anteriores.
Consulta 932736 – TCEMG	Respeito ao princípio da anualidade visando o equilíbrio fiscal dos entes públicos.
Acórdão 291/2018 – TCU – Plenário	Combate às práticas inadequadas de gestão nas IFES.
Acórdão 724/2018 – TCU – Plenário	Dever de zelar pela legalidade, legitimidade e economicidade de gestão. Visando a execução orçamentária e financeira racional e submissa aos regramentos cabíveis.

Fonte: Elaborado pelos autores

Saliente-se que os aspectos normativos apresentados retratam a prática de reconhecer dívidas como um ato a ser realizado com cautela dada sua inferência junto ao orçamento previsto. Desta forma, não se observam ilegalidades no uso das DEA’s, apenas é necessário aplicar a devida discricionariedade, racionalidade e economicidade na gestão deste tipo de despesas (Silva, Batista & Nascimento, 2017; Lima, 2018).

2.1 Eficiência na Administração Pública

Um dos compromissos do gestor perante a sociedade, no contexto da NAP, remete a relação entre a produção de bens e serviços e o dispêndio de recursos visando obter o melhor resultado no desempenho de suas atividades (Silva & Revorêdo, 2005; Buleca & Mura, 2014).

Portanto, segundo Førsund (2017), a eficiência almejada na Administração Pública Gerencial é traduzida pela transformação de recursos em outputs, os quais sob o controle governamental representam novos inputs para atingir melhores níveis de bem-estar social.

Entretanto, desde o processo de elaboração do orçamento, é essencial que medidas de desempenho e avaliação de programas sejam estabelecidas. De modo que as atividades finalísticas das instituições pautem a tomada de decisão por suas despesas (Giacomoni, 2019). Ao encontro disso, os achados de Moreno-Enguix e Bayona (2017) e Kvalvik & Boe (2015) asseveram que a eficiência na gestão de instituições públicas melhora a qualidade dos serviços ofertados à sociedade, promove desenvolvimento econômico e incrementam o combate à corrupção, tudo mediante práticas que fortalecem a democracia e o progresso social.

Nesse sentido, a relação entre os conceitos de orçamento público e a eficiência de gestão assenta-se na capacidade de governar oferecida pelos recursos orçamentários delineados pelo norteamento definido pela administração (Pascarelli Filho, 2011).

2.2 Despesas de Exercícios Anteriores

Lima (2018) explica que às DEA’s tratam de despesas que tiveram seu fato gerador ocorrido em exercício anterior àquele em que ocorrerá a consignação do crédito orçamentário. A despeito disso, a problemática envolta na execução das DEA’s remete à previsibilidade de valores a serem alocados no orçamento subsequente ao de sua elaboração, haja vista que eventuais despesas, por vezes volumosas, podem comprometer o planejamento do exercício em que se paguem (Giacomoni, 2018).

Todavia, embora seja um procedimento de carácter excepcional, o alto volume de registros indica que está sendo usado de modo recorrente, o que esconde o desequilíbrio nas contas públicas, influencia de forma negativa indicadores fiscais e compromete a transparência (Silva, Batista & Nascimento, 2017). Tanto que, na última década notou-se a preocupação, nos países em desenvolvimento, com o incremento de meios para alcançar o equilíbrio fiscal, assumindo que o crescimento sustentável pressupõe a gestão eficiente de receitas e despesas. Logo, se aceita que uma gestão institucional eficiente proveria meios de reduzir a ocorrência das DEA’s (Melo, Pereira & Souza, 2014).

Nesse sentido, a respeito da onerosidade que a prática de registro das DEA’s causam, deixando de lado a ocorrência de atos intencionais, o trabalho de Dissanayake, Dellaportas e Yapa (2019) levanta possíveis causas aos lançamentos inadequados à competência da despesa, como a falta de qualificação dos profissionais tomadores de decisão, recursos administrativos para controle, ou ainda a obrigação na adoção de padrões contábeis por força de normas, mas sem o devido planejamento de como isso afetará os procedimentos existentes.

Contudo, a mesma literatura que supõe eventuais motivos para ausência de registros apropriados, também coloca os gestores como responsáveis por buscar informações e difusão do conhecimento. Nesse contexto, Dissanayake, Dellaportas e Yapa (2019) destacam que a adoção de um procedimento que aufere mais fidedignidade à informação contábil deveria ser considerado por si só, e não devido à influência de normas. Tais argumentos reforçam o aspecto nocivo que o reconhecimento de despesas não previstas para o exercício vigente pode impelir sobre o planejamento orçamentário e sobre a situação patrimonial da entidade. Assume-se portanto, a relevância de uma gestão eficiente que vislumbre melhores indicadores acadêmicos e esteja pautada no respeito às normas do direito financeiro.

3. Variável Utilizada e Construção da Hipótese de Pesquisa

Em relação à proposta de pesquisa, a percepção de eficiência na gestão de recurso passa a ser compreendida pelo grau de atendimento às expectativas de seus clientes/consumidores, neste caso, a sociedade. Seu desempenho pode então ser mensurado de acordo com o cumprimento de sua função social, refletida em produtos de qualidade, resultado de suas atividades (Grasel, 2002; Roth, Espínola, Santos, Dorion e Fachinelli, 2013).

Neste sentido, a qualidade do ensino superior brasileiro pode ser avaliada em consonância com o disposto pela Portaria n° 40/2007, bem como pelo contido na Portaria INEP n° 515/2018, cuja metodologia é aprovada pela Comissão Nacional de Avaliação da Educação Superior (CONAES). Logo, a qualidade do ensino superior brasileiro remete ao Índice Geral de Cursos (IGC), ao Conceito Preliminar de Curso (CPC), ao Conceito Enade, e ao Indicador de Diferença entre os Desempenhos Observado e Esperado (IDD), cujas metodologias mensuram de forma ampla o conhecimento adquirido desde o momento de ingresso à graduação.

Ressalte-se ainda que não se busca traçar uma relação direta entre os indicadores de qualidade de ensino e a ocorrência das DEA’s, mas utilizá-los como proxy dos resultados almejados pelas instituições de ensino (Grasel, 2002), dado que sua capacidade de gerenciamento também recebe inferência do orçamento disponível (Pascarelli Filho, 2011). A partir dessa dinâmica, é proposta a seguinte hipótese de pesquisa.

Hipótese Alternativa (H1): A variação observada no orçamento (x1) e na eficiência de gestão (x2) das Instituições Federais de Ensino Superior explicam a variação encontrada no volume de despesas empenhadas sob o elemento de despesas 92(DEA’s) (y) dessas instituições.

Para tanto, a amostra analisada corresponde a 56 Universidades Federais, as quais apresentaram observações suficientes que não comprometam a integridades da amostra. As variáveis que compõem o estudo estão dispostas no Quadro 2.

Quadro 2: Estrutura das Variáveis

Conceitos	Variáveis	Ferramenta de Coleta	Período
Despesas de Exercícios Anteriores (DespExAnt) - y	Despesa Empenhada – Elemento de Despesas → 92	Tesouro Gerencial	2008 a 2016
Orçamento - x1	Crédito Disponível (CredDisp)
	Orçamento - x1
	Orçamento LOA (LOA)
	Saldo de Receitas e Despesas (RecDesp)
Eficiência de Gestão - x2	Despesas Empenhadas Totais (input)
	Conceito ENADE (outputs)	Portal do INEP
	Eficiência de Gestão - x2
	Conceito Preliminar de Curso - CPC (outputs)
	Indicador de Diferença entre os Desempenhos Observado e Esperado – IDD (output)

Fonte: Elaborado pelos autores

Para mensurar a eficiência de gestão nas IFES, foi utilizada a metodologia de Análise Envoltória de Dados, após esse procedimento, os resultados dos escores de eficiência, bem como as variáveis relativas ao orçamento passam a ser relacionadas às DEA’s, por meio de Regressão Linear Múltipla com Dados em Painel. Destaca-se que as variáveis orçamentárias coletadas foram escolhidas também pelo contexto teórico ofertado, conforme disposto pelo Quadro 3.

Quadro 3: Estudos Anteriores

Autor(es)	Variáveis Consideradas	Perspectiva Abordada
Santos, Jankoski, Oliveira e Rasoto (2016)	Dotação Inicial; Créditos Adicionais; Remanejamento de Dotações	Avalia o orçamento-programa como ferramenta de execução de políticas públicas
Manual de Demonstrativos Fiscais (2018)	Saldo de Receitas e Despesas	Metas Fiscais (Equilíbrio entre receitas e despesas);
Manual Técnico de Orçamento (2018)	Remanejamento e descentralização de recursos; Liquidação dos recursos da LOA	Programação Orçamentária; Classificação por Funções e Instituições; Acompanhamento da Proposta Orçamentária
Manual de Contabilidade Aplicada ao Setor Público (2019)	Créditos Adicionais	Geração de recursos orçamentários suportados pelo superávit financeiro de exercício anterior
Albuquerque, Medeiros e Feijó (2013)	Provisões; Destaques; Limites de Empenhos	Executabilidade do orçamento público mediante a descentralização de créditos, bem como o controle de crédito disponível com o auxílio da limitação de empenhos

Fonte: Elaborado pelos autores

Por sua vez, os procedimentos de análise perseguem a estrita observância ao protocolo especificado no Quadro 4.

Quadro 4: Procedimentos de Análise

Etapa	Ferramenta de Análise	Procedimento	Suporte Teórico
1	- -	Estatísticas Descritivas	Fávero e Belfiore (2017)
2.1	Análise Envoltória de Dados	Classificação das variáveis	Batista (2009); Boueri (2015); Diniz (2012)
2.2		Análise exploratória e tratamento dos dados
2.3		Definição dos fatores de Input e Output
2.4		Aplicação do Modelo
2.5		Mensuração dos Escores de Eficiência
3.1	Regressão para Dados em Painel	Verificar a Homogeneidade da Base de Dados	Fávero e Belfiore (2017); Gujarati e Porter (2011)
3.2		Testes para Avaliação da Aderência dos Coeficientes
3.3		Teste de Regressão
3.4		Diagnósticos da Regressão

Fonte: Elaborado pelos autores

A coleta dos dados e sua tabulação foi realizada com o auxílio da suíte de escritório LibreOffice – Calc (versão 6.1.5.2), e o tratamento estatístico instrumentalizado por meio do software R (versão 3.5.1). Em suma, a escolha dos procedimentos direciona a pesquisa à criação das proxies de eficiência de gestão, agregadas às variáveis relacionadas ao orçamento público, de modo que suas observações possam ser regredidas e permitam explicar o volume das DEA’s em cada IFES.

4.Análise dos Resultados

A respeito da variável “Despesas de Exercícios Anteriores (DEA’s)”, percebe-se que há uma dispersão entre os menores valores e o primeiro quartil (x- 197,67; x- 2.569) do mesmo modo entre o terceiro quartil e o valor máximo (x- 28.163; x- 368.602). Os valores relacionados à média e a mediana não estão próximos (x- 27.470,78; x- 10.192,11), indicando que os valores acima do terceiro quartil poderiam distorcer a amostra.

Quanto aos valores das variáveis orçamentárias, destacam-se os dados que acusam a centralidade da distribuição, visto que os valores de média e mediana são aproximados (LOA x- 22.955; x- 18.162; CredDisp x- 1.842; x- 1.282 DespLiq x- 6.744; x- 5.332; RecDesp x- 995.836; x- 809.114). Entretanto, cabem testes específicos para atestar a distribuição normal da amostra; é provável a existência de outliers, em virtude do elevado coeficiente de variação entre algumas variáveis (LOA x- 0,84; CredDisp x- 0,94; DespLiq x- 0,89; RecDesp x- 0,80).

No que diz respeito às variáveis relacionadas à gestão das IFES, os indicadores de tendência central se comportaram de maneira aproximada, o desvio padrão é superior à média, o que confere uma maior volatilidade aos dados, percebido pelos coeficientes de variação (ENADE x- 5,29; CPC x- 4,53; IDD x- 8,43; IGC x- 4,43). A média dos valores encontram-se entre o primeiro e o terceiro quartil variando de 0,2018 a 0,3065.

Todavia, devido à sensibilidade da metodologia de Análise Envoltória de Dados dos outliers, a base de dados foi submetida ao procedimento de substituição elaborado por Lucas Komsta (2011) o qual verifica e adequação dos valores que poderiam comprometer o uso da ferramenta. Desta forma, os valores foram mantidos e optou-se por não excluir nenhuma observação.

No que se refere à correlação entre as variáveis, a matriz de correlação, obtida mediante a correlação de Pearson, com resultados analisados à significância de 5% (Fávero & Belfiore, 2017), indica a relação entre a “LOA” e as variáveis “Crédito Disponível”, “Despesas Liquidadas” e “Saldo entre Receitas e Despesas”, bem como entre o “Conceito ENADE” e o “CPC”, os quais merecem maior atenção, devido à possibilidade de multicolinearidade.

Tabela 1: Matriz de Correlação pelo Método de Pearson

	Desp92	LOA	CredDisp	DespLiq	RecDesp	ENADE	CPC	IDD	IGC
Desp92	1,000
LOA	0,606	1,000
CredDisp	0,338	0,834	1,000
DespLiq	0,599	0,860	0,648	1,000
RecDesp	0,308	0,136	0,000	0,219	1,000
ENADE	0,175	0,143	0,000	0,173	0,182	1,000
CPC	0,255	0,247	0,096	0,305	0,232	0,688	1,000
IDD	0,144	0,056	-0,043	0,046	0,144	0,521	0,629	1,000
IGC	0,135	0,285	0,210	0,322	0,094	0,363	0,420	0,238	1,000

Fonte: Elaborado pelos autores

Destaca-se que nenhuma das variáveis apresentou correlação negativa, junto às DEA’s, diferentemente do esperado, considerando que se presume que a eficiência de gestão, minimizem a necessidade de incorrer em práticas pouco defendidas na NAP (Ho, 2018).

4.1 Análise Envoltória de Dados

Para obtenção dos escores de eficiência, foi utilizado o modelo Análise Envoltória de Dados-CCR, elaborado por Chares, Cooper e Rhodes (1978), o qual mensura a eficiência global de forma objetiva. Cumpre acentuar que não foram identificadas variâncias de escalas que justificassem a adoção ao método BCC.

O modelo Análise Envoltória de Dados-CCR proposto foi orientado ao consumo (in), de sorte que a alteração nos fatores produtivos ocorra nos insumos ou, no caso do exemplo em tela, das Despesas Empenhadas. Desta forma, se reduz ao máximo a quantidade consumida para se produzir os mesmos indicadores de outputs (Casa Nova & Santos, 2008). O modelo Análise Envoltória de Dados-CCR orientado ao consumo pode ser representado matematicamente da seguinte forma (Casa Nova & Santos, 2008).

(1)

Sujeito a

(2)

(3)

(4)

Yr = quantidade de produto r; χi = quantidade de insumo i;

u,v = pesos

r = 1,…,m; i=1; j=1,..,N

Os escores indicam às IFES que mais se aproximam da fronteira eficiente, e aquelas que se distanciam desse benchmark. As fronteiras de eficiência de acordo com cada indicador podem ser observadas por meio da Figura 1, a qual demonstra a regularidade das instituições, frente aos indicadores. Ou seja, tanto na análise por períodos quanto por indicadores, as IFES avaliadas tendem a permanecer como mais ou menos ineficientes.

Figura 1: Fronteiras de Eficiência

Fonte: Elaborado pelos autores

Os resultados apontam que as instituições n°33 e n°46 são as que se destacam como menos ineficientes em praticamente todas as análises e os anos avaliados. Por outro lado, entre os anos de 2008 a 2011 a n°42 obteve escores que a destacam no limite da curva de eficiência.

Ademais, ressalte-se que a partir do ano de 2014 os escores de eficiência se aproximaram entre as instituições demonstrando a procura por melhores resultados, como defendido pela NAP (Førsund, 2017), embora pudessem encontrar restrições orçamentárias que poderiam influenciar no volume de inputs dispostos ao modelo (Fernández-Gutiérrez & Walle, 2018). Ou seja, independentemente do período ou indicador analisado, notou-se uma tendência de regularidade nos escores obtidos pelas instituições, de maneira que algumas se mantiveram próximas à fronteira eficiente, enquanto outras estiveram afastadas em todas as análises.

4.2 Análise de Regressão com Dados em Painel

A partir dos testes para avaliação da aderência dos coeficientes, as análises de regressão utilizaram o modelo por efeitos aleatórios, sugerindo que o comportamento apresentado pelas IFES são diferentes em cada cross-section. Fávero e Belfiore (2017) afirmam que nesta situação os parâmetros a1, bem como os termos de erro idiossincrático εit são independentes.

Inicialmente, conforme “Modelo 1” exposto pela Tabela 2, verificou-se a ausência de significância relativa às varáveis do “Conceito ENADE” e “Conceito Preliminar de Cursos”. Tais resultados foram recebidos com a devida parcimônia em virtude de aspectos não quantificáveis na mensuração de desempenho, que seriam de natureza qualitativa (Grasel, 2002). Nesse sentido, a variável “CPC” retrata situações em que o aluno opta por um curso sem as informações necessárias e sem as aptidões esperadas, o que poderia distorcer a análise (Grasel, 2002).

Tabela 2: Regressão por Dados em Painel

Modelo 1			Modelo 2
	Coef	P-val	Coef Exp	Erro	P-val
Intercepto	-746.182	< 2e-16***	0,0007	0,8089	2,2E-016***
LOA	202.642	< 2e-16***	7,7130	0,2174	2,2E-016***
CredDisp	-102.606	1.06e-11***	0,3582	0,1467	8,49E-09***
DespLiq	0.36792	0.00279**	1,3989	0,1166	0,004157**
RecDesp	-0.05924	2.27e-06***	0,9445	0,0122	3,52E-03***
IDD	0.58632	0.00825**	0,6106	0,1574	0,001821**
IGC	-148.252	2.94e-07***	4,5139	0,2566	7,77E-06***
ENADE	0.16380	0.59341	-	-	-
CPC	-0.28386	0.30056	-	-	-
R²		0,5249			0,5239
R² Ajust		0,5172			0,5181
Teste F	F(8,495) = 68,37, p-valor < 0,000		F(6,497) = 91,1466, p-valor < 0,000
F de Chow			F(8,489)=3,2333, p-valor = 0,001351
LM - Breuch-Pagan			ꭓ² (14,081) = 1, p-valor = 0,0001
Teste de Hausman			ꭓ² (2,2) = 6, p-valor = 0,8956

Modelo 1: DespExAntit = ai + β1.CredDispit + β2.DespLiqit + β3.LOAit – β4.RecDespit + β5.IDDit + β6.IGCit + β7.ENADEit + β8.CPCit + εit

Modelo 2: DespExAntit = ai + β1.CredDispit + β2.DespLiqit + β3.LOAit – β4.RecDespit + β5.IDDit + β6.IGCit + εit

Fonte: Elaborado pelos autores

Nota: Package editado por Croissant e Millo (2018); a variável dependente remete as “Despesas de Exercícios Anteriores”, calculadas por meio das despesas empenhadas sob a rubrica do elemento 92(DespExAnt); Foram calculados dois modelos distintos (1 e 2) em virtude da ausência de significância das variáveis Conceito ENADE (ENADE) e Conceito Preliminar de Cursos (CPC); considerando que o modelo 2 foi calculado por meio do logaritmo aplicado à base de dados, o resultado dos coeficientes de determinação foram exibidos com valores exponenciais, diretamente aplicáveis ao modelo representado na Equação 5; Significância ao nível de ***0,01, **0,05, *0,1.

Mediante o “Modelo 2”, nota-se que as variáveis relativas à gestão e a condução do orçamento foram significativas e permitem explicar aproximadamente 52,39% da variação encontrada nas “Despesas de Exercícios Anteriores”. Portanto, preliminarmente colocam-se como principais achados da pesquisa, a evidência de relação entre orçamento e eficiência de gestão junto ao registro contábil, além da necessidade de discussão a respeito de práticas que coíbam ações lesivas à execução orçamentária, como defendido pela accountability e pela Nova Administração Pública (Lima, 2018; Hyndman & Mckillop, 2019).

O emprego da regressão expôs qualidade estatística superior à média para determinar o volume das DEA’s registradas nas IFES (teste F(6.497)=91,1466, com p-valor <0,000). Cabe mencionar que os sinais dos coeficientes de cada variável não se comportaram como esperado inicialmente, de maneira que a variável “Crédito Disponível”, o “Saldo entre Receitas e Despesas” e o “IGC” apresentaram sinais opostos como esperado. Isso significa que tais variáveis contribuem, significativamente, de maneira inversa àquela fundamentada pelo referencial teórico (Fernández-Gutiérrez & Walle, 2018; Ho, 2018). Ou seja, ao se apropriar de conceitos trazidos do setor privado, a Nova Administração Pública revisa os arranjos governamentais e implementa uma nova filosofia de trabalho na esfera pública. Para tanto, é preciso estabelecer critérios de desempenho com foco na produtividade de entidades públicas, além da mensuração de seus resultados (Hyndman e Mckillop, 2019).

Por conseguinte, ainda se valendo dos resultados encontrados em Hyndman e Mckillop (2019), assume-se a relevância da distinção entre as instituições consideradas eficientes, com critérios que incluem o desempenho financeiro, a contabilidade e o orçamento. Ou seja, junto aos critérios de eficiência, a execução orçamentária traz consigo a capacidade de facilitar a gestão e tornar o setor público mais eficaz em suas atividades.

No que se refere às variáveis ligadas ao orçamento é preciso esclarecer que a significância encontrada reflete o impacto, positivo ou negativo, que o orçamento, enquanto vetor de políticas públicas, ecoa sobre a gestão institucional (Giacomoni, 2018).

Dessa forma, um aumento no “Crédito Disponível” e no “Saldo entre Receitas e Despesas” ocasionam maiores volumes de recursos e menores necessidades de incorrer em DEA’s. Do mesmo modo, o conceito obtido no “IGC” explica, de forma positiva proporcional, a necessidade deste tipo de despesa.

Cumpre destacar que os resíduos da regressão foram analisados e todos os pressupostos necessários à validade e confiabilidade do modelo foram atendidos, como no caso da Figura 2, a qual permite afirmar que tal dispersão não se afasta de uma distribuição normal, atendendo ao pressuposto da normalidade.

Figura 2: Histograma dos Resíduos

Fonte: Elaborado pelos autores

Outro diagnóstico necessário retrata a ausência de heterocedasticidade, a qual pode estar relacionada com a omissão de variáveis que podem ser relevantes ao modelo. Para Gujarati e Porter (2011) o teste de Goldfeld-Quandt, cujo resultado (GQ(2,245)=0,87206, p-valor = 0,08577) reflete a homocedasticidade nos resíduos. Acrescente-se que para detectar a ausência de autocorrelação, como verificado na Figura 3, é possível afirmar que a dispersão dos resíduos não apresenta um padrão.

Figura 3: Histograma dos Resíduos

Fonte: Elaborado pelos autores

O teste utilizado para indicar a existência de multicolinearidade foi o Fator de Inflação da Variância (FIV), demonstrado na Tabela 3.

Tabela 3: Regressão por Dados em Painel

LOA	CredDisp	DespLiq	RecDesp	IDD	IGC
8,428447	3,859604	4,451066	1,119328	1,492176	1,5423

Fonte: Elaborado pelos autores

Os valores de FIV, segundo Gujarati e Porter (2011), que forem superiores a 10, indicam que a variável pode ser entendida como altamente colinear. Considerando o entendimento dos autores em questão, nenhuma das variáveis apresentou problema. E ainda segundo os autores um dos métodos mais utilizados de detecção de erros de especificação do modelo é o teste RESET de Ramssey (Regression Specification Error Test), o qual, sugere que o modelo foi especificado de modo apropriado (RESET (1,496) = 14,942, p-valor = 0,0001).

4.3 Considerações sobre os Resultados da Análise

Cabe aqui resgatar a proposição feita pela hipótese de pesquisa, a qual supõe que a relação “do orçamento e da eficiência de gestão nas IFES explica a variação encontrada no volume de despesas empenhadas sob o elemento de despesas 92(DEA’s)”.

Acentue-se que o presente estudo não se aprofunda nas causas que tem levado ao aumento generalizado de registro das DEA’s nas IFES. Caberiam ainda, investigações acerca dos desafios que os gestores públicos têm enfrentado que os impedem de reduzir este fenômeno.

Vale mencionar que, por meio de análise gráfica não foram encontrados outliers que pudessem comprometer as análises, razão pela qual, aqueles que foram encontrados, depois de realizados procedimentos estatísticos de suavização linear dos dados, foram mantidos. Além disso, os testes descritivos apontam que, de maneira geral, houve uma tendência de centralidade na amostra, coincidindo entre os valores de média e mediana.

O uso da metodologia de Análise Envoltória de Dados permitiu a criação de escores de eficiência. Situação em que não houve a intenção de aprofundamento nas possibilidades de utilização da técnica, haja vista que visando à persecução do problema de pesquisa, os escores foram utilizados como ferramenta para obtenção das variáveis necessárias ao modelo econométrico. Posto isso, cumpre esclarecer que a partir dos estudos de Moreno-Enguix e Bayona (2017), percebe-se que diversas instituições deixam de operar em sua capacidade ideal, em termos de eficiência pública. Logo, a comparabilidade tem a capacidade de incentivá-las a adotar medidas que as tornem mais capazes de atender a demanda social.

Entretanto, os resultados encontrados com a Análise Envoltória de Dados indicam que o posicionamento das instituições junto à fronteira de eficiência foi regular em grande parte das avaliações, permitindo afirmar que as instituições mantiveram seus escores estáveis em relação ao aspecto abordado no decorrer dos anos.

A análise de regressão linear múltipla com dados em painel demonstrou que a variação encontrada nas variáveis independentes, sujeitas a “LOA”, “Crédito Disponível”, “Despesas Liquidadas”, “Saldo de Receitas e Despesas”, “Indicador de Diferença entre os Desempenhos Observado e Esperado” e o “Índice Geral de Cursos” são capazes de explicar 52,39% da variância encontrada nas Despesas de Exercícios Anteriores. Neste sentido, com os resultados encontrados pelo teste F, não se rejeita a hipótese alternativa, de forma que se aceitam as significâncias estatísticas entre as variáveis independentes sobre as Despesas de Exercícios Anteriores (F(6,497) = 91,1466, p-valor < 0,000).

Os resultados apontam que o valor orçado pela LOA, o volume de Créditos Disponíveis, as Despesas Liquidadas e saldo entre Receitas e Despesas executadas, representam as variáveis orçamentárias relevantes ao modelo. O que vai ao encontro do entendimento de Fernández-Gutiérrez e Walle (2018), quando mencionam a importância do orçamento público, como elo entre o planejamento e a execução de políticas públicas. Com isso, se aceita que gestores na busca de ajustar as finanças da entidade, podem lançar mão de mecanismos que encobrem déficits e alterem seus resultados, descumprindo limites estabelecidos ou deixando de registrar passivos, como no caso das DEA’s. Por vezes tais valores deixam de ser registrados desonerando a gestão e tendo reflexos em indicadores, decorrentes da ausência desses registros (Lima, 2018).

Esse entendimento sobre a importância do orçamento público, como ferramenta de gestão de políticas públicas é reforçado pela significância observada nas variáveis independentes ligadas a este conceito (Giacomoni, 2018). Portanto, acentua-se que a gestão acadêmica é, também, reflexo da condução orçamentária especialmente, no âmbito da presente pesquisa, no que se refere às DEA’s, denotando a discricionariedade do gestor público ao coibir a ocorrência do fato gerador das despesas do exercício do seu empenhamento, sempre que possível. Logo, a partir dos achados de estudos anteriores (Hyndman & Mckillop, 2019), percebe-se que os conceitos de eficiência e orçamento público são aproximados e relevantes à tomada de decisão contábil. Entretanto, por vezes, gestores podem se apropriar das condições orçamentárias e implementar medidas que prejudiquem a representação fidedigna das contas públicas, mascarando eventuais resultados orçamentários, contábeis e accountability, como no caso do reconhecimento tardio das DEA’s.

No que concerne à gestão dos recursos, os escores de eficiência relativas ao “IDD Observado e Esperado” e o “IGC” avaliados das IFES também se mostraram relevantes. Tal eficiência remete a transformação do capital humano por meio da formação acadêmica (Førsund, 2017), output que reflete uma das finalidades das IFES. Portanto, compreende-se que um dos méritos do presente estudo reside em evidenciar que os recursos orçamentários disponíveis para atingimento de melhores indicadores de qualidade de ensino, aliados à gestão eficiente, podem inferir sobre a condução orçamentária (Kettl, 2006; Pascarelli Filho, 2011).

Mathiasen (1999) corrobora com as afirmações supracitadas, mencionando que, dado o complexo conjunto de mudanças estruturais necessárias para a adoção integral do regime gerencial nas instituições públicas, os modelos vigentes tendem a ser aperfeiçoados, de modo que a transição ocorra de maneira gradativa à medida que a sociedade e o gestores consigam assimilar os novos conceitos da forma de gestão pautada por desempenho e não pelos processos.

Para fundamentar a relação entre os conceitos abordados, os pressupostos defendidos pela NAP, em especial no que cabe ao uso racional do orçamento público e a eficiência de gestão, evidencia-se a necessidade de apreço da accountability com a coisa pública para obtenção de resultados à sociedade (Fernández-Gutiérrez & Walle, 2018; Ho, 2018).

Ademais, tendo em conta os estudos de Jong, Neulen e Jansma (2019), admite-se que a participação social como ferramenta de controle governamental é ímpar na fiscalização e responsabilização por atos das práticas no exercício da gestão pública. Sob essa perspectiva, a participação coletiva não se sobrepõe a atuação dos tribunais de contas, pelo contrário, somam-se forças que são minimizados os espaços para práticas lesivas ao orçamento público. Por esse ângulo, o anseio à legitimidade de suas ações faz com que as instituições revejam seus acordos, processos e arranjos administrativos. Concedendo a mudança necessária ao ambiente estatal, em atendimento aos propósitos sociais, o que se materializa nos indicadores de gestão (Wallmeler et al, 2018).

Os resultados permitem discutir os pressupostos da NAP e da accountability, sob o contexto da responsabilidade assumida na função pública, especialmente quando os apontamentos dos tribunais de contas são notáveis ao suporte no controle dos recursos geridos pelas organizações (Abouassi & Trent, 2016).

Além disso, a pesquisa realizada por Santos, Barbosa, Martins e Moura (2017) ao abordar a relação entre a utilização de recursos orçamentários e o desempenho de indicadores, advoga em seus achados, que os órgãos de controle podem se valer dos diagnósticos de gestão ineficazes para corrigir possíveis falhas no processo de execução do orçamento público.

Portanto, resta claro que utilização demasiada das DEA’s fragiliza o contexto institucional das organizações públicas à medida que esconde a real situação financeira, orçamentária e patrimonial do ente público (Silva, Batista & Nascimento, 2017). Ademais, com o auxílio dos estudos relacionados ao tema (Costa, Travassos, Libonati, Ribeiro Filho, & Soares, 2011; Silva, Batista & Nascimento, 2017), nota-se a necessidade de adoção de procedimentos que coíbam a prática indiscriminada na inscrição das DEA’s, incumbindo aos Tribunais de Contas à fiscalização e responsabilização.

5. Conclusões

A presente pesquisa teve por o objetivo avaliar a relação entre as Despesas de Exercícios Anteriores e as variáveis associadas ao orçamento e a eficiência de gestão de recursos nas Instituições Federais de Ensino Superior. Nessa seara, tais despesas, representam um fenômeno que não pode ser desconsiderado, tampouco expurgado das boas práticas orçamentárias, contábeis e de accountability, em virtude de serem necessárias para o adequado registro. Todavia, sua aplicabilidade deve ser comedida, à custa de um orçamento que permita aos gestores públicos planejar suas ações e destinar adequadamente os recursos necessários à atividade das IFES.

Para a consecução da pesquisa, as variáveis relacionadas à eficiência de gestão, ligadas ao Conceito ENADE e ao Conceito Preliminar de Cursos, não se mostraram estatisticamente significativas e foram excluídas da análise. Por sua vez, o IDD observado e esperado e o IGC foram agregados ao Crédito Disponível, as Despesas Liquidadas, a LOA e ao Saldo de Receitas e Despesas, para composição do modelo econométrico.

Em resposta ao objetivo da pesquisa, o modelo proposto assevera que 52,39% das DEA’s possam ser explicadas pelas variáveis de orçamento e eficiência de gestão. Portanto, a partir dos resultados encontrados, o estudo traz à tona a discussão sobre as variações encontradas em algumas IFES para o volume de despesas registradas sob o elemento 92(DEA’s). Num contexto em que o volume de registros das DEA’s crescem de modo temerário, torna-se mister levantar ferramentas que permitam aos gestores se prepararem para os efeitos junto ao orçamento vigente.

Ademais, com o alicerce obtido junto à Nova Administração Pública e tendo em vista os objetivos das IFES analisadas, a qualidade das políticas públicas ofertadas pressupõe o uso eficiente de seus recursos no atendimento à sociedade. Ou seja, a transformação do capital humano pela formação acadêmica está alinhado com o suporte orçamentário.

Importante citar também que a vertente do controle social, inerente ao exercício pleno da accountability, recorrentemente aludido pelos tribunais de contas, possibilita que os conceitos utilizados na presente pesquisa possam ser analisados em conjunto. Por isso, considera-se que fatores como transparência, prestação de contas, responsabilização de gestores, comparação entre instituições, dentre outros, permitem que a administração pública evolua, torne-se menos custosa e mais produtiva, zelando pelo patrimônio público e na oferta de melhores serviços.

Exige-se portanto, maior zelo com a administração pública ao gerenciar de forma legitima e eficaz os recursos públicos disponíveis, trazendo à tona a relevância da eficiência na gestão, traduzida em práticas se voltem à maximização dos resultados à sociedade.

Posto isso, é prudente frisar que, por meio destes achados, o relacionamento entre os conceitos de orçamento público e eficiência de gestão sustente o debate acerca de práticas que melhorem seus indicadores de ensino, permitam reduzir despesas, melhorem a relação entre os custos e os resultados de suas atividades fins.

O presente estudo apresenta limitações, em relação ao lapso temporal, que poderia ser estendido se houvessem dados disponíveis, o que limitou as análises e prejudicou o erro amostral observado. Para pesquisas futuras, recomenda-se que se verifiquem outros períodos, instituições e variáveis que poderiam ampliar o poder explicativo do modelo proposto.

Ademais, caberia ainda verificar possíveis causas para o descompasso entre a ocorrência do fato gerador da despesa e a consignação do crédito orçamentário na forma do empenho da despesa e como minimizar seus impactos no planejamento, orçamento e financeiro das IFES.

REFERÊNCIAS

Abouassi, K.; & Trent, D.L. (2016). NGO Accountability From an NGO Perspective: Perceptions, Strategies, and Practices. Public Administration and Developent. 36(1), 283-296. DOI https://doi.org/10.1002/ pad.1764.

Abreu, C.R.; & Câmara, L.M. (2014). O Orçamento Público Como Instrumento de Ação Governamental: uma análise de suas redefinições no contexto da formulação de políticas públicas de infraestrutura. Revista de Administração Pública. 49(1), 73-90. DOI http://dx.doi.org/10.1590/0034-76121776.

Albuquerque, C.M.; Medeiros, M.B.; & Feijó, P.H. (2013). Gestão de Finanças Públicas. (3ª ed). Brasília: Gestão Pública

Aziz, M.A.A.; Rahman, H.A.; Alam, M.M.; & Said, J. (2015). Enhancement of the Accountability of public Sectors Through Integrity Sustem, internal Control System and Leadership Practices: A Review Study. Procedia Economics and Finance. 28(1), 163-169. DOI 10.1016/S2212-5671(15)01096-5.

Brasil. Lei N° 4.320, de 17 de março de 1964. (1964). Estatui Normas Gerais de Direito Financeiro para elaboração e controle dos orçamentos e balanços da União, dos Estados, dos Municípios e do Distrito Federal. Brasília, DF. Recuperado em 06 junho, 2018, de http://www.planalto.gov.br/ccivil_03/leis/L4320.htm

Casa Nova, S.P.; & Santos, A. (2008). Aplicação da Análise por Envoltória de Dados Utilizando Variáveis Contábeis. Revista Contabilidade e Organizações. 3(2), 132-154. DOI https://doi.org/10.11606/rco.v2i3.34717.

Castaldelli Junior, E.; & Aquino, A.C.B. (2011). Indicadores de Desempenho em Entidades Fiscalizadoras Superiores: O Caso Brasileiro. Revista Contabilidade Vista e Revista. 22(3), 15-40. ISSN: 0103-734X.

Charnes, A.; Cooper, W.W.; & Rhodes, E. (1978). Measuring the Effciency of Decision Making Units. European Journal of Operational Research. v2, 429-444. DOI https://doi.org/10.1016/0377-2217(78)90138-8.

Consulta 932736 – TCEMG (2016). Recuperado em 07 junho, 2018, de http://tcjuris.tce.mg.gov.br/Nota/ BuscarArquivo/1109957

Croissant, Y.; & Millo G (2018). Panel Data Econometrics with R: the plm package_. Wiley.

Decisão 437/11 – TCEDF. (2011). Recuperado em 09 julho, 2018, de https://www.tc.df.gov.br/app/mesaVirtual/implementacao/?iddocindex=276575&a=documento&f=downloadPDF&iddocumento=152714

Dissanayake, T.; Dellaportas, S.; & Yapa, P.W.S. (2019). The diffusion‐adoption of accrual accounting in Sri Lankan local governments.Financial Accountability & Management. 1-17. DOI 10.1111/faam.12222.

Fávero, L.P.; & Belfiore, P. (2017). Manual de Análise de Dados. Rio de Janeiro: Elsevier.

Fernádez-Gutiérrez, M.; & Walle, S.V. (2018). Equity or Efficiency? Explaining Public Official’s Values. Public Administration Review. 79(1), 25-34. DOI https://doi.org/ 10.1111/puar.12996.

Førsund, F.R. (2017). Measuring Effectiveness of Production in the Public Sector. Omega. 73(1), 93-103. DOI: 10.1016/j.omega.2016.12.007.

Freides, T. (1992). Inspector General Reports as Instrumentos of Governmental Accountability. Government Information Quarterly. 9(1), 53-64.

Giacomoni, J. (2018). Orçamento Público. (17 ed). São Paulo: Altas.

Giacomini, J. (2019). Orçamento Governamental: teoria, sistema, processo. São Paulo: Atlas.

Grasel, D. (2002). Avaliação de Qualidade e Melhoria do Ensino nas Instituições Federais de Ensino Superior Brasileiras. Revista de Estudos Sociais. 4(7), 31-43.

Gujarati, D.N.; & Porter, D.C. (2011). Econometria Básica. (5ª ed.). Porto Alegre: AMGH.

Harrison, T.M.; & Sayogo, D.S. (2014). Transparency, Participation, and Accountability Praticies in Open Government: A Comparative Study. Government Information Quarterly. 31(4), 513-525. DOI: 10.1016/j. giq.2014.08.002.

Hyndman, N.; & Mckillop, D. (2019). Accounting for the Public Sector at a Time of Crisis. Abacus. 55(3), 437-451. DOI 10.1111/abac.12170

Ho, A.T. (2018). From Performance Budgeting to Performance Budget Management: Theory and Practice. Public Administration Review. 1-11. DOI https://doi.org/10.1111 /puar.12915.

INEP. Portaria 515 de 14 de junho de 2018. (2018). Recuperado em 18, jul. 2018 de http://download. inep.gov.br/educacao_superior/indicadores/legislacao/2018 /portaria _n515_de_14062018_define_indicadores_qualidade_2017.pdf

Jong, M.D.T.; Neulen, S.; & Jansma, S.R. (2019). Citizens' intentions to participate in governmental co-creation initiatives: Comparing three co-creation configurations. Government Information Quarterly. 36(3), 490-500. DOI 10.1016/j.giq.2019.04.003

Kaul, M. (1997). The New Public Administration: Managment Inovations in Government. Public Administration and Development. 17(1), 13-26. DOI https://doi.org/10.1002/(SICI)1099-162X(199702)17:1<13:AID-PAD909>3.0.CO;2-V

Kettl, D.F. (2006). A revolução global: reforma da administração do setor público. In Bresser-Pereira, L.C.; & Spink, P.K. (Org). Reforma do Estado e Administração Pública Gerencial. (7 ed, pp 75 – 122). Rio de Janeiro: Editora FGV.

Komsta, L. (2011). outliers: Tests for outliers. R package version 0.14. https://CRAN.R-project.org/package=outliers

Kvalvik, Ø.; & Boe, O. (2015). Effective use of resources in the public managmen sector in Norway. Procedia Economics and Finance. 26 (1), 869-874. DOI: 10.1016/S2212-5671(15)00896-5

Lima, D.V. (2018). Orçamento, contabilidade e gestão no setor público. São Paulo: Atlas.

Mathiasen, D.G. (1999). The New Public Management and Its Critics. International Public Management Journal. 2(1), 90-111.

MCASP. (2019). Manual de Contabilidade Aplicada ao Setor Público. (8ª ed). [Manual]. Ministério da Fazenda. Brasília: Secretaria do Tesouro Nacional.

Melo, M.A.; Pereira, C.; & Souza, S. (2014). Why do Some Governments Resort to ‘Creative accounting’ But not Others? Fiscal Gonernance in the Brazilian Federation. International Political Science Review., 1-18. DOI https://doi.org/10.1177/ 019251 211 4543160.

Monteiro, B.R.P.; & Gomes, R.C. (2013). Experiências Internacionais com o Orçamento Público por Regime de Competência. Revista Contabilidade e Finanças. 24(62), 103-112. DOI http://dx.doi.org/10.1590/ S1519-70772013000200002.

Moreno-Enguix, M.DR.; & Bayona, L.V.L. (2017). Factors Affecting Public Expenditure Efficiency in Developed Countries. Politics & Policy. 45(1), 105-143. DOI 0.1111/polp.12194

Pascarelli Filho, M. (2011). A Nova Administração Pública: Profissionalização, Eficiência e Governança. São Paula: DVS.

R Core Team (2019). R: A language and environment for statistical computing. R Foundation for Statistical Computing, Vienna, Austria. URL https://www.R-project.org/.

Roth, L.; Espíndola, A.M.S.; Santos, V.O.; Dorion, E.C.H.; Fachinelli, A.C.; & Severo, E.A. (2013). A Estrutura do Ensino Superior no Brasil. Revista Gestão Universitária na América Latina. 6(3), 111-126.

Santos, A.R.; Barbosa, F.L.S.; Martins, D.F.V.; & Moura, H.J. (2017). Orçamento, Indicadores e Gestão de Desempenho das Universidades Federais Brasileiras. Administração Pública e Gestão Social. 9(4), 276-285. DOI http://dx.doi.org/10.21118/apgs.v1i4.1295.

Santos, F.R.; Jankoski, A.R.M.C.; Oliveira, A.G.; & Rasoto, V.I. (2017). O Orçamento-Programa e a Execução das Políticas Públicas. Revista do Serviço Público. 68(1), 191-212. DOI https://doi.org/10.21874/rsp.v68i1.1038.

Silva, C.A.T.; & Revorêdo, W.C. (2005). Economicidade na Gestão Pública Municipal: Um estuo das decisões do Tribunal de Contas do Estado de Pernambuco. Revista Universo Contábil, 1(2), 09-22.

Silva, C. C.; Batista, C.E.C.; & Nascimento, V.F.S. (2017). Despesas de Exercícios Anteriores como instrumento de gestão de resultados fiscais nos estados brasileiros. Revista do BNDES. n. 48, p. 103-158

TCE/PR. (2018). Consulta de Decisões. Tribunal de Contas do Paraná. Recuperado em 09 julho, 2018, de http://www1.tce.pr.gov.br/busca/jurisprudencia/area/242.

TCU. (2018). Pesquisas de Jurisprudência do TCU. Tribunal de Contas da União. Recuperado em 09 julho, 2018, de https://contas.tcu.gov.br/pesquisa Jurisprudencia /#/pesquisa/acordao-completo.

Wallmeler, F.; Helmig, B.; & Feeney, M.K. (2018). Knowledge Construction in Public Administration: A Discourse Analysis of Public Value. Public Administration Review. 0(0)1 -12. DOI https://doi.org/10.1111/ puar.13005.