Avaliar ou não o desempenho?

Por Luís Valadares Tavares |

A evolução moderna da contratação pública orienta-se, não só pelo respeito pelas normas legais aplicáveis, mas também prosseguindo o paradigma do “ Value for Money”, ou seja, visando alcançar os melhores resultados a partir dos recursos públicos despendidos o que implica não só melhorar a formação dos contratos públicos mas também a sua execução.

Eis porque as novas diretivas da UE aprovadas em 2014 dão especial importância ao conceito de desempenho contratual e da sua avaliação, incluindo um novo capítulo sobre “ Contract performance” e permitindo mesmo a não habilitação do operador económico em função de “bad performance” passada.

Todavia, a avaliação do desempenho do cocontratante na execução de contratos públicos tem levantado múltiplas dificuldades pelo que neste artigo o autor propõe uma metodologia para a sua aplicação, permitindo-se, assim, novos desenvolvimentos inovadores e que muito poderão contribuir para melhorar o nível de eficiência alcançado e que se baseiam na chamada abordagem do “ performance based contracting” a qual tem sido aplicada com sucesso em diversos setores.

1. INTRODUÇÃO

A motivação para a proposição de novas Diretivas pela Comissão Europeia radicou-se prevalecentemente na pergunta inicial formulada pelo Comissário Michel Barnier, então responsável pelo Mercado Interno e Serviços Financeiros, logo no início de 2010: Como podem os mercados públicos cujo valor corresponde a tão elevada percentagem do PIB comunitário, ajudarem a responder à grave crise surgida em 2009 e a prosseguir a estratégia EU 2020. [Comissão Europeia, 2010]

Compreendem-se, assim, as orientações assumidas pelas novas Diretivas finalmente aprovadas em 2014 [União Europeia, 2014] e também a metodologia adotada para a sua preparação em que o autor desta breve nota colaborou e que incluiu diversas atividades muito interessantes visando discutir os caminhos que permitirão aproximar a contratação pública das melhores práticas internacionais.

Ora, nesse âmbito realizaram-se encontros e debates com grandes compradores privados de diversos setores (indústrias alimentar, automóvel, etc.) a fim de identificar as similitudes e divergências tendo sido bem evidente que uma das principais dissemelhanças residia na problemática da avaliação do desempenho (“Performance Evaluation”) entendendo-se esta avaliação como a comparação- baseada em indicadores objetivos e mensuráveis (“ Performance Scoreboard” ou “Painel de Indicadores de Desempenho” ) – entre os resultados obtidos pelo cocontratante e as metas previamente fixadas e assumidas as quais devem constar obrigatoriamente do Caderno de Encargos. Na verdade, no mundo empresarial é quase impensável qualificar ou contratar, quer em procedimentos rápidos baseados em convites, quer em procedimentos concorrenciais mais longos e complexos, sem que se considerem os painéis referidos, verificando-se mesmo a sua padronização por indústria pelo que se pode generalizar o uso de “benchmarking” o qual se deve traduzir por “comparação dos resultados obtidos com resultados consideráveis como boas práticas de referência”.

Este debate influenciou as novas Diretivas, começando pelo próprio título da Diretiva 2014/24/EU o qual, na versão da língua de trabalho, deixou de ser “coordination of the procedures for the award o public work contracts” (Diretiva 2004/18/ EU) [União Europeia, 2004] para passar a ser “on Public Procurement”[1] lamentando-se mais este erro da versão portuguesa cujo título passou a referir “contratos públicos”, expressão que em inglês corresponderia a “public contracts”. A nova Diretiva inclui o capítulo IV sobre “contract performance “ e, em diversas disposições assinala-se a importância da avaliação de desempenho ( qualificação, “bad performance”, etc.).

Ora, é bem conhecida a tradição cultural portuguesa de pouco apreciar e disseminar práticas de avaliação de desempenho referindo-se como tardias e tímidas as avaliações de desempenho na Função Pública e a longa e polémica viagem que o país teve de realizar para poder conhecer a comparação entre resultados obtidos nas diversas escolas do Ensino Básico e Secundário pelo que não surpreenderá que se verifique situação semelhante nos mercados públicos o que justifica esta brevíssima nota.

2. AVALIAR: PARA QUÊ?

A questão dos objetivos da avaliação de desempenho dos cocontratantes é central pois se se condicionar cada aplicação das maiores dúvidas de racionalidade ou legitimidade jurídica, esta evolução não se justifica. O autor crê que se devem considerar quatro respostas a esta pergunta [Tavares, 2009]:

• Para incentivar os bons desempenhos

Na verdade, se o cocontratante souber, desde o momento de apresentação da proposta, que, caso mereça a adjudicação do contrato, a sua execução será periodicamente avaliada segundo o painel de indicadores constante do Caderno de Encargos e que tais resultados ficarão a constar de informações e documentos acessíveis, por exemplo, através do Observatório dos Contratos Públicos, cria-se um incentivo ao esforço de executar o contrato da melhor forma

• Para premiar os bons desempenhos

A previsão de compensações positivas (acréscimos remuneratórios pela melhor execução do contrato) ou negativas (se a execução não for tão elogiável), é muito importante e não deve ser confundida com qualquer sistema de sanções que penalizem o desrespeito de cláusulas contratuais já que o sistema de compensações referido aplica-se a situações em que não há qualquer violação contratual pelo que também o seu tratamento jurídico é distinto. Este sistema de compensações permite estabelecer o chamado “contract based-performance” que internaliza no próprio cocontratante a exigência de bom desempenho. Note-se, aliás, que tal sistema pode mesmo permitir formular o modelo de avaliação de propostas sem se basear no preço proposto mas sim no vetor X que represente a sensibilidade da redução do preço a pagar (P) face ao preço base estabelecido (Pb) segundo a fórmula:

em que X é o vetor linha dos coeficientes de sensibilidade e D(i) é o vetor coluna das diferenças entre as metas de desempenho e os níveis atingidos.

Como é evidente, a síntese de X num escalar poderá ser conseguida usando um modelo de agregação linear tal como se propõe no Código dos Contratos Públicos (CCP) [Portugal, 2008] sendo o tema da escolha da correspondente ponderação muito interessante e a desenvolver noutro artigo.

• Para reduzir o risco de incumprimento

A questão da minimização e controle do risco de incumprimento de qualquer contrato é central em todo o processo de contratação, pública ou privada, já que qualquer contrato se baseia numa promessa de execução (“proposta”) cuja execução importa assegurar.

Nas áreas de especialidade do autor, a Investigação Operacional e a Teoria de Sistemas, tem-se desenvolvido vasto corpo teórico sobre a formação e a negociação dos contratos [Tavares et al., 1996] bem como sobre as suas consequências em termos de risco, benefícios e custo (Teoria do “Principal-Agent”) [Simon,1947] [Salanie, 1997][ inerentes à externalização da execução objeto da contratação a qual foi aprofundada por Coase [Coase, 1937] , autor que veio a ser distinguido com o Prémio Nobel. Ora estes resultados demonstram que em qualquer contratação se cria um quadro de assimetria de informação e de menor controle externo pelos clientes (“principal”) face ao cocontratante (“agent”) pelo que importa introduzir sistemas “internos “ao contrato para automatizar a compensação de qualquer afastamento face ao prometido.

Eis porque a introdução de painéis de avaliação de desempenho com base nos quais se pode condicionar a função remuneratória aos resultados obtidos é uma das mais recomendadas estratégias para mitigar o risco inerente, mas nunca anulável relativo à execução de qualquer contrato.

• Para qualificar os operadores económicos

Sempre que a entidade adjudicante considere que a execução do contrato exige requisitos adicionais face aos da habilitação, introduz uma fase de qualificação que, segundo as novas Diretivas podem incluir dimensões financeira, técnica e profissional , acompanhando assim as boas práticas do setor privado.

Note-se que a “ raizon d`être “ desta fase não é mais do que também reduzir o risco de mau desempenho contratual pelo que os indicadores escolhidos devem ser aqueles que melhor possam predizer o desempenho durante a execução, compreendendo-se assim que a entidade adjudicante deva verificar se a dimensão financeira é suficiente , se o know-how é apropriado e se os talentos profissionais oferecidos pelo operador económico permitem aceitar que o operador económico participe no procedimento com reduzido e aceitável risco de incumprimento.

3. COMO EVITAR A “FUGA” DOS RESULTADOS PARA OS RECURSOS?

Tradicionalmente, em Portugal, sempre que surgem dificuldades em algum setor de atividade surge a “explicação” de não serem suficientes os recursos disponíveis, quase sempre humanos e expressos pelo número de trabalhadores, admitindo-se implicitamente que existe uma relação determinística entre meios e resultados. Ora a evolução da sociedade tem vindo a acentuar exponencialmente a importância das outras componentes, designadamente das opções quanto aos modelos de gestão, da capacidade de direção e liderança, da potenciação dos recursos tecnológicas cada vez mais diversificados e integráveis ou ainda dos três principais tipos de inovação (produto, processo e canais) pelo que a diversidade de resultados obtidos com recursos semelhantes é cada vez mais evidente tal como o próprio autor concluiu de análises comparativas entre serviços públicos com a mesma missão e cuja percentagem de orçamento afeta ao próprio serviço e não distribuído aos beneficiários variava entre 20 e 60 %.

Esta diversidade também contribui para as desvantagens de adoção de regras de exclusão baseadas no preço global anormalmente baixo pois irão penalizar a eficiência e a inovação, compreendendo-se assim que a nova Diretiva de 2014 tenha passado a referir também o fundamento em “custos” sendo este plural muito importante pois permite passar a considerar vetores de custos unitários e matrizes de custos por produtos. Exemplificando, deverão ser excluídas as propostas mais inovadoras de fornecimento de redes tecnológicas de segurança conseguindo melhores resultados com meios reduzidos ou as de restauração que atingem elevada qualidade com alimentos básicos? É evidente que não!

Compreende-se assim o impacto negativo do CCP nos mercados públicos ao disseminar a regra do preço anormalmente baixo, com referencia a percentagens fixas (!), como principal estratégia de redução de risco.

Ora, a tendência nacional de preferir admitir que os meios determinam os resultados também tem estado presente na contratação pública, designadamente na qualificação técnica onde se verifica a preferência por indicadores, não de resultados (experiência, avaliação de contratos anteriores, etc.) mas sim de meios (quadros de pessoal, equipamento, etc.) e o autor tem ficado surpreendido com opiniões jurídicas também neste sentido parecendo considerar estes atributos mais objetivos e referindo mesmo que os primeiros serão discriminatórios contra os operadores mais jovens e não experientes ou não avaliados no passado.

Julga-se que esta preferência resulta de dois equívocos:

1. o primeiro sobre a discriminação já que se trata, sim, de seleção, visando, reduzir o risco de incumprimento- dever inalienável da entidade adjudicante- sendo esse o objetivo da qualificação tal como claramente expresso no Artigo 58º da Diretiva 2014/24/EU :

“No que respeita à capacidade técnica e profissional, as autoridades adjudicantes podem impor requisitos de molde a assegurar que os operadores económicos disponham dos recursos humanos e técnicos e da experiência necessários para assegurar um nível de qualidade adequado na execução do contrato”

ou seja, o objetivo é “assegurar um nível de qualidade”, o que signficia reduzir o risco de não atingir o nível de qualidade adequado.

1. o segundo respeita a objetividade já que os dados sobre recursos correspondem frequentemente a descrições formais, pouco significativas e atuais enquanto os resultados obtidos podem ser expressos de forma bem mais significativa e não menos objetiva.

Como é evidente, deve permitir-se que a informação sobre os resultados possa ser apresentada sob diversas formas e com base em indicadores alternativos para não introduzir limitações indesejáveis, muito especialmente enquanto não se divulgarem e padronizarem painéis de indicadores de desempenho.

4. COMO ELABORAR O PAINEL DOS INDICADORES DE AVALIAÇÃO DE DESEMPENHO?

Como é evidente, este conjunto de indicadores deve depender da natureza de cada contrato e das preferências da entidade adjudicante mas é possível apresentar sugestões genéricas:

1. Decompor o objeto do contrato em componentes (módulos) aqui definidos como componentes do objeto com identidade e utilidade próprias (Ex: blocos de uma construção escolar ou tipos de equipamento a adquirir ou fases de implementação de projeto informático).
2. Fazer corresponder a cada uma destas componentes e i=1,….,N, a metas (“milestones”) importantes as quais devem ser expressas por indicadores associados à componente considerada devendo em geral incluir indicadores relativos ao preço, Ip(i), ao tempo em que ficou completado i, It(i) e ainda ao nível de qualidade atingido Iq(i).
3. Definir cada indicador referido anteriormente em função do mensurador que descreva o nível atingido relacionando-o com o mínimo aceitável e com o de excelência. Assim, podem sugerir-se funções como aquelas que se representam seguidamente:

Sendo:

PM(i) e PE(i) o máximo preço aceitável e o mínimo preço verosímil para i ;

TM(i) e TE(i) o prazo máximo e o prazo mínimo verosímil para i;

Qm(i) e QE (i) o nível de qualidade mínimo e de excelência para i.

1. Definir os indicadores globais da avaliação de desempenho da execução do projeto através das médias obtidas para as N componentes:

5. QUE QUADRO LEGAL?

Convêm agora observar que o quadro legal é inequivocamente favorável à tese aqui defendida pelo autor, prevendo avaliação de critérios baseados em resultados passados- experiência- tal como se pode verificar:

1. a Diretiva de 2004 já era clara ao referir no seu artigo 48 -2 a) sobre os elementos a solicitar para a avaliação relativa à capacidade técnica:

“apresentação da lista das obras executadas nos últimos cinco anos, acompanhada de certificados de boa execução das obras mais importantes. Esses certificados devem indicar o montante, a data e o local de execução das obras e referir se foram efectuadas segundo as regras da arte e devidamente concluídas; se necessário, os certificados serão enviados directamente à entidade adjudicante pela autoridade competente;” e semelhantemente para os restantes tipos de contratos.

1. A Diretiva de 2014 é ainda mais explícita no seu Artigo 58º-4 ao referir:

“As autoridades adjudicantes podem exigir, em especial, que os operadores económicos tenham um nível suficiente de experiência, comprovado por referências adequadas de contratos executados no passado. As autoridades adjudicantes podem partir do princípio de que um operador económico não possui as capacidades profissionais exigidas caso tenha concluído que o operador económico em questão se encontra numa situação de conflito de interesses suscetível de afetar negativamente a execução do contrato. Nos concursos para a aquisição de fornecimentos que impliquem operações de montagem ou instalação, a prestação de serviços ou a execução de obras, a capacidade profissional do operador económico para prestar o serviço ou executar a instalação ou a obra em causa pode ser apreciada em função das suas capacidades, eficiência, experiência e fiabilidade.”

acrescentando no seu Anexo XII longa lista de atributos a considerar, muitos deles baseados na experiência e nos resultados passados.

1. o próprio CCP também explicita no seu Artigo 165º-1 a) como elemento a considerar para avaliar a capacidade técnica “a experiência curricular dos candidatos”. Sendo oportuno referir que este Artigo também refere na alínea e) a possibilidade de considerar :

“a informação constante da base de dados do Instituto da Construção e do Imobiliário, I. P., relativa a empreiteiros, quando se tratar da formação de um contrato de empreitadas ou de concessão de obras públicas”

Esta referência está relacionada com o Artigo 98º do Decreto-Lei 59/99 que previa o desenvolvimento desta base de dados, tendo o autor contribuído para a inclusão desta disposição, a qual foi aceite sem hesitação e, após aprovação, ignorada ao longo de 16 anos, também sem a menor hesitação.

1. a nova Diretiva prevê ainda a não habilitação com base no mau desempenho passado (“bad performance”) no seu Artigo 57-4-g) estando esta disposição a suscitar muito interessante por parte da comunidade jurídica, parecendo ao autor ser contraditório tanto interesse pela aplicação do conceito de “bad performance” mas pouca atenção à objetivação do conceito de “performance”. Creio, aliás que a eficácia prática será bem maior adotando a fase de avaliação baseada em indicadores de desempenho passado do que na tentativa de aplicação da regra referida.
2. No que respeita a avaliação das propostas de contratos a Diretiva 2014/24 / EU também é clara quanto à possibilidade de considerar como critérios “a organização, a qualificação e a experiência “dos meios afetos à execução do contrato pelo que também aqui se pode considerar a avaliação dos resultados obtidos anteriormente esperando que assim terminem as dúvidas que existiram em Portugal no passado recente.
3. A proposta de novo Código refere explicitamente o desempenho e a sua avaliação nos novos Artigos 290-A sobre a figura do gestor do contrato e sobre contratos inovadores associando a sua remuneração ao desempenho avaliado (“performance based contracting “) pelo que se recomenda:

f1) alterar o Artigo 392-1 de modo a permitir sem ambiguidades a sua aplicação à gestão de contratos de empreitadas de obras públicas;

f2) introduzir na longa lista de itens que o Caderno de Encargos deve incluir o “painel de indicadores para avaliação do desempenho pelo cocontratante na execução do contrato “

1. Espera-se que o novo Código também transponha a regra dos “custos” anormalmente baixos a qual já não penaliza os mais eficientes e inovadores, tal como acontece nos “preços” anormalmente baixos

Em suma, o autor crê que será cada vez mais possível ou mesmo inevitável que os mercados públicos evoluam no sentido de se constituírem em bom exemplo de uma cultura exigente na avaliação do desempenho baseada nos resultados alcançados e não nos meios consumidos o que será essencial para cumprir o dever constitucional de prossecução do interesse público através da utilização dos recursos que melhor sirva os cidadãos e as comunidades.

3 de Janeiro de 2017

Luís Valadares Tavares

REFERÊNCIAS

• Coase, R., 1937, The nature of the firm, Economica New Series, Vol. 4, No. 16 , 386-405
• Comissão Europeia, 2010, Comunicação da Comissão – Europa 2020 Estratégia para um crescimento inteligente, sustentável, inclusivo, COM (2010) 2020 final, Bruxelas;
• Portugal, 2008, Decreto-Lei n.º 18/2008 de 29 de Janeiro, Diário da República, 1.ª série, N.º 20
• Salanie , B., 1997, The Economics of Contracts, MIT Press
• Simon, H., 1947, Administrative Behavior, New York Macmillan;
• Tavares, L.V., Correia, F.N., Oliveira, R.C. e Themido, I.H., 1996, Investigação Operacional, McGraw-Hill
• Tavares, L.V., 2009, A Gestão das Aquisições Públicas: Guia de Aplicação do Código dos Contratos Públicos – Decreto-Lei 18/2008 – Empreitadas, Bens e Serviços, OPET;
• União Europeia, 2014, a: Diretiva 2014/23/UE do Parlamento Europeu e do Conselho, de 26 de fevereiro de 2014, relativa à adjudicação de contratos de concessão;
• União Europeia, 2014, b: Diretiva 2014/24/UE do Parlamento Europeu e do Conselho, de 26 de fevereiro de 2014 relativa aos contratos públicos;
• União Europeia, 2014, c: Diretiva 2014/25/UE do Parlamento Europeu e do Conselho, de 26 de fevereiro de 2014 relativa aos contratos públicos celebrados pelas entidades que operam nos sectores da água, da energia, dos transportes e dos serviços postais e que revoga a Diretiva 2004/17/EC;
• União Europeia, 2004, Diretiva 2004/18/CE do Parlamento Europeu e do Conselho de 31 de Março de 2004 relativa à coordenação dos processos de adjudicação dos contratos de empreitada de obras públicas, dos contratos públicos de fornecimento e dos contratos públicos de serviços;

[1] Em português, o conceito de “public procurement” abrange “os processos de obtenção dos meios externos (bens, serviços ou obras) necessários à prossecução da missão da entidade pública adjudicante”.