{"id":9083,"date":"2019-06-10T14:53:32","date_gmt":"2019-06-10T17:53:32","guid":{"rendered":"http:\/\/blog.plataformatec.com.br\/?p=9083"},"modified":"2019-06-10T15:30:17","modified_gmt":"2019-06-10T18:30:17","slug":"o-perigo-de-analisar-metricas-sem-contexto","status":"publish","type":"post","link":"http:\/\/blog.plataformatec.com.br\/2019\/06\/o-perigo-de-analisar-metricas-sem-contexto\/","title":{"rendered":"O Perigo de Analisar M\u00e9tricas Sem Contexto"},"content":{"rendered":"

Legal, voc\u00ea come\u00e7ou a usar m\u00e9tricas \u00e1geis com seu time ou organiza\u00e7\u00e3o!<\/p>\n

Estive certa vez em uma empresa que acreditava na transpar\u00eancia de informa\u00e7\u00e3o, e dispunha de uma interface para que qualquer pessoa consultasse os gr\u00e1ficos de m\u00e9tricas de todos squads<\/em>.<\/p>\n

Transpar\u00eancia \u00e9 algo muito bom, pois refor\u00e7a confian\u00e7a e promove colabora\u00e7\u00e3o. Por\u00e9m, precisa ser usada com cuidado para evitar que pessoas que n\u00e3o convivem com o squad<\/em>, muitas vezes baseadas em contextos de experi\u00eancias passadas em suas equipes, interpretem de forma errada e deem pitacos que n\u00e3o se aplicam \u00e0 realidade.<\/p>\n

Um exemplo exagerado<\/strong>:<\/p>\n

\"\"<\/p>\n

Sim, \u00e9 um gr\u00e1fico interpolando a quantidade de filmes com o Nicolas Cage com o de afogamentos em piscina, ambos por ano.
\nCreio que voc\u00ea, leitor(a), n\u00e3o recomendaria um banimento dos filmes do Nicolas Cage \u00e0 fim de reduzir os \u00edndices de afogamento, at\u00e9 porque, por mais que as curvas dos gr\u00e1ficos pare\u00e7am andar de forma parecida, sabemos que n\u00e3o existe absolutamente nada ligando essas estat\u00edsticas (ou pelo menos, n\u00f3s n\u00e3o temos como saber olhando o gr\u00e1fico apenas).<\/p>\n

Mas como \u00e9 no mundo real?<\/p>\n

Exemplo do dia a dia de um projeto \u00e1gil, com uso de m\u00e9tricas<\/strong>:
\n\"\"<\/p>\n

Com certeza absoluta, algumas coisas que se pode falar desse gr\u00e1fico s\u00e3o:
\n– P95 (ou “Percentil 95”<\/a>) est\u00e1 em 24,7 dias;
\n– P75 est\u00e1 em 10 dias;
\n– P50 est\u00e1 em 4 dias;<\/p>\n

Essas s\u00e3o certezas absolutas que o gr\u00e1fico nos mostra. Mais que isso, \u00e9 especular.<\/p>\n

Uma forma muito errada de analisar o gr\u00e1fico seria, por exemplo, olhar os picos (os itens perto e\/ou acima da linha roxa do Percentil 95) e especular se o tamanho do lote n\u00e3o est\u00e1 desigual demais e fazer o time estudar sobre escrita de hist\u00f3rias.
\nOu indagar por que o time n\u00e3o focou em terminar os 2 itens em vermelho, acima da linha roxa, antes de pegar mais itens.<\/p>\n

As quest\u00f5es talvez sejam v\u00e1lidas, mas concorda que tomar a\u00e7\u00f5es em cima de palpites talvez seja precipitado?<\/p>\n

Vamos olhar para o mesmo gr\u00e1fico, mas numa outra apresenta\u00e7\u00e3o:
\n\"\"<\/p>\n

Aqui, n\u00f3s temos o contexto de alguns dos itens. Olhando assim, fica claro que “tamanho de lote irregular” n\u00e3o \u00e9 necessariamente o causador dessas demandas com lead time mais alto (o que n\u00e3o quer dizer que n\u00e3o exista problema nenhum com tamanho de lote, s\u00f3 n\u00e3o est\u00e1 expl\u00edcito).<\/p>\n

A grande sacada nas m\u00e9tricas n\u00e3o \u00e9 olhar os gr\u00e1ficos e gerar a\u00e7\u00f5es para tratar um ponto fora da curva, mas sim olhar o que aconteceu com o time nesse tempo, e como isso se refletiu em n\u00fameros. Esses n\u00fameros s\u00e3o consequ\u00eancias para embasar o argumento de que melhorias podem ser feitas.<\/p>\n

No caso acima, por exemplo, n\u00e3o poder\u00edamos dizer que um problema \u00e9 a importa\u00e7\u00e3o de arquivos, que vez ou outra p\u00e1ra o time? N\u00e3o seria poss\u00edvel automatizar isso?<\/p>\n

Ou as aprova\u00e7\u00f5es que dependem de uma \u00fanica pessoa de um fornecedor: n\u00e3o conseguir\u00edamos mais uma pessoa com esse poder de decis\u00e3o?<\/p>\n

Um caso real<\/strong>:<\/p>\n

\"\"<\/p>\n

Este caso \u00e9 um pouco diferente, pois os envolvidos tinham um pouco de contexto:<\/p>\n

As semanas com Throughput<\/em> zerado (ap\u00f3s o come\u00e7o do projeto) correspondiam ao recesso de fim de ano da empresa, quando nada poderia ir para produ\u00e7\u00e3o.<\/p>\n

Um questionamento da ger\u00eancia que surgiu da an\u00e1lise desse gr\u00e1fico foi:<\/p>\n

“Na semana 28, tivemos um throughput record para realizar as entregas das semanas 29 e 30. Por que n\u00f3s n\u00e3o produzimos assim sempre? O que fizemos de diferente que nos ajudou nessa vaz\u00e3o, e como continuar fazendo isso?”<\/p><\/blockquote>\n

Realmente, mostrou-se que era poss\u00edvel um throughput<\/em> mais alto. O objetivo de todos times \u00e9 entregar valor, sempre<\/strong>. Analisar esse pico de throughput seria interessante.<\/p>\n

E a resposta, resumidamente, foi:<\/p>\n

Press\u00e3o, horas extras, trabalho de fim de semana e time esgotado.<\/p><\/blockquote>\n

Sim, esse esfor\u00e7o extra rendeu resultados, mas n\u00e3o \u00e9 um caminho recomendado com o objetivo de se aumentar a produtividade. Eventualmente, entregas com data fixa ou expedites (um pouco sobre tipos de demanda e classes de servi\u00e7o aqui<\/a>) podem gerar press\u00e3o no time, mas transformar isso em rotina deve ser evitado.
\nVoltando aos
princ\u00edpios da agilidade<\/a>, temos um exemplo da sustentabilidade<\/strong> sendo ferida.<\/p>\n

N\u00e3o digo que o throughput desse time n\u00e3o poderia ser melhorado, mas que a forma como isso foi atingido especificamente na semana 28 n\u00e3o foi boa.<\/p>\n

Na Plataformatec, costumamos nos perguntar se um Throughput est\u00e1 saud\u00e1vel<\/strong>, n\u00e3o se est\u00e1 alto<\/strong>.<\/p>\n

Esse gr\u00e1fico, sem contexto, parece mostrar que algo bom aconteceu (e olhando apenas para volume de entregas, foi bom), mas o contexto mostra que essa vaz\u00e3o bem acima da m\u00e9dia \u00e9 na verdade um alerta sobre a sa\u00fade da equipe.<\/p>\n

Sumarizando, m\u00e9tricas servem para ser reflexos do contexto, e n\u00e3o o contr\u00e1rio. Analise-as, mas entendendo o contexto das mesmas, e pense em a\u00e7\u00f5es para come\u00e7ar a fazer (ou para parar de fazer, em alguns casos).<\/p>\n

J\u00e1 imaginou se elimin\u00e1ssemos as chances de um National Treasure 3<\/em>, abolindo os filmes do Nicolas Cage?<\/p>\n

Como voc\u00ea e seu time olham para m\u00e9tricas hoje?<\/p>\n","protected":false},"excerpt":{"rendered":"

Legal, voc\u00ea come\u00e7ou a usar m\u00e9tricas \u00e1geis com seu time ou organiza\u00e7\u00e3o! Estive certa vez em uma empresa que acreditava na transpar\u00eancia de informa\u00e7\u00e3o, e dispunha de uma interface para que qualquer pessoa consultasse os gr\u00e1ficos de m\u00e9tricas de todos squads. Transpar\u00eancia \u00e9 algo muito bom, pois refor\u00e7a confian\u00e7a e promove colabora\u00e7\u00e3o. Por\u00e9m, precisa ser … \u00bb<\/a><\/p>\n","protected":false},"author":78,"featured_media":0,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"ngg_post_thumbnail":0,"footnotes":""},"categories":[3],"tags":[123],"aioseo_notices":[],"jetpack_sharing_enabled":true,"jetpack_featured_media_url":"","_links":{"self":[{"href":"http:\/\/blog.plataformatec.com.br\/wp-json\/wp\/v2\/posts\/9083"}],"collection":[{"href":"http:\/\/blog.plataformatec.com.br\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"http:\/\/blog.plataformatec.com.br\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"http:\/\/blog.plataformatec.com.br\/wp-json\/wp\/v2\/users\/78"}],"replies":[{"embeddable":true,"href":"http:\/\/blog.plataformatec.com.br\/wp-json\/wp\/v2\/comments?post=9083"}],"version-history":[{"count":8,"href":"http:\/\/blog.plataformatec.com.br\/wp-json\/wp\/v2\/posts\/9083\/revisions"}],"predecessor-version":[{"id":9096,"href":"http:\/\/blog.plataformatec.com.br\/wp-json\/wp\/v2\/posts\/9083\/revisions\/9096"}],"wp:attachment":[{"href":"http:\/\/blog.plataformatec.com.br\/wp-json\/wp\/v2\/media?parent=9083"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"http:\/\/blog.plataformatec.com.br\/wp-json\/wp\/v2\/categories?post=9083"},{"taxonomy":"post_tag","embeddable":true,"href":"http:\/\/blog.plataformatec.com.br\/wp-json\/wp\/v2\/tags?post=9083"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}