第一:要考虑你是直接可以衡量还是要用一种间接的方式。比如说happiness,直接的方法,你可以用用户的survey,但是如果你没有用户的survey的话,你能不能用一些logs data infer出来用户有没有对你的产品满意?
第二:考虑magnitude Vs ratio. magnitude的是直接去描述你的metric。比如说你的search amount,那么ratiol呢,你会将这一个metric和其他的metric进行比较,来normalise更好地比较,比如说search per dau。
第三:考虑你的metric是不是可以很好地解释,可以aggregate也可以拆分。比如说你想知道revenue,revenue被分解成各个产品线、产品、国家地区,这些都有助于你之后再观察到metric的变化后,更好的找出root cause design更好的strategy。
第四:考虑你的metric是不是和你的目标更加直接的相关。比如说如果你是面对customer的一个APP,那么daily active user就会更相关,但如果说你是amazon prime这样不focus在每天都有user的、那么number of paying users who were active in the last thirty days有可能会更加的相关。
接着我们进入Evaluation,要通过metric来了解你的产品的发展情况。那么这里就可以先收集数据,并且使用一些工具去更好地帮助你了解metric这样就涉及到很多dashboard ing 和script的工作。
Evaluation的时候有很多点,比如说metric是不是stable overtime。Metric是不是正确,比如说最近有没有一些pipeline broken导致奇怪的spike。是不是你曾从metric中发现你的某个产品,你的某些用户有很大的发展的空间啊,这些metric能不能告诉你用户是不是满意并且从哪些地方可以提高你的产品。接着你可以去考虑你的goal是不是正确,如果说你的公司已经发展到比较成熟的发展模式,那么,Daily active user或者acquisition方面可能就没有那么重要,那是不是要提高一下用户的engagement,让用户花更多的时间在你的产品上面,这些都是metric可以帮助我们回答的问题。