Truncated exponential distribution

Exercise 1   This exercise is from MacKay, Information Theory, Inference, and Learning Algorithms:

Unstable particles are emitted from a source and decay at a distance x, a real number that has an exponential probability distribution with [parameter] λ. Decay events can only be observed if they occur in a window extending from x=1 cm to x=20 cm. N decays are observed at locations { 1.5, 2, 3, 4, 5, 12 } cm. What is the posterior distribution of λ?

likelihood = function(x,lambda,low=1.0,high=20){
  factor = exp(-low * lambda) - exp(-high * lambda) # truncated exponential distribution
  return(ifelse(x>=0,lambda * exp(-lambda*x)/factor,0))
}
obs = c(1.5, 2, 3, 4, 5, 12)

lam = seq(0.001,1.5,length.out = 1001)

p = numeric(length(lam))
for(i in 1:length(lam)){
  p[i] = exp(sum(log(likelihood(obs,lam[i]))))
}
p = p / sum(p)
sum(p*lam)

简单易错的概率问题

Published / by clownwyb / 简单易错的概率问题有2条评论

假设在某个人群中,血型为O的人群比例为60%,血型为RH的比例为1%,那么随其取两个人,一个是O型血,一个是RH型血的概率是多少? 答:2*0.6*0.01 = 1.2%,因为假设A和B来选,那么A随机选O型的概率为0.6,B随机选RH概率0.01,但此外,A如果选RH,B选O,那么也符合条件,此时概率变大,因此是2倍的0.6*0.01。因此,一定要注意如果没有指定顺序时候,概率要乘以组合数。

Monty Hall问题 (三门中奖)

Published / by clownwyb / Leave a Comment

蒙蒂大厅(Monty Hall)是非常有趣同时有争议的概率问题,问题看似简单,但正确答案如此有悖于常理以致很多人无法接受。 蒙蒂大厅游戏是这样的:你来参加节目,主持人蒙蒂向你展示三个关闭的门,并告诉你其中一扇门后有汽车作为奖励,另外两扇门后并没有任何奖励,现在你需要选择一扇门,此时,为了增加悬念,在你打开折扇门前,蒙蒂会从另外两扇门中随机选择一个没有奖品的打开,并且问你,是要坚持之前的选择还是换一扇门。 很多人会觉得这个时候,没开的两扇门肯定有一个有奖品,因此概率各为0.5,因此选哪个都一样,那 […]

信息量和信息熵

Published / by clownwyb / Leave a Comment

信息量和信息熵的关系 1. 信息量的公式为,表示X可以用多少个2进制数表示,表明一个数字或事物包含的信息多少,信息越多,需要用越多的0,1表示,比如1024可以用8个0,1表示,因此1024的信息量为8bits,而32可以用5个0,1表示,信息量少于1024。 2. 信息熵的公式为,其中P为概率(注意信息量里面X不是概率,是具体的数字),表示某个事物,事件的不确定性。 信息量不等于信息熵,信息熵等于平均信息量,即一个信源发出的一个随机变量的平均信息量。其中表示每个可能取值的大小数目。 计算信息量 […]