MCMC等采样算法

直接采样

直接采样的思想是,通过对均匀分布采样,实现对任意分布的采样。因为均匀分布采样好猜,我们想要的分布采样不好采,那就采取一定的策略通过简单采取求复杂采样。
假设y服从某项分布p(y),其累积分布函数CDF为h(y),有样本z~Uniform(0,1),我们令 z = h(y),即 y = h(z)^(-1),结果y即为对分布p(y)的采样。

image

Supervised Hashing with Kernels, KSH

Notation

该论文中应用到较多符号,为避免混淆,在此进行解释:

n:原始数据集的大小

l:实验中用于监督学习的数据集大小(矩阵S行/列的大小)

m:辅助数据集,用于得到基于核的哈希函数

r:比特位数量/哈希函数的个数

Spherical Hashing,球哈希

Introduction

在传统的LSH、SSH、PCA-ITQ等哈希算法中,本质都是利用超平面对数据点进行划分,但是在D维空间中,至少需要D+1个超平面才能形成一个封闭、紧凑的区域。而球哈希方法利用超球面(hypersphere)对数据进行划分,在任何维度下,只需要1个超球面便可形成一个封闭的区域。利用球哈希方法,每个区域内样本的最大距离的平均值会更小,说明各个区域的样本是更紧凑的。这样更符合邻近的含义,更适合在进行相似搜索时使用。

Iterative Quantization,ITQ

Abstract

针对大规模的图像检索问题,论文提出了一个高效的ITQ算法。该算法先将中心化后的数据映射到超立方体的顶点上,再通过优化过程寻找一个旋转矩阵,使得数据点经过旋转后,与超立方体的顶点数据具有最小的量化误差。ITQ算法涉及到了multi-class spectral clustering(不懂)以及Orthogonal Procrustes problem,且可以通过PCA(无监督)或CCA(监督)的方法事先对数据进行降维。该方法的实验结果优于大部分start-of-the-art方法。

Locality Sensitive Hashing, LSH

基本思想

局部敏感(Locality Senstitive):即空间中距离较近的点映射后发生冲突的概率高,空间中距离较远的点映射后发生冲突的概率低。

局部敏感哈希的基本思想类似于一种空间域转换思想,LSH算法基于一个假设,如果两个文本在原有的数据空间是相似的,那么分别经过哈希函数转换以后的它们也具有很高的相似度;相反,如果它们本身是不相似的,那么经过转换后它们应仍不具有相似性。

RNN,循环神经网络

问题分析

传统神经网络

  • 在不同的示例中,输入和输出可能具有不同的维度。
  • 无法在不同的文本位置共享所学到的特征信息。

大学之路

该文被密码保护。

如何成为一个更好的交谈者

  1. 不要三心二意;专注当下。
  2. 不要好为人师;准备好在谈话中学习。
  3. 使用开放性的问题;who,where,when,hwo,what
  4. 顺其自然;不要固着在自己的计划和念头上
  5. 谨慎发言,dont be cheap
  6. 不要把自己的经历和别人比较,时尚没有一样的经历。
  7. 别重复表达;
  8. 少说废话;别人不关心你要说的细节,而是你是怎样一个人。
  9. 认真倾听;谈话的目的是理解而不是回应。
  10. 简明扼要。

MDP,马尔可夫决策

离散状态的马尔科夫决策

奖励因子r

在马尔科夫决策中,有个奖励因子r,在计算总期望价值的时候,奖励因子r的次方数会逐步增加。对于这个的解释可以理解为:今天的一元钱在明天一般都会贬值。所以当某个状态s较晚到达时,要控制奖励因子使得获得的价值减少。

Bellman方程

$$
V^{\pi} = R(s) + \gamma \sum_{s^{‘}\epsilon S } P_{s\pi(s)}(s^{‘})V^\pi (s^{‘})
$$

Zero-shot Learning

介绍

在传统的分类模型中,为了解决多分类问题(例如三个类别:猫、狗和猪),就需要提供大量的猫、狗和猪的图片用以模型训练,然后给定一张新的图片,就能判定属于猫、狗或猪的其中哪一类。但是对于之前训练图片未出现的类别(例如牛),这个模型便无法将牛识别出来,而ZSL就是为了解决这种问题。在ZSL中,某一类别在训练样本中未出现,但是我们知道这个类别的特征,然后通过语料知识库,便可以将这个类别识别出来。

zero-shot learning的一个重要理论基础就是利用高维语义特征代替样本的低维特征,使得训练出来的模型具有迁移性。语义向量就是高维语义特征,比如一个物体的高维语义为“四条腿,有尾巴,会汪汪叫,宠物的一种”,那我们就可以判断它是狗,高维语义对它没有细节描述,但是能够很好的对其分类,分类是我们的目的,所以可以舍去低维特征,不需要“全面”。

Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×