python3下使Word2Vec每次运行结果一致

如何在python3环境使Word2Vec每次运行结果一致 【python3下使Word2Vec每次运行结果一致】我们经常使用gensim的Word2Vec来进行单词转向量,但是这个包存在一个问题,每次训练结果都不同,这就导致了特征无法复现。
查阅Word2Vec的官方文档,在seed参数哪里可以发现这样的解释:

  • seed (int) – Seed for the random number generator. Initial vectors for each word are seeded with a hash of the concatenation of word + str(seed). Note that for a fully deterministically-reproducible run, you must also limit the model to a single worker thread (workers=1), to eliminate ordering jitter from OS thread scheduling. (In Python 3, reproducibility between interpreter launches also requires use of the PYTHONHASHSEED environment variable to control hash randomization)
在python2中,只要设置seed(随机种子)参数,以及worker=1即可保证每次训练一致,但python3还需要设置PYTHONHASHSEED 参数,
经验证使用os.environ['PYTHONHASHSEED '] =‘**'无法起作用,必须修改系统环境变量。
  • windows: 右击计算机(我的电脑)-》选择属性-》在弹出的面板中选择高级系统设置-》选择环境变量-添加PYTHONHASHSEED=0
  • linux: vim /etc/profile 或者 .bash_profile 然后添加PYTHONHASHSEED=0
什么是PYTHONHASHSEED?如何配置? python的字符串hash算法并不是直接遍历字符串每个字符去计算hash,而是会有一个secret prefix和一个secret suffix,可以认为相当于是给字符串加盐后做hash,可以规避一些规律输入的情况。
显然这个secret前后缀的值会直接影响计算结果,而且它有一个启动时随机生成的机制,只不过,在2.x版本中,这个机制默认是关闭的,前后缀每次启动都设置为0,除非你改了相关环境变量来要求随机,而在3.x中修改了默认行为,如果你不配置环境变量,则默认是随机一个前后缀值,这样每次启动都会不同,这个功能有一定的安全性上的考虑,可以让攻击者难以预测内置的set或者dict的一些行为。
这个环境变量就是PYTHONHASHSEED,配置方法如下:
  • 无论在2.x还是3.x中,配置为一个正整数,将作为随机种子;
  • 配置为0,则secret前后缀默认清零(和2.x默认行为就一样了);
  • 配置为空串或“random”,则表示让进程随机生成(和3.x默认行为一样)。

    推荐阅读