博客
关于我
BERT开源代码分析(一)——dataset数据加载模块
阅读量:800 次
发布时间:2023-04-16

本文共 1186 字,大约阅读时间需要 3 分钟。

dataset模块

以下是对代码的详细解读和分析:

1. vocab.py

在这个模块中,我们定义了一个名为`TorchVocab`的类,主要用于处理词汇表(vocabulary)的构建与管理。以下是类的初始化方法及其相关实现细节:

def init(self, counter, max_size=None, min_freq=1, specials=['

', '
'], vectors=None, unk_init=None, vectors_cache=None):

**参数说明:**

  • counter:类型为collections.Counter的对象,用于存储数据集中每个单词的频率统计结果。通常通过在数据集上进行词频统计得到。

  • max_size:类型为intNone,默认值为None。表示词汇表的最大容量。如果设置为None,则没有大小限制;如果设置为具体数字,词汇表的大小将限制为不超过这个数字。

  • min_freq:类型为int,默认值为1。表示包含在词汇表中的单词的最低频率阈值。低于该阈值的单词将被剔除。小于1的值将被自动调整为1

  • specials:类型为字符串列表,默认值为['<pad>', '<oov>']。表示一些特殊标记,会被自动添加到词汇表中。这些标记通常用于填充(<pad>)、表示未知单词(<oov>)等特殊用途。

  • vectors:类型为预训练向量,可以是字符串列表或None,默认值为None。用于指定预训练词向量的路径或名称。支持加载外部预训练模型的词向量。

  • unk_init:类型为回调函数,默认值为torch.Tensor.zero_。用于初始化未知单词(OOV)的向量,默认情况下初始化为零向量。

  • vectors_cache:类型为字符串,默认值为'.vector_cache'。用于指定预训练向量的缓存目录路径。若指定了路径,预训练向量将被下载或加载到该目录中。

**初始化逻辑:**

  • 首先,将specials列表中的所有特殊标记从counter中删除,以避免这些标记被误算入频率统计中。

  • 根据max_size的值,计算最终的词汇表容量。如果max_sizeNone,则词汇表容量为len(specials);否则,容量为max_size + len(specials)

  • 对频率进行排序,首先按单词的字母顺序排序,然后按频率从大到小排序。这样可以确保高频单词优先被包含在词汇表中。

  • 遍历排序后的结果,将单词及其频率进行处理。如果单词的频率低于min_freq,则不会被包含在词汇表中。为了确保min_freq至少为1,在处理过程中会对min_freq进行调整。

  • 最后,将特殊标记添加到词汇表中,并确保这些标记不会被频率过滤淘汰。未知单词(OOV)的向量初始化函数由unk_init参数决定,默认使用零向量初始化。

  • 转载地址:http://rigfk.baihongyu.com/

    你可能感兴趣的文章
    mysqlreport分析工具详解
    查看>>
    MySQLSyntaxErrorException: Unknown error 1146和SQLSyntaxErrorException: Unknown error 1146
    查看>>
    Mysql_Postgresql中_geometry数据操作_st_astext_GeomFromEWKT函数_在java中转换geometry的16进制数据---PostgreSQL工作笔记007
    查看>>
    mysql_real_connect 参数注意
    查看>>
    mysql_secure_installation初始化数据库报Access denied
    查看>>
    MySQL_西安11月销售昨日未上架的产品_20161212
    查看>>
    Mysql——深入浅出InnoDB底层原理
    查看>>
    MySQL“被动”性能优化汇总
    查看>>
    MySQL、HBase 和 Elasticsearch:特点与区别详解
    查看>>
    MySQL、Redis高频面试题汇总
    查看>>
    MYSQL、SQL Server、Oracle数据库排序空值null问题及其解决办法
    查看>>
    mysql一个字段为空时使用另一个字段排序
    查看>>
    MySQL一个表A中多个字段关联了表B的ID,如何关联查询?
    查看>>
    MYSQL一直显示正在启动
    查看>>
    MySQL一站到底!华为首发MySQL进阶宝典,基础+优化+源码+架构+实战五飞
    查看>>
    MySQL万字总结!超详细!
    查看>>
    Mysql下载以及安装(新手入门,超详细)
    查看>>
    MySQL不会性能调优?看看这份清华架构师编写的MySQL性能优化手册吧
    查看>>
    MySQL不同字符集及排序规则详解:业务场景下的最佳选
    查看>>
    Mysql不同官方版本对比
    查看>>