Python自用工具包PyTls

我们搞了个python的工具包PyTls

做这件事的初衷是发生了一个星期要用python同时开发3个项目的情况,我发现了两个现象:1.有很多定制化的需求是极度高频反复重写的;2.有很多功能之前写过,可能因为稍许复杂又忘了,再用的时候又要去Google。所以,拉着同组的一个实习生,一起维护了PyTls的这个项目,为的就是那句”life is short, we need python”。

所有的详细的测试demo都可以在我的git找到,PyTls的测试demos 希望可以帮助到你一些,以下简单的介绍解释一下每个功能。


dictt

get_map_value()

由于工程设计问题,我们的数据流中存在多层的字典数据格式:
1
2
3
In [7]: msg = {'time':{'20190714':234,'20190715':311}}
In [8]: dictt.get_map_value(msg,None,True,'time','20190714')
Out[8]: 234
这边None是查找不到的时候的默认值,True可以不用管,是我这边设计的是否一定要底层查找,比较业务化通用性不好,True之后就是依次需要按逻辑查找的dict字段。

update_map_value()

is_strict:True不允许新增kv,这边不会报错,只会增加不成功,需要注意一下。

sort_map_key()

按key排序字典,desc:是否降序
1
2
3
In [24]: msg = {11: 2, 2: 3, 9: 2}
...: print(dictt.sort_map_key(msg, desc=False))
[(2, 3), (9, 2), (11, 2)]

sort_map_value()

按value排序,其他同上

get_tree()

构建一个以字典为基础的树结构,字典套字典

swap()

key,value交换

merge()

合并两个dict,顺便说一句,reduce(merge,*dicts),合并N个,这个比较少用就没整理

func_dict()

这个功能比较拗口,比如我们现在有个function,input 2,output 4,且想存储所有的kv结果,所以可以用这个功能进行记录。注意,这边的入参应该是一个**函数**。
1
2
3
F = dictt.func_dict(lambda x: x * 2)
print((F[2], F))
# (4, defaultdict(<function <lambda> at 0x103d812f0>, {2: 4}))

WordCount()

字典树,快速查询和高效存储,支持string和list/tuple;支持计数、查找、位置校验三个核心功能
目前只output了是否存在查询词的功能,稍微改一下output就可以得到计数结果和位置结果,看有需要后期扩展一下这个功能,要说的是里面用了dfs,有点慢所以加了cache,这个点大家可以自行优化。

StrBuffer

参考java中的StringButter而写的字符类,增加一些功能,重命名了我比较熟悉喜欢用的函数名,加了一些str内置没有的功能

append()

增加一个字符

index_at()

查找某个元素的index

sort()

排序元素,字典序

reverse()

倒排所有字符

char_at()

查找某个index的元素

to_str()/storge()

to_str:以string的方式打印当前字符串
storge:以list的方式打印当前字符串

strt

str_reverse()

字符串反转

str_repeat()

字符串快速复制,n为复制的次数

str_splits()

字符串批切割,split_chars为分隔符,支持多个,以|连接,warning_info可以设置为False进行关闭,取消提示信息

typet

基础的格式判断类,复用程度不高,主要是用来支持这个项目中的其他功能

is_none()

是否为None,支持None和np.nan判断

is_type()

判断是否为对应类型,类似于isinstance

is_empty()

判断是否为空

is_has_attr()

判断是否含有某个属性,类中是否有某个属性变量

loaddatat

pickle 的数据持久化,这个我用的最多,特别好用,可以支持在保持模型,整理数据,保存日志,存储报错信息等各个方向,我基本上每次必加载

readbunchobj()

读数据

writebunchobj()

存数据

randomt

随机数

get_random()

迭代器办,每次随机取一个;min_value, max_value限制范围,limit限制可取的迭代次数

Chinese2num.py

数字相关,提取数字更加强大的功能建议参考YMMNlpUtils

Chinese_2_num()

中文转成数字,支持繁体中文简体中文的转换,如果是提取手机号的或者更复杂的数据建议参考YMMNlpUtils项目

isdigit()

判断是否为数字,同样也支持小数,也可以识别str后的数字,会自动解析掉str,"0.234"-->True

matht

数学相关的类,包括信息熵,ln,互信息,条件概率等;部分熵计算的函数中有个expiation的参数,设置为False就不提醒是否越大越稳定还是不稳定的提示信息了,主要是我老忘,自己提醒自己的

ln()

以e为底的对数

entropy()

熵值,这边分两种情况,type="list"的时候input为每种情况发生的结果,比如[1,1,2,3,4,2];type="prob"的时候input为每种情况发生的概率,比如[1/3,1/3,1/6,1/6]

condition_entropy()

条件熵,求和 H(X|Y)= Σ p(Y=yi)*H(X|Y=yi)

MI()

来自于条件概率计算法:H(x)-H(x/y),这边input默认的是每种情况发生的结果而非概率,比如:[1,0,1,0],[2,3,2,3]

NMI()

来自于公式的互信息熵计算:2*∑pxylog(pxy/(px*py))/(H(x)+H(y)),这边input默认的是每种情况发生的结果而非概率,比如:[1,0,1,0],[2,3,2,3]

word_edit_distince()

文本编辑距离,衡量两个字符串之间的相似度

BM25

在文档包含查询词的情况下,或者说查询词精确命中文档的前提下,计算相似度,对内容进行排序

relative_entropy

相对熵,也叫KL散度,H(p||q) = ∑pxlog(px/py),如果px与py分布一致,则return 0,差异越大return的值越大;H(p||q) = H(p,q) - H(p)

cross_entropy

交叉熵,H(p,q) = -∑pi*log(qi) , H(p||q) = H(p,q) - H(p)

JSD

衡量两个多项分布的距离,衡量两个多项分布的相似度

Hellinger_Distince

海林格距离,用来衡量概率分布之间的相似性

listt

list相关的处理,list是我最常用的一个type,所以我写了比较多而且以后也会最常去更新的一个地方,确实很多东西固化下来很好用;该部分代码尽可能考虑了时间复杂度,可能会牺牲一些空间复杂度,各位自行取舍

index_hash_map()

list元素出现位置,等同于numpy array中的`np.where`

Pi()

list元素出现的个数分布

single_one()

当数据是**成对出现**时候,找出其中落单的element;[2,2,1]-->[1]

subset()

找出对应list的子集;[1,2]-->[[],[1],[2],[1,2]]

permute()

找出对应list的全排列;[1,2]-->[1,2],[2,1]

flatten()

高维列表展开;[[1,2,3],[3,[4]]]--> [1, 2, 3, 3, 4]

duplicates()

原序去重;[3,3,1,2] -- >[3,1,2]

topn()

高频统计,返回list中高频出现的topn的对象,n为需要返回的个数;list:[3,3,1,2],n=1-->[(3,2)]

getindex()

返回list中最大/最小元素的位置:[3,1,2],flag="max"-->0/[3,1,2],flag="min"-->1;这边参数flag记得要小写min/max,大写暂不识别

split()

list按照指定个数切分,比如split([1,2,3,4],3)-->[(1,2,3)];如果list%需要切分的长度!=0,则末端部分会被舍弃,需要注意一下;如果确实需要的话可以进行尾部以0填充,保证不丢失数据;

unzip()

把zip后的数据还原

trickt

日常使用的一些trick,可能不好归纳为当前的分类中的某一类,所以暂时先放在trickt包中,待认领

choose_method()

根据condition不同的情况下,判断使用哪个函数
1
2
3
4
5
6
7
8
def add(a, b):
return a + b
def subtract(a, b):
return a - b
param1 = 2
param2 = 1
choose_method(add, subtract, param1 > param2, param1, param2)
choose_method(add, subtract, param1 < param2, param1, param2)

Timer()

1
2
3
4
In [42]: with Timer():
...: time.sleep(2)
...:
total time is 2.0000739097595215 second.

欢迎大家关注我的个人bolg知乎,更多代码内容欢迎follow我的个人Github,如果有任何算法、代码、转>行疑问都欢迎通过邮箱发消息给我。

打赏的大佬可以联系我,赠送超赞的算法资料