技术文章 > Python技术 >  Python基础教程 > 正文

python实现信息熵的计算代码

宋雪维

1、什么是信息熵?

1948年香农提出了信息熵(Entropy)的概念。

信息理论:

1、从信息的完整性上进行的描述:

当系统的有序状态一致时,数据越集中的地方熵值越小,数据越分散的地方熵值越大。

2、从信息的有序性上进行的描述:

当数据量一致时,系统越有序,熵值越低;系统越混乱或者分散,熵值越高。

“信息熵” (information entropy)是度量样本集合纯度最常用的一种指标。

二、python实现信息熵的计算代码

1、导入库

import numpy as np
import pandas as pd

2、 准备数据

data = pd.DataFrame(
    {'学历': ['专科', '专科', '专科', '专科', '专科', '本科', '本科', '本科', '本科', '本科',
     '研究生', '研究生', '研究生', '研究生', '研究生'],
     '婚否': ['否', '否', '是', '是', '否', '否', '否', '是', '否', '否', '否', '否', '是', '是', '否'],
     '是否有车': ['否', '否', '否', '是', '否', '否', '否', '是', '是', '是', '是', '是', '否', '否', 
     '否'],
     '收入水平': ['中', '高', '高', '中', '中', '中', '高', '高', '很高', '很高', '很高', '高', '高', 
     '很高', '中'],
     '类别': ['否', '否', '是', '是', '否', '否', '否', '是', '是', '是', '是', '是', '是', '是', '否']})

3、定义信息熵函数

# 定义计算信息熵的函数:计算Infor(D)
def infor(data):
    a = pd.value_counts(data) / len(data)
    return sum(np.log2(a) * a * (-1))

4、数据测试

# print(infor(data["学历"]))   #测试结果为: 1.584962500721156
免费视频教程
本教程部分素材来源于网络,版权问题联系站长!
相关文章
  python中缓冲区是什么意思?
  python带参数的装饰器怎么写?
  python中如何获取当前文件的部分信息?
  python中使用open()函数打开指定文件
  python中合并表格的两种方法
相关视频章节
  python初认识
  Python应用领域
  五分钟装好Python解释器
  Python的代码缩进规范
  量化投资与Python&ipython初识
视频教程分类