mydf是什么pythonmy_df是一个二维的结构,如下图所示:
stack函数会把列索引转成行索引,即把列索引换成二级的行索引 , 即所有列压缩到一列 。请注意,这个的空值会跳过,下图中的数据结构只有7个元素,7行1列 。
a['b','two']
a['d','two']
#上面两个索引是可以的 , 下面的是会报错KeyError
a['d','one']
unstack函数会把行索引转成列索引 , 即把行索引换成二级的列索引,即所有行压缩到一行 。注:实际上,Python似乎不分行向量或列向量,如果对一个Series对象进行转置,则还是其本身 。根据shape函数的返回可知,这是一个8行1列的数据结构 。
stack函数会把二级的行索引转成列索引,恢复其二维结构 。
我们看到,用过stack函数后可以用unstack函数来恢复其原貌 。反过来如何呢?
会报错:AttributeError: 'Series' object has no attribute 'stack'
我们发现,stack和unstack两个函数的组合,如下所示,只有前两个是可以的没有问题的 。这是因为一个二维数据经过stack或unstack后 , 变成了一个Series结构,而Series有unstack没有stack 。
my_df.stack().unstack()
my_df.unstack().unstack()
#my_df.stack().stack()
#my_df.unstack().stack()
a=my_df.stack()
print(type(a))
print(dir(a))
如下图所示,用过了unstack后,怎么恢复原状呢?转置一下即可 。
python怎么绘制系统结构图调出菜单,进入(球员)选项中的(装备升级)选项,找到(专属动作)里的(跳投),按一下游戏左键,就会显示你最近买的投篮动作 。不用进(编辑球员)选项 。
如何用 Python 实现一个图数据库(Graph Database)?本文章是 重写 500 Lines or Less 系列的其中一篇,目标是重写 500 Lines or Less 系列的原有项目:Dagoba: an in-memory graph database 。
Dagoba 是作者设计用来展示如何从零开始自己实现一个图数据库( Graph Database ) 。该名字似乎来源于作者喜欢的一个乐队,另一个原因是它的前缀 DAG 也正好是有向无环图 ( Directed Acyclic Graph ) 的缩写 。本文也沿用了该名称 。
图是一种常见的数据结构,它将信息描述为若干独立的节点( vertex,为了和下文的边更加对称,本文中称为 node ) , 以及把节点关联起来的边( edge ) 。我们熟悉的链表以及多种树结构可以看作是符合特定规则的图 。图在路径选择、推荐算法以及神经网络等方面都是重要的核心数据结构 。
既然图的用途如此广泛,一个重要的问题就是如何存储它 。如果在传统的关系数据库中存储图,很自然的做法就是为节点和边各自创建一张表,并用外键把它们关联起来 。这样的话,要查找某人所有的子女,就可以写下类似下面的查询:
还好,不算太复杂 。但是如果要查找孙辈呢?那恐怕就要使用子查询或者CTE(Common Table Expression) 等特殊构造了 。再往下想,曾孙辈又该怎么查询?孙媳妇呢?
这样我们会意识到 , SQL 作为查询语言,它只是对二维数据表这种结构而设计的,用它去查询图的话非常笨拙,很快会变得极其复杂 , 也难以扩展 。针对图而言,我们希望有一种更为自然和直观的查询语法,类似这样:
为了高效地存储和查询图这种数据结构,图数据库( Graph Database )应运而生 。因为和传统的关系型数据库存在极大的差异,所以它属于新型数据库也就是 NoSql 的一个分支(其他分支包括文档数据库、列数据库等) 。图数据库的主要代表包括 Neo4J 等 。本文介绍的 Dagoba 则是具备图数据库核心功能、主要用于教学和演示的一个简单的图数据库 。
原文代码是使用JavaScript 编写的 , 在定义调用接口时大量使用了原型( prototype )这种特有的语言构造 。对于其他主流语言的用户来说,原型的用法多少显得有些别扭和不自然 。
考虑到本系列其他数据库示例大多是用Python 实现的,本文也按照传统,用 Python 重写了原文的代码 。同样延续之前的惯例,为了让读者更好地理解程序是如何逐步完善的,我们用迭代式的方法完成程序的各个组成部分 。
原文在500lines 系列的 Github 仓库中只包含了实现代码 , 并未包含测试 。按照代码注释说明,测试程序位于作者的另一个代码库中,不过和 500lines 版本的实现似乎略有不同 。
本文实现的代码参考了原作者的测试内容,但跳过了北欧神话这个例子——我承认确实不熟悉这些神祇之间的亲缘关系,相信中文背景的读者们多数也未必了解,虽然作者很喜欢这个例子,想了想还是不要徒增困惑吧 。因此本文在编写测试用例时只参考了原文关于家族亲属的例子,放弃了神话相关的部分,尽管会减少一些趣味性,相信对于入门级的代码来说这样也够用了 。
本文实现程序位于代码库的dagoba 目录下 。按照本系列程序的同意规则 , 要想直接执行各个已完成的步骤,读者可以在根目录下的 main.py 找到相应的代码位置,取消注释并运行即可 。
本程序的所有步骤只需要Python3,测试则使用内置的 unittest , 不需要额外的第三方库 。原则上 Python3.6 以上版本应该都可运行,但我只在 Python3.8.3 环境下完整测试过 。
本文实现的程序从最简单的案例开始 , 通过每个步骤逐步扩展 , 最终形成一个完整的程序 。这些步骤包括:
接下来依次介绍各个步骤 。
回想一下,图数据库就是一些点( node )和边( edge )的集合 。现在我们要做出的一个重大决策是如何对节点/边进行建模 。对于边来说,必须指定它的关联关系 , 也就是从哪个节点指向哪个节点 。大多数情况下边是有方向的——父子关系不指明方向可是要乱套的!
考虑到扩展性及通用性问题 , 我们可以把数据保存为字典( dict ) , 这样可以方便地添加用户需要的任何数据 。某些数据是为数据库内部管理而保留的,为了明确区分 , 可以这样约定:以下划线开头的特殊字段由数据库内部维护 , 类似于私有成员 , 用户不应该自己去修改它们 。这也是 Python 社区普遍遵循的约定 。
此外,节点和边存在互相引用的关系 。目前我们知道边会引用到两端的节点,后面还会看到,为了提高效率,节点也会引用到边 。如果仅仅在内存中维护它们的关系,那么使用指针访问是很直观的,但数据库必须考虑到序列化到磁盘的问题,这时指针就不再好用了 。
为此,最好按照数据库的一般要求,为每个节点维护一个主键( _id ),用主键来描述它们之间的关联关系 。
我们第一步要把数据库的模型建立起来 。为了测试目的,我们使用一个最简单的数据库模型,它只包含两个节点和一条边,如下所示:
按照TDD 的原则,首先编写测试:
与原文一样 , 我们把数据库管理接口命名为Dagoba。目前,能够想到的最简单的测试是确认节点和边是否已经添加到数据库中:
assert_item 是一个辅助方法 , 用于检查字典是否包含预期的字段 。相信大家都能想到该如何实现,这里就不再列出了,读者可参考 Github 上的完整源码 。
现在,测试是失败的 。用最简单的办法实现数据库:
需要注意的是,不管添加节点还是查询 , 程序都使用了拷贝后的数据副本,而不是直接使用原始数据 。为什么要这样做?因为字典是可变的,用户可以在任何时候修改其中的内容 , 如果数据库不知道数据已经变化,就很容易发生难以追踪的一致性问题,最糟糕的情况下会使得数据内容彻底混乱 。
拷贝数据可以避免上述问题,代价则是需要占用更多内存和处理时间 。对于数据库来说,通常查询次数要远远多于修改 , 所以这个代价是可以接受的 。
现在测试应该正常通过了 。为了让它更加完善,我们可以再测试一些边缘情况,看看数据库能否正确处理异常数据,比如:
例如,如果用户尝试添加重复主键,我们预期应抛出ValueError 异常 。因此编写测试如下:
为了满足以上测试,代码需要稍作修改 。特别是按照id 查找主键是个常用操作,通过遍历的方法效率太低了 , 最好是能够通过主键直接访问 。因此在数据库中再增加一个字典:
完整代码请参考Github 仓库 。
在上个步骤,我们在初始化数据库时为节点明确指定了主键 。按照数据库设计的一般原则,主键最好是不具有业务含义的代理主键( Surrogate key ),用户不应该关心它具体的值是什么,因此让数据库去管理主键通常是更为合理的 。当然,在部分场景下——比如导入外部数据——明确指定主键仍然是有用的 。
为了同时支持这些要求,我们这样约定:字段_id 表示节点的主键,如果用户指定了该字段,则使用用户设置的值(当然,用户有责任保证它们不会重复);否则,由数据库自动为它分配一个主键 。
如果主键是数据库生成的,事先无法预知它的值是什么 , 而边( edge )必须指定它所指向的节点,因此必须在主键生成后才能添加 。由于这个原因,在动态生成主键的情况下,数据库的初始化会略微复杂一些 。还是先写一个测试:
为支持此功能,我们在数据库中添加一个内部字段_next_id 用于生成主键,并让 add_node 方法返回新生成的主键:
接下来,再确认一下边是否可以正常访问:
运行测试,一切正常 。这个步骤很轻松地完成了,不过两个测试( DbModelTest 和 PrimaryKeyTest )出现了一些重复代码,比如 get_item。我们可以把这些公用代码提取出来 。由于 get_item 内部调用了 TestCase.assertXXX 等方法,看起来应该使用继承 , 但从 TestCase 派生基类容易引起一些潜在的问题 , 所以我转而使用另一个技巧 Mixin :
实现数据库模型之后,接下来就要考虑如何查询它了 。
在设计查询时要考虑几个问题 。对于图的访问来说,几乎总是由某个节点(或符合条件的某一类节点)开始 , 从与它相邻的边跳转到其他节点,依次类推 。所以链式调用对查询来说是一种很自然的风格 。举例来说,要知道 Tom 的孙子养了几只猫 , 可以使用类似这样的查询:
可以想象,以上每个方法都应该返回符合条件的节点集合 。这种实现是很直观的 , 不过存在一个潜在的问题:很多时候用户只需要一小部分结果,如果它总是不计代价地给我们一个巨大的集合,会造成极大的浪费 。比如以下查询:
为了避免不必要的浪费,我们需要另外一种机制,也就是通常所称的“懒式查询”或“延迟查询” 。它的基本思想是,当我们调用查询方法时 , 它只是把查询条件记录下来 , 而并不立即返回结果,直到明确调用某些方法时才真正去查询数据库 。
如果读者比较熟悉流行的Python ORM,比如 SqlAlchemy 或者 Django ORM 的话 , 会知道它们几乎都是懒式查询的,要调用 list(result) 或者 result[0:10] 这样的方法才能得到具体的查询结果 。
在Dagoba 中把触发查询的方法定义为 run。也就是说,以下查询执行到 run 时才真正去查找数据:
和懒式查询( Lazy Query )相对应的 , 直接返回结果的方法一般称作主动查询( Eager Query ) 。主动查询和懒式查询的内在查找逻辑基本上是相同的 , 区别只在于触发机制不同 。由于主动查询实现起来更加简单,出错也更容易排查,因此我们先从主动查询开始实现 。
还是从测试开始 。前面测试所用的简单数据库数据太少,难以满足查询要求,所以这一步先来创建一个更复杂的数据模型:
此关系的复杂之处之一在于反向关联:如果 A 是 B 的哥哥,那么 B 就是 A 的弟弟/妹妹,为了查询到他们彼此之间的关系,正向关联和反向关联都需要存在,因此在初始化数据库时需要定义的边数量会很多 。
当然,父子之间也存在反向关联的问题 , 为了让问题稍微简化一些,我们目前只需要向下(子孙辈)查找 , 可以稍微减少一些关联数量 。
因此 , 我们定义数据模型如下 。为了减少重复工作 , 我们通过_backward 字段定义反向关联,而数据库内部为了查询方便,需要把它维护成两条边:
然后,测试一个最简单的查询,比如查找某人的所有孙辈:
这里outcome/income 分别表示从某个节点出发、或到达它的节点集合 。在原作者的代码中把上述方法称为 out/in。当然这样看起来更加简洁 , 可惜的是 in 在 Python 中是个关键字 , 无法作为函数名 。我也考虑过加个下划线比如 out_.in_ 这种形式,但看起来也有点怪异 , 权衡之后还是使用了稍微啰嗦一点的名称 。
现在我们可以开始定义查询接口了 。在前面已经说过 , 我们计划分别实现两种查询,包括主动查询( Eager Query )以及延迟查询( Lazy Query ) 。
它们的内在查询逻辑是相通的,看起来似乎可以使用继承 。不过遵循YAGNI 原则,目前先不这样做,而是只定义两个新类,在满足测试的基础上不断扩展 。以后我们会看到,与继承相比,把共同的逻辑放到数据库本身其实是更为合理的 。
接下来实现访问节点的方法 。由于EagerQuery 调用查询方法会立即返回结果,我们把结果记录在 _result 内部字段中 。虽然 node 方法只返回单个结果,但考虑到其他查询方法几乎都是返回集合,为统一起见,让它也返回集合,这样可以避免同时支持集合与单结果的分支处理,让代码更加简洁、不容易出错 。此外,如果查询对象不存在的话,我们只返回空集合,并不视为一个错误 。
查询输入/输出节点的方法实现类似这样:
查找节点的核心逻辑在数据库本身定义:
以上使用了内部定义的一些辅助查询方法 。用类似的逻辑再定义income,它们的实现都很简单,读者可以直接参考源码,此处不再赘述 。
在此步骤的最后,我们再实现一个优化 。当多次调用查询方法后,结果可能会返回重复的数据,很多时候这是不必要的 。就像关系数据库通常支持unique/distinct 一样 , 我们也希望 Dagoba 能够过滤重复的数据 。
假设我们要查询某人所有孩子的祖父,显然不管有多少孩子,他们的祖父应该是同一个人 。因此编写测试如下:
现在来实现unique。我们只要按照主键把重复数据去掉即可:
在上个步骤,初始化数据库指定了双向关联,但并未测试它们 。因为我们还没有编写代码去支持它们,现在增加一个测试,它应该是失败的:
运行测试 , 的确失败了 。我们看看要如何支持它 。回想一下,当从边查找节点时 , 使用的是以下方法:
这里也有一个潜在的问题:调用self.edges 意味着遍历所有边,当数据库内容较多时,这是巨大的浪费 。为了提高性能,我们可以把与节点相关的边记录在节点本身,这样要查找边只要看节点本身即可 。在初始化时定义出入边的集合:
在添加边时,我们要同时把它们对应的关系同时更新到节点,此外还要维护反向关联 。这涉及对字典内容的部分复制 , 先编写一个辅助方法:
然后,将添加边的实现修改如下:
这里的代码同时添加正向关联和反向关联 。有的朋友可能会注意到代码略有重复,是的 , 但是重复仅出现在该函数内部,本着“三则重构”的原则,暂时不去提取代码 。
实现之后,前面的测试就可以正常通过了 。
在这个步骤中,我们来实现延迟查询( Lazy Query ) 。
延迟查询的要求是,当调用查询方法时并不立即执行,而是推迟到调用特定方法,比如run 时才执行整个查询,返回结果 。
延迟查询的实现要比主动查询复杂一些 。为了实现延迟查询,查询方法的实现不能直接返回结果 , 而是记录要执行的动作以及传入的参数,到调用run 时再依次执行前面记录下来的内容 。
如果你去看作者的实现 , 会发现他是用一个数据结构记录执行操作和参数,此外还有一部分逻辑用来分派对每种结构要执行的动作 。这样当然是可行的 , 但数据处理和分派部分的实现会比较复杂 , 也容易出错 。
本文的实现则选择了另外一种不同的方法:使用Python 的内部函数机制 , 把一连串查询变换成一组函数 , 每个函数取上个函数的执行结果作为输入,最后一个函数的输出就是整个查询的结果 。由于内部函数同时也是闭包,尽管每个查询的参数形式各不相同,但是它们都可以被闭包“捕获”而成为内部变量,所以这些内部函数可以采用统一的形式,无需再针对每种查询设计额外的数据结构,因而执行过程得到了很大程度的简化 。
首先还是来编写测试 。LazyQueryTest 和 EagerQueryTest 测试用例几乎是完全相同的(是的 , 两种查询只在于内部实现机制不同,它们的调用接口几乎是完全一致的) 。
因此我们可以把EagerQueryTest 的测试原样不变拷贝到 LazyQueryTest 中 。当然拷贝粘贴不是个好注意 , 对于比较冗长而固定的初始化部分,我们可以把它提取出来作为两个测试共享的公共函数 。读者可参考代码中的 step04_lazy_query/tests/test_lazy_query.py 部分 。
程序把查询函数的串行执行称为管道( pipeline ),用一个变量来记录它:
然后依次实现各个调用接口 。每种接口的实现都是类似的:用内部函数执行真正的查询逻辑 , 再把这个函数添加到pipeline 调用链中 。比如 node 的实现类似下面:
其他接口的实现也与此类似 。最后,run 函数负责执行所有查询,返回最终结果;
完成上述实现后执行测试,确保我们的实现是正确的 。
在前面我们说过 , 延迟查询与主动查询相比,最大的优势是对于许多查询可以按需要访问,不需要每个步骤都返回完整结果,从而提高性能,节约查询时间 。比如说 , 对于下面的查询:
以上查询的意思是从孙辈中找到一个符合条件的节点即可 。对该查询而言,主动查询会在调用outcome('son') 时就遍历所有节点,哪怕最后一步只需要第一个结果 。而延迟查询为了提高效率,应在找到符合条件的结果后立即停止 。
目前我们尚未实现take 方法 。老规矩,先添加测试:
主动查询的take 实现比较简单,我们只要从结果中返回前 n 条记录:
延迟查询的实现要复杂一些 。为了避免不必要的查找,返回结果不应该是完整的列表( list ) , 而应该是个按需返回的可迭代对象 , 我们用内置函数 next 来依次返回前 n 个结果:
写完后运行测试,确保它们是正确的 。
从外部接口看,主动查询和延迟查询几乎是完全相同的 , 所以用单纯的数据测试很难确认后者的效率一定比前者高,用访问时间来测试也并不可靠 。为了测试效率,我们引入一个节点访问次数的概念,如果延迟查询效率更高的话,那么它应该比主动查询访问节点的次数更少 。
为此,编写如下测试:
我们为Dagoba 类添加一个成员来记录总的节点访问次数 , 以及两个辅助方法,分别用于获取和重置访问次数:
然后浏览代码,查找修改点 。增加计数主要在从边查找节点的时候,因此修改部分如下:
此外还有income/outcome 方法 , 修改都很简单,这里就不再列出 。
实现后再次运行测试 。测试通过,表明延迟查询确实在效率上优于主动查询 。
不像关系数据库的结构那样固定 , 图的形式可以千变万化,查询机制也必须足够灵活 。从原理上讲,所有查询无非是从某个节点出发按照特定方向搜索,因此用node/income/outcome 这三个方法几乎可以组合出任意所需的查询 。
但对于复杂查询,写出的代码有时会显得较为琐碎和冗长,对于特定领域来说,往往存在更为简洁的名称,例如:母亲的兄弟可简称为舅舅 。对于这些场景 , 如果能够类似DSL (领域特定语言)那样允许用户根据专业要求自行扩展,从而简化查询,方便阅读,无疑会更为友好 。
如果读者去看原作者的实现,会发现他是用一种特殊语法addAlias 来定义自己想要的查询,调用方法时再进行查询以确定要执行的内容 , 其接口和内部实现都是相当复杂的 。
而我希望有更简单的方法来实现这一点 。所幸Python 是一种高度动态的语言,允许在运行时向类中增加新的成员 , 因此做到这一点可能比预想的还要简单 。
为了验证这一点,编写测试如下:
无需Dagoba 的实现做任何改动 , 测试就可以通过了!其实我们要做的就是动态添加一个自定义的成员函数,按照 Python 对象机制的要求,成员函数的第一个成员应该是名为 self 的参数,但这里已经是在 UnitTest 的内部,为了和测试类本身的 self 相区分,新函数的参数增加了一个下划线 。
此外,函数应返回其所属的对象 , 这是为了链式调用所要求的 。我们看到,动态语言的灵活性使得添加新语法变得非常简单 。
到此 , 一个初具规模的图数据库就形成了 。
和原文相比 , 本文还缺少一些内容,比如如何将数据库序列化到磁盘 。不过相信读者都看到了 , 我们的数据库内部结构基本上是简单的原生数据结构(列表 字典),因此序列化无论用pickle 或是 JSON 之类方法都应该是相当简单的 。有兴趣的读者可以自行完成它们 。
我们的图数据库实现为了提高查询性能,在节点内部存储了边的指针(或者说引用) 。这样做的好处是,无论数据库有多大,从一个节点到相邻节点的访问是常数时间,因此数据访问的效率非常高 。
但一个潜在的问题是,如果数据库规模非常大,已经无法整个放在内存中 , 或者出于安全性等原因要实现分布式访问的话,那么指针就无法使用了,必须要考虑其他机制来解决这个问题 。分布式数据库无论采用何种数据模型都是一个棘手的问题 , 在本文中我们没有涉及 。有兴趣的读者也可以考虑500lines 系列中关于分布式和集群算法的其他一些文章 。
本文的实现和系列中其他数据库类似,采用Python 作为实现语言,而原作者使用的是 JavaScript ,这应该和作者的背景有关 。我相信对于大多数开发者来说,Python 的对象机制比 JavaScript 基于原型的语法应该是更容易阅读和理解的 。
当然 , 原作者的版本比本文版本在实现上其实是更为完善的,灵活性也更好 。如果想要更为优雅的实现,我们可以考虑使用Python 元编程,那样会更接近于作者的实现,但也会让程序的复杂性大为增加 。如果读者有兴趣,不妨对照着去读读原作者的版本 。
python绘图篇1 , xlable,ylable设置x,y轴的标题文字 。
2,title设置标题 。
3,xlim,ylim设置x,y轴显示范围 。
plt.show()显示绘图窗口,通常情况下,show()会阻碍程序运行,带-wthread等参数的环境下,窗口不会关闭 。
plt.saveFig()保存图像 。
面向对象绘图
1,当前图表和子图可以用gcf(),gca()获得 。
subplot()绘制包含多个图表的子图 。
configure subplots,可调节子图与图表边框距离 。
可以通过修改配置文件更改对象属性 。
图标显示中文
1,在程序中直接指定字体 。
2,在程序开始修改配置字典reParams.
3,修改配置文件 。
Artist对象
1,图标的绘制领域 。
2,如何在FigureCanvas对象上绘图 。
3,如何使用Renderer在FigureCanvas对象上绘图 。
FigureCanvas和Render处理底层图像操作 , Artist处理高层结构 。
分为简单对象和容器对象,简单的Aritist是标准的绘图元件,例如Line 2D,Rectangle,Text,AxesImage等 , 而容器类型包含许多简单的的 Aritist对象,使他们构成一个整体,例如Axis,Axes,Figure等 。
直接创建Artist对象进项绘图操作步奏:
1,创建Figure对象(通过figure()函数,会进行许多初始化操作,不建议直接创建 。)
2,为Figure对象创建一个或多个Axes对象 。
3 , 调用Axes对象的方法创建各类简单的Artist对象 。
Figure容器
如何找到指定的Artist对象 。
1,可调用add_subplot()和add_axes()方法向图表添加子图 。
2,可使用for循环添加栅格 。
3 , 可通过transform修改坐标原点 。
Axes容器
1,patch修改背景 。
2,包含坐标轴,坐标网格 , 刻度标签,坐标轴标题等内容 。
3,get_ticklabels(),,get-ticklines获得刻度标签和刻度线 。
1 , 可对曲线进行插值 。
2,fill_between()绘制交点 。
3,坐标变换 。
4 , 绘制阴影 。
5,添加注释 。
1,绘制直方图的函数是
2,箱线图(Boxplot)也称箱须图(Box-whisker Plot),是利用数据中的五个统计量:最小值、第一四分位
数、中位数、第三四分位数与最大值来描述数据的一种方法,它可以粗略地看出数据是否具有对称性以及分
布的分散程度等信息,特别可以用于对几个样本的比较 。
3 , 饼图就是把一个圆盘按所需表达变量的观察数划分为若干份,每一份的角度(即面积)等价于每个观察
值的大小 。
4,散点图
5,QQ图
低层绘图函数
类似于barplot() , dotchart()和plot()这样的函数采用低层的绘图函数来画线和点,来表达它们在页面上放置的位置以及其他各种特征 。
在这一节中,我们会描述一些低层的绘图函数,用户也可以调用这些函数用于绘图 。首先我们先讲一下R怎么描述一个页面;然后我们讲怎么在页面上添加点,线和文字;最后讲一下怎么修改一些基本的图形 。
绘图区域与边界
R在绘图时,将显示区域划分为几个部分 。绘制区域显示了根据数据描绘出来的图像 , 在此区域内R根据数据选择一个坐标系,通过显示出来的坐标轴可以看到R使用的坐标系 。在绘制区域之外是边沿区,从底部开始按顺时针方向分别用数字1到4表示 。文字和标签通常显示在边沿区域内,按照从内到外的行数先后显示 。
添加对象
在绘制的图像上还可以继续添加若干对象 , 下面是几个有用的函数,以及对其功能的说明 。
?points(x, y, ...),添加点
?lines(x, y, ...),添加线段
?text(x, y, labels, ...),添加文字
?abline(a, b, ...),添加直线y=a bx
?abline(h=y, ...),添加水平线
?abline(v=x, ...),添加垂直线
?polygon(x, y, ...),添加一个闭合的多边形
?segments(x0, y0, x1, y1, ...),画线段
?arrows(x0, y0, x1, y1, ...),画箭头
?symbols(x, y, ...),添加各种符号
?legend(x, y, legend, ...) , 添加图列说明
利用Python实现卷积神经网络的可视化在本文中 , 将探讨如何可视化卷积神经网络(CNN),该网络在计算机视觉中使用最为广泛 。首先了解CNN模型可视化的重要性,其次介绍可视化的几种方法,同时以一个用例帮助读者更好地理解模型可视化这一概念 。
正如上文中介绍的癌症肿瘤诊断案例所看到的,研究人员需要对所设计模型的工作原理及其功能掌握清楚,这点至关重要 。一般而言,一名深度学习研究者应该记住以下几点:
1.1 理解模型是如何工作的
1.2 调整模型的参数
1.3 找出模型失败的原因
1.4 向消费者/终端用户或业务主管解释模型做出的决定
2.可视化CNN模型的方法
根据其内部的工作原理,大体上可以将CNN可视化方法分为以下三类:
初步方法:一种显示训练模型整体结构的简单方法
基于激活的方法:对单个或一组神经元的激活状态进行破译以了解其工作过程
基于梯度的方法:在训练过程中操作前向传播和后向传播形成的梯度
下面将具体介绍以上三种方法,所举例子是使用Keras深度学习库实现,另外本文使用的数据集是由“识别数字”竞赛提供 。因此,读者想复现文中案例时 , 请确保安装好Kears以及执行了这些步骤 。
研究者能做的最简单的事情就是绘制出模型结构图,此外还可以标注神经网络中每层的形状及参数 。在keras中,可以使用如下命令完成模型结构图的绘制:
model.summary()_________________________________________________________________Layer (type)Output ShapeParam #
=================================================================conv2d_1 (Conv2D)(None, 26, 26, 32)320_________________________________________________________________conv2d_2 (Conv2D)(None, 24, 24, 64)18496_________________________________________________________________max_pooling2d_1 (MaxPooling2 (None, 12, 12, 64)0_________________________________________________________________dropout_1 (Dropout)(None, 12, 12, 64)0_________________________________________________________________flatten_1 (Flatten)(None, 9216)0_________________________________________________________________dense_1 (Dense)(None, 128)1179776_________________________________________________________________dropout_2 (Dropout)(None, 128)0_________________________________________________________________preds (Dense)(None, 10)1290
=================================================================Total params: 1,199,882Trainable params: 1,199,882Non-trainable params: 0
还可以用一个更富有创造力和表现力的方式呈现模型结构框图,可以使用keras.utils.vis_utils函数完成模型体系结构图的绘制 。
另一种方法是绘制训练模型的过滤器,这样就可以了解这些过滤器的表现形式 。例如,第一层的第一个过滤器看起来像:
top_layer = model.layers[0]plt.imshow(top_layer.get_weights()[0][:, :, :, 0].squeeze(), cmap='gray')
一般来说,神经网络的底层主要是作为边缘检测器,当层数变深时,过滤器能够捕捉更加抽象的概念,比如人脸等 。
为了理解神经网络的工作过程,可以在输入图像上应用过滤器,然后绘制其卷积后的输出,这使得我们能够理解一个过滤器其特定的激活模式是什么 。比如,下图是一个人脸过滤器,当输入图像是人脸图像时候,它就会被激活 。
from vis.visualization import visualize_activation
from vis.utils import utils
from keras import activations
from matplotlib import pyplot as plt
%matplotlib inline
plt.rcParams['figure.figsize'] = (18, 6)
# Utility to search for layer index by name.
# Alternatively we can specify this as -1 since it corresponds to the last layer.
layer_idx = utils.find_layer_idx(model, 'preds')
# Swap softmax with linear
model.layers[layer_idx].activation = activations.linear
model = utils.apply_modifications(model)
# This is the output node we want to maximize.filter_idx = 0
img = visualize_activation(model, layer_idx, filter_indices=filter_idx)
plt.imshow(img[..., 0])
同理,可以将这个想法应用于所有的类别,并检查它们的模式会是什么样子 。
for output_idx in np.arange(10):
# Lets turn off verbose output this time to avoid clutter and just see the output.
img = visualize_activation(model, layer_idx, filter_indices=output_idx, input_range=(0., 1.))
plt.figure()
plt.title('Networks perception of {}'.format(output_idx))
plt.imshow(img[..., 0])
在图像分类问题中,可能会遇到目标物体被遮挡,有时候只有物体的一小部分可见的情况 。基于图像遮挡的方法是通过一个灰色正方形系统地输入图像的不同部分并监视分类器的输出 。这些例子清楚地表明模型在场景中定位对象时,若对象被遮挡,其分类正确的概率显著降低 。
为了理解这一概念,可以从数据集中随机抽取图像 , 并尝试绘制该图的热图(heatmap) 。这使得我们直观地了解图像的哪些部分对于该模型而言的重要性 , 以便对实际类别进行明确的区分 。
def iter_occlusion(image, size=8):
# taken from
occlusion = np.full((size * 5, size * 5, 1), [0.5], np.float32)
occlusion_center = np.full((size, size, 1), [0.5], np.float32)
occlusion_padding = size * 2
# print('padding...')
image_padded = np.pad(image, ( \(occlusion_padding, occlusion_padding), (occlusion_padding, occlusion_padding), (0, 0) \), 'constant', constant_values = 0.0)
for y in range(occlusion_padding, image.shape[0]occlusion_padding, size):
for x in range(occlusion_padding, image.shape[1]occlusion_padding, size):
tmp = image_padded.copy()
tmp[y - occlusion_padding:yocclusion_center.shape[0]occlusion_padding, \
x - occlusion_padding:xocclusion_center.shape[1]occlusion_padding] \= occlusion
tmp[y:yocclusion_center.shape[0], x:xocclusion_center.shape[1]] = occlusion_centeryield x - occlusion_padding, y - occlusion_padding, \
tmp[occlusion_padding:tmp.shape[0] - occlusion_padding, occlusion_padding:tmp.shape[1] - occlusion_padding]i = 23 # for exampledata = https://www.04ip.com/post/val_x[i]correct_class = np.argmax(val_y[i])
# input tensor for model.predictinp = data.reshape(1, 28, 28, 1)# image data for matplotlib's imshowimg = data.reshape(28, 28)
# occlusionimg_size = img.shape[0]
occlusion_size = 4print('occluding...')heatmap = np.zeros((img_size, img_size), np.float32)class_pixels = np.zeros((img_size, img_size), np.int16)
from collections import defaultdict
counters = defaultdict(int)for n, (x, y, img_float) in enumerate(iter_occlusion(data, size=occlusion_size)):
X = img_float.reshape(1, 28, 28, 1)
out = model.predict(X)
#print('#{}: {} @ {} (correct class: {})'.format(n, np.argmax(out), np.amax(out), out[0][correct_class]))
#print('x {} - {} | y {} - {}'.format(x, xocclusion_size, y, yocclusion_size))
heatmap[y:yocclusion_size, x:xocclusion_size] = out[0][correct_class]
class_pixels[y:yocclusion_size, x:xocclusion_size] = np.argmax(out)
counters[np.argmax(out)]= 1
正如之前的坦克案例中看到的那样,怎么才能知道模型侧重于哪部分的预测呢?为此,可以使用显著图解决这个问题 。显著图首先在这篇文章中被介绍 。
使用显著图的概念相当直接——计算输出类别相对于输入图像的梯度 。这应该告诉我们输出类别值对于输入图像像素中的微小变化是怎样变化的 。梯度中的所有正值告诉我们,像素的一个小变化会增加输出值 。因此,将这些梯度可视化可以提供一些直观的信息,这种方法突出了对输出贡献最大的显著图像区域 。
class_idx = 0indices = np.where(val_y[:, class_idx] == 1.)[0]
# pick some random input from here.idx = indices[0]
# Lets sanity check the picked image.from matplotlib import pyplot as plt%matplotlib inline
plt.rcParams['figure.figsize'] = (18, 6)plt.imshow(val_x[idx][..., 0])
from vis.visualization import visualize_saliency
from vis.utils import utilsfrom keras import activations# Utility to search for layer index by name.
# Alternatively we can specify this as -1 since it corresponds to the last layer.
layer_idx = utils.find_layer_idx(model, 'preds')
# Swap softmax with linearmodel.layers[layer_idx].activation = activations.linear
model = utils.apply_modifications(model)grads = visualize_saliency(model, layer_idx, filter_indices=class_idx, seed_input=val_x[idx])
# Plot with 'jet' colormap to visualize as a heatmap.plt.imshow(grads, cmap='jet')
# This corresponds to the Dense linear layer.for class_idx in np.arange(10):
indices = np.where(val_y[:, class_idx] == 1.)[0]
idx = indices[0]
f, ax = plt.subplots(1, 4)
ax[0].imshow(val_x[idx][..., 0])
for i, modifier in enumerate([None, 'guided', 'relu']):
grads = visualize_saliency(model, layer_idx, filter_indices=class_idx,
seed_input=val_x[idx], backprop_modifier=modifier)
if modifier is None:
modifier = 'vanilla'
ax[i 1].set_title(modifier)
ax[i 1].imshow(grads, cmap='jet')
类别激活映射(CAM)或grad-CAM是另外一种可视化模型的方法,这种方法使用的不是梯度的输出值,而是使用倒数第二个卷积层的输出,这样做是为了利用存储在倒数第二层的空间信息 。
from vis.visualization import visualize_cam
# This corresponds to the Dense linear layer.for class_idx in np.arange(10):
indices = np.where(val_y[:, class_idx] == 1.)[0]
idx = indices[0]f, ax = plt.subplots(1, 4)
ax[0].imshow(val_x[idx][..., 0])
for i, modifier in enumerate([None, 'guided', 'relu']):
grads = visualize_cam(model, layer_idx, filter_indices=class_idx,
seed_input=val_x[idx], backprop_modifier=modifier)
if modifier is None:
modifier = 'vanilla'
ax[i 1].set_title(modifier)
ax[i 1].imshow(grads, cmap='jet')
本文简单说明了CNN模型可视化的重要性 , 以及介绍了一些可视化CNN网络模型的方法,希望对读者有所帮助,使其能够在后续深度学习应用中构建更好的模型 。免费视频教程:
万字教你如何用 Python 实现线性规划想象一下python函数结构图 , 您有一个线性方程组和不等式系统 。这样的系统通常有许多可能的解决方案 。线性规划是一组数学和计算工具,可让您找到该系统的特定解,该解对应于某些其他线性函数的最大值或最小值 。
混合整数线性规划是线性规划的扩展 。它处理至少一个变量采用离散整数而不是连续值的问题 。尽管乍一看混合整数问题与连续变量问题相似 , 但它们在灵活性和精度方面具有显着优势 。
整数变量对于正确表示自然用整数表示的数量很重要,例如生产的飞机数量或服务的客户数量 。
一种特别重要的整数变量是二进制变量。它只能取零或一的值 , 在做出是或否的决定时很有用,例如是否应该建造工厂或者是否应该打开或关闭机器 。您还可以使用它们来模拟逻辑约束 。
线性规划是一种基本的优化技术,已在科学和数学密集型领域使用了数十年 。它精确、相对快速,适用于一系列实际应用 。
混合整数线性规划允许您克服线性规划的许多限制 。您可以使用分段线性函数近似非线性函数、使用半连续变量、模型逻辑约束等 。它是一种计算密集型工具 , 但计算机硬件和软件的进步使其每天都更加适用 。
通常,当人们试图制定和解决优化问题时 , 第一个问题是他们是否可以应用线性规划或混合整数线性规划 。
以下文章说明了线性规划和混合整数线性规划的一些用例python函数结构图:
随着计算机能力的增强、算法的改进以及更多用户友好的软件解决方案的出现,线性规划 , 尤其是混合整数线性规划的重要性随着时间的推移而增加 。
解决线性规划问题的基本方法称为,它有多种变体 。另一种流行的方法是 。
混合整数线性规划问题可以通过更复杂且计算量更大的方法来解决 , 例如,它在幕后使用线性规划 。这种方法的一些变体是,它涉及使用 切割平面 , 以及 。
有几种适用于线性规划和混合整数线性规划的合适且众所周知的 Python 工具 。其中一些是开源的,而另一些是专有的 。您是否需要免费或付费工具取决于问题的规模和复杂性,以及对速度和灵活性的需求 。
值得一提的是 , 几乎所有广泛使用的线性规划和混合整数线性规划库都是以 Fortran 或 C 或 C原生和编写的 。这是因为线性规划需要对(通常很大)矩阵进行计算密集型工作 。此类库称为求解器 。Python 工具只是求解器的包装器 。
Python 适合围绕本机库构建包装器,因为它可以很好地与 C/C配合使用 。对于本教程 , 您不需要任何 C/C(或 Fortran),但如果您想了解有关此酷功能的更多信息,请查看以下资源:
基本上,当您定义和求解模型时 , 您使用 Python 函数或方法调用低级库,该库执行实际优化工作并将解决方案返回给您的 Python 对象 。
几个免费的 Python 库专门用于与线性或混合整数线性规划求解器交互:
在本教程中,您将使用SciPy和PuLP来定义和解决线性规划问题 。
在本节中 , 您将看到线性规划问题的两个示例:
您将在下一节中使用 Python 来解决这两个问题 。
考虑以下线性规划问题:
python函数结构图你需要找到X和?使得红色,蓝色和黄色的不平等,以及不平等X0和?0,是满意的 。同时,您的解决方案必须对应于z的最大可能值 。
您需要找到的自变量(在本例中为x和y)称为决策变量。要最大化或最小化的决策变量的函数(在本例中为z)称为目标函数、成本函数或仅称为目标。您需要满足的不等式称为不等式约束。您还可以在称为等式约束的约束中使用方程 。
这是您如何可视化问题的方法:
红线代表的功能2 XY = 20,和它上面的红色区域示出了红色不等式不满足 。同样,蓝线是函数 4 x5 y = 10,蓝色区域被禁止 , 因为它违反了蓝色不等式 。黄线是x2 y =2,其下方的黄色区域是黄色不等式无效的地方 。
如果您忽略红色、蓝色和黄色区域,则仅保留灰色区域 。灰色区域的每个点都满足所有约束,是问题的潜在解决方案 。该区域称为可行域 , 其点为可行解。在这种情况下,有无数可行的解决方案 。
您想最大化z 。对应于最大z的可行解是最优解。如果您尝试最小化目标函数,那么最佳解决方案将对应于其可行的最小值 。
请注意,z是线性的 。你可以把它想象成一个三维空间中的平面 。这就是为什么最优解必须在可行区域的顶点或角上的原因 。在这种情况下,最佳解决方案是红线和蓝线相交的点 , 稍后您将看到 。
有时,可行区域的整个边缘,甚至整个区域,都可以对应相同的z值 。在这种情况下,您有许多最佳解决方案 。
您现在已准备好使用绿色显示的附加等式约束来扩展问题:
方程式x5 y = 15 , 以绿色书写 , 是新的 。这是一个等式约束 。您可以通过向上一张图像添加相应的绿线来将其可视化:
现在的解决方案必须满足绿色等式,因此可行区域不再是整个灰色区域 。它是绿线从与蓝线的交点到与红线的交点穿过灰色区域的部分 。后一点是解决方案 。
如果插入x的所有值都必须是整数的要求 , 那么就会得到一个混合整数线性规划问题,可行解的集合又会发生变化:
您不再有绿线,只有沿线的x值为整数的点 。可行解是灰色背景上的绿点,此时最优解离红线最近 。
这三个例子说明了可行的线性规划问题,因为它们具有有界可行区域和有限解 。
如果没有解,线性规划问题是不可行的。当没有解决方案可以同时满足所有约束时,通常会发生这种情况 。
例如,考虑如果添加约束xy1会发生什么 。那么至少有一个决策变量(x或y)必须是负数 。这与给定的约束x0 和y0相冲突 。这样的系统没有可行的解决方案 , 因此称为不可行的 。
另一个示例是添加与绿线平行的第二个等式约束 。这两行没有共同点 , 因此不会有满足这两个约束的解决方案 。
一个线性规划问题是无界的,如果它的可行区域是无界,将溶液不是有限 。这意味着您的变量中至少有一个不受约束,可以达到正无穷大或负无穷大,从而使目标也无限大 。
例如,假设您采用上面的初始问题并删除红色和黄色约束 。从问题中删除约束称为放松问题 。在这种情况下,x和y不会在正侧有界 。您可以将它们增加到正无穷大,从而产生无限大的z值 。
在前面的部分中,您研究了一个与任何实际应用程序无关的抽象线性规划问题 。在本小节中,您将找到与制造业资源分配相关的更具体和实用的优化问题 。
假设一家工厂生产四种不同的产品,第一种产品的日产量为x ?,第二种产品的产量为x 2,依此类推 。目标是确定每种产品的利润最大化日产量,同时牢记以下条件:
数学模型可以这样定义:
目标函数(利润)在条件 1 中定义 。人力约束遵循条件 2 。对原材料 A 和 B 的约束可以从条件 3 和条件 4 中通过对每种产品的原材料需求求和得出 。
最后,产品数量不能为负,因此所有决策变量必须大于或等于零 。
与前面的示例不同,您无法方便地将其可视化,因为它有四个决策变量 。但是,无论问题的维度如何,原理都是相同的 。
在本教程中,您将使用两个Python 包来解决上述线性规划问题:
SciPy 设置起来很简单 。安装后,您将拥有开始所需的一切 。它的子包scipy.optimize可用于线性和非线性优化 。
PuLP 允许您选择求解器并以更自然的方式表述问题 。PuLP 使用的默认求解器是COIN-OR Branch and Cut Solver (CBC) 。它连接到用于线性松弛的COIN-OR 线性规划求解器 (CLP)和用于切割生成的COIN-OR 切割生成器库 (CGL) 。
另一个伟大的开源求解器是GNU 线性规划工具包 (GLPK) 。一些著名且非常强大的商业和专有解决方案是Gurobi、CPLEX和XPRESS 。
除了在定义问题时提供灵活性和运行各种求解器的能力外 , PuLP 使用起来不如 Pyomo 或 CVXOPT 等替代方案复杂,后者需要更多的时间和精力来掌握 。
要学习本教程,您需要安装 SciPy 和 PuLP 。下面的示例使用 SciPy 1.4.1 版和 PuLP 2.1 版 。
您可以使用pip以下方法安装两者:
您可能需要运行pulptest或sudo pulptest启用 PuLP 的默认求解器,尤其是在您使用 Linux 或 Mac 时:
或者,您可以下载、安装和使用 GLPK 。它是免费和开源的,适用于 Windows、MacOS 和 Linux 。在本教程的后面部分,您将看到如何将 GLPK(除了 CBC)与 PuLP 一起使用 。
在 Windows 上,您可以下载档案并运行安装文件 。
在 MacOS 上,您可以使用 Homebrew:
在 Debian 和 Ubuntu 上,使用apt来安装glpk和glpk-utils:
在Fedora,使用dnf具有glpk-utils:
您可能还会发现conda对安装 GLPK 很有用:
安装完成后,可以查看GLPK的版本:
有关详细信息,请参阅 GLPK 关于使用Windows 可执行文件和Linux 软件包进行安装的教程 。
在本节中,您将学习如何使用 SciPy优化和求根库进行线性规划 。
要使用 SciPy 定义和解决优化问题,您需要导入scipy.optimize.linprog():
现在您已经linprog()导入,您可以开始优化 。
让python函数结构图我们首先解决上面的线性规划问题:
linprog()仅解决最小化(而非最大化)问题,并且不允许具有大于或等于符号 ( ) 的不等式约束 。要解决这些问题,您需要在开始优化之前修改您的问题:
引入这些更改后,您将获得一个新系统:
该系统与原始系统等效,并且将具有相同的解决方案 。应用这些更改的唯一原因是克服 SciPy 与问题表述相关的局限性 。
下一步是定义输入值:
您将上述系统中的值放入适当的列表、元组或NumPy 数组中:
注意:请注意行和列的顺序!
约束左侧和右侧的行顺序必须相同 。每一行代表一个约束 。
来自目标函数和约束左侧的系数的顺序必须匹配 。每列对应一个决策变量 。
下一步是以与系数相同的顺序定义每个变量的界限 。在这种情况下,它们都在零和正无穷大之间:
此语句是多余的,因为linprog()默认情况下采用这些边界(零到正无穷大) 。
注:相反的float("inf"),你可以使用math.inf,numpy.inf或scipy.inf 。
最后,是时候优化和解决您感兴趣的问题了 。你可以这样做linprog():
参数c是指来自目标函数的系数 。A_ub和b_ub分别与不等式约束左边和右边的系数有关 。同样,A_eq并b_eq参考等式约束 。您可以使用bounds提供决策变量的下限和上限 。
您可以使用该参数method来定义要使用的线性规划方法 。有以下三种选择:
linprog() 返回具有以下属性的数据结构:
您可以分别访问这些值:
这就是您获得优化结果的方式 。您还可以以图形方式显示它们:
如前所述 , 线性规划问题的最优解位于可行区域的顶点 。在这种情况下 , 可行区域只是蓝线和红线之间的绿线部分 。最优解是代表绿线和红线交点的绿色方块 。
如果要排除相等(绿色)约束,只需删除参数A_eq并b_eq从linprog()调用中删除:
解决方案与前一种情况不同 。你可以在图表上看到:
在这个例子中,最优解是红色和蓝色约束相交的可行(灰色)区域的紫色顶点 。其他顶点,如黄色顶点,具有更高的目标函数值 。
您可以使用 SciPy 来解决前面部分所述的资源分配问题:
和前面的例子一样,你需要从上面的问题中提取必要的向量和矩阵,将它们作为参数传递给.linprog(),然后得到结果:
结果告诉您最大利润是1900并且对应于x ? = 5 和x ? = 45 。在给定条件下生产第二和第四个产品是没有利润的 。您可以在这里得出几个有趣的结论:
opt.statusis0和opt.successis True,说明优化问题成功求解,最优可行解 。
SciPy 的线性规划功能主要用于较小的问题 。对于更大和更复杂的问题,您可能会发现其他库更适合 , 原因如下:
幸运的是 , Python 生态系统为线性编程提供了几种替代解决方案,这些解决方案对于更大的问题非常有用 。其中之一是 PuLP,您将在下一节中看到它的实际应用 。
PuLP 具有比 SciPy 更方便的线性编程 API 。您不必在数学上修改您的问题或使用向量和矩阵 。一切都更干净,更不容易出错 。
像往常一样,您首先导入您需要的内容:
现在您已经导入了 PuLP,您可以解决您的问题 。
您现在将使用 PuLP 解决此系统:
第一步是初始化一个实例LpProblem来表示你的模型:
您可以使用该sense参数来选择是执行最小化(LpMinimize或1,这是默认值)还是最大化(LpMaximize或-1) 。这个选择会影响你的问题的结果 。
一旦有了模型,就可以将决策变量定义为LpVariable类的实例:
您需要提供下限,lowBound=0因为默认值为负无穷大 。该参数upBound定义了上限 , 但您可以在此处省略它,因为它默认为正无穷大 。
可选参数cat定义决策变量的类别 。如果您使用的是连续变量,则可以使用默认值"Continuous" 。
您可以使用变量x和y创建表示线性表达式和约束的其他 PuLP 对象:
当您将决策变量与标量相乘或构建多个决策变量的线性组合时,您会得到一个pulp.LpAffineExpression代表线性表达式的实例 。
注意:您可以增加或减少变量或表达式 , 你可以乘他们常数,因为纸浆类实现一些Python的特殊方法,即模拟数字类型一样__add__() , __sub__()和__mul__() 。这些方法用于像定制运营商的行为 ,-和* 。
类似地,您可以将线性表达式、变量和标量与运算符 ==、=以获取表示模型线性约束的纸浆.LpConstraint实例 。
注:也有可能与丰富的比较方法来构建的约束.__eq__() , .__le__()以及.__ge__()定义了运营商的行为==,= 。
考虑到这一点,下一步是创建约束和目标函数并将它们分配给您的模型 。您不需要创建列表或矩阵 。只需编写 Python 表达式并使用 =运算符将它们附加到模型中:
在上面的代码中 , 您定义了包含约束及其名称的元组 。LpProblem允许您通过将约束指定为元组来向模型添加约束 。第一个元素是一个LpConstraint实例 。第二个元素是该约束的可读名称 。
设置目标函数非常相似:
或者,您可以使用更短的符号:
现在您已经添加了目标函数并定义了模型 。
注意:您可以使用运算符将 约束或目标附加到模型中,=因为它的类LpProblem实现了特殊方法.__iadd__(),该方法用于指定 的行为 = 。
对于较大的问题,lpSum()与列表或其他序列一起使用通常比重复 运算符更方便 。例如,您可以使用以下语句将目标函数添加到模型中:
它产生与前一条语句相同的结果 。
您现在可以看到此模型的完整定义:
模型的字符串表示包含所有相关数据:变量、约束、目标及其名称 。
注意:字符串表示是通过定义特殊方法构建的.__repr__() 。有关 的更多详细信息.__repr__(),请查看Pythonic OOP 字符串转换:__repr__vs__str__ .
最后,您已准备好解决问题 。你可以通过调用.solve()你的模型对象来做到这一点 。如果要使用默认求解器 (CBC) , 则不需要传递任何参数:
.solve()调用底层求解器,修改model对象,并返回解决方案的整数状态,1如果找到了最优解 。有关其余状态代码,请参阅LpStatus[] 。
你可以得到优化结果作为 的属性model 。该函数value()和相应的方法.value()返回属性的实际值:
model.objective持有目标函数model.constraints的值,包含松弛变量的值,以及对象x和y具有决策变量的最优值 。model.variables()返回一个包含决策变量的列表:
如您所见,此列表包含使用 的构造函数创建的确切对象LpVariable 。
结果与您使用 SciPy 获得的结果大致相同 。
注意:注意这个方法.solve()——它会改变对象的状态 , x并且y!
您可以通过调用查看使用了哪个求解器.solver:
输出通知您求解器是 CBC 。您没有指定求解器,因此 PuLP 调用了默认求解器 。
如果要运行不同的求解器,则可以将其指定为 的参数.solve() 。例如,如果您想使用 GLPK 并且已经安装了它 , 那么您可以solver=GLPK(msg=False)在最后一行使用 。请记?。?您还需要导入它:
现在你已经导入了 GLPK,你可以在里面使用它.solve():
该msg参数用于显示来自求解器的信息 。msg=False禁用显示此信息 。如果要包含信息 , 则只需省略msg或设置msg=True 。
您的模型已定义并求解,因此您可以按照与前一种情况相同的方式检查结果:
使用 GLPK 得到的结果与使用 SciPy 和 CBC 得到的结果几乎相同 。
一起来看看这次用的是哪个求解器:
正如您在上面用突出显示的语句定义的那样model.solve(solver=GLPK(msg=False)),求解器是 GLPK 。
您还可以使用 PuLP 来解决混合整数线性规划问题 。要定义整数或二进制变量,只需传递cat="Integer"或cat="Binary"到LpVariable 。其他一切都保持不变:
在本例中,您有一个整数变量并获得与之前不同的结果:
Nowx是一个整数,如模型中所指定 。(从技术上讲 , 它保存一个小数点后为零的浮点值 。)这一事实改变了整个解决方案 。让我们在图表上展示这一点:
如您所见 , 最佳解决方案是灰色背景上最右边的绿点 。这是两者的最大价值的可行的解决方案x和y,给它的最大目标函数值 。
GLPK 也能够解决此类问题 。
现在你可以使用 PuLP 来解决上面的资源分配问题:
定义和解决问题的方法与前面的示例相同:
在这种情况下 , 您使用字典 x来存储所有决策变量 。这种方法很方便,因为字典可以将决策变量的名称或索引存储为键,将相应的LpVariable对象存储为值 。列表或元组的LpVariable实例可以是有用的 。
上面的代码产生以下结果:
如您所见 , 该解决方案与使用 SciPy 获得的解决方案一致 。最有利可图的解决方案是每天生产5.0第一件产品和45.0第三件产品 。
让我们把这个问题变得更复杂和有趣 。假设由于机器问题,工厂无法同时生产第一种和第三种产品 。在这种情况下,最有利可图的解决方案是什么?
现在您有另一个逻辑约束:如果x ? 为正数,则x ? 必须为零,反之亦然 。这是二元决策变量非常有用的地方 。您将使用两个二元决策变量y ? 和y ?,它们将表示是否生成了第一个或第三个产品:
除了突出显示的行之外 , 代码与前面的示例非常相似 。以下是差异:
这是解决方案:
事实证明,最佳方法是排除第一种产品而只生产第三种产品 。
就像有许多资源可以帮助您学习线性规划和混合整数线性规划一样,还有许多具有 Python 包装器的求解器可用 。这是部分列表:
其中一些库,如 Gurobi , 包括他们自己的 Python 包装器 。其他人使用外部包装器 。例如,您看到可以使用 PuLP 访问 CBC 和 GLPK 。
您现在知道什么是线性规划以及如何使用 Python 解决线性规划问题 。您还了解到 Python 线性编程库只是本机求解器的包装器 。当求解器完成其工作时 , 包装器返回解决方案状态、决策变量值、松弛变量、目标函数等 。
【python函数结构图 python 函数图】关于python函数结构图和python 函数图的介绍到此就结束了,不知道你从中找到你需要的信息了吗 ?如果你还想了解更多这方面的信息,记得收藏关注本站 。
推荐阅读
- 春节棋牌游戏大全的简单介绍
- sap/hana,saphana是什么意思
- b站能否开通付费直播,b站能否开通付费直播功能
- date函数的编写c语言 datetrunc函数
- 小程序横版源码下载,小程序横版源码下载
- 在sqlserver设置约束,sql server设置约束条件
- 无法连接国外ftp服务器,无法连接国外ftp服务器怎么解决
- python函数分解方法 python数的分解
- java精准计算代码,java 计算