数据操作基础库 numpy 一

本贴最后更新于 2017 天前,其中的信息可能已经物是人非
## 基本操作

numpy:数据分析和机器学习的底层库,完全由C语言实现,用于高效的操作数据。而且是开源的,经过了很多大牛的完善。

numpy.ndarray(numpy数组):由实际数据和元数据组成,实际数据必须是数据类型相同的数据集,元数据则是存储数据的维度和长度。
例如:a = [[2 3] [4 5] [6 7]] 的实际数据是2 3 4 5 6 7,元数据(a.shape)是(3,2),不加逗号是为了区分python列表与numpy数组。

**0、创建数组**
numpy.arange(起始,终止,步长)  生成一维数组
numpy.array(一般为列表或数组,dtype=对数据类型的描述) 根据列表或数组生成新数组,dtype可以省略

**1、numpy内部基本数据类型**
布尔型:bool_     
有符号整数:int8(-128~127)/int16/int32/int64
无符号整数:unint8(0-255)/uint16/uint32/uint64
浮点型:float16/float32/float64
复数型:complex64/complex128
字符串:str_ , 每个字符用32位(四个字节)Unicode编码表示

**2、自定义复合类型**
1)类型字符码
? --- bool_  
b --- int8   
B --- uint8   
i1/i2/i4/i8 --- 有符号整型   
u1/2/4/8 -- 无符号整型   
f2/4/8 --- 浮点   
c8/16 --- 复数   
U<字符数> --- 字符串   
M8 --- 日期时间   
O --- Python对象
2)类型字符串
<字节序><维度><类型字符码><字节数>
字节序:> 大端字节序  < 小端字节序 = 根据硬件自动选择
比如:a = numpy.array(['abcdef'], dtype='6U1')
      # [['a' 'b' 'c' 'd' 'e' 'f']]
更多示例见:[dtype.py](https://gitee.com/kanadeblisst/CSDN/blob/master/dtype.py)
疑问:能不能将['abcdef']解读成这个数组['ab' 'cd' 'ef']

**3、切片**
数组[起始:终止:步长,起始:终止:步长,...]
除了有多维切片外,基本和Python切片一样
补充: a[0][1][2] 同a[0,1,2]
示例:[slice.py](https://gitee.com/kanadeblisst/CSDN/blob/master/slice.py)

**4、变维**
1)视图变维
reshape()(重新设置维度)、ravel()(展平,将数组变为一维的)、
transpose((2,1,0))(转置)原数组为(0,1,2),也就是把0,2轴数据对调
视图:返回一个具有新维度的新数组对象,数据还是原数组的数据,当原数组数据变化时,新数组数据也会变化
2)复制变维
flatten(展平,复制数据形成新数组)     
3)就地变维
在原数组之上,改变维度
a.shape = 新维度
a.resize(...)
示例:[reshape.py](https://gitee.com/kanadeblisst/CSDN/blob/master/reshape.py)

**5、np.ndarray的属性**
dtype 元素类型    
shape 数组维度
T 转置视图   
size 元素个数
ndim 数组维数   
itemsize 每个元素字节数
nbytes 数组总字节数 
real 实部数组 
imag 虚部数组 如果是整数或浮点数数组,则全为0,字符串数组则全为''
flat 扁平迭代器(展平后的迭代器)
tolist()  数组转列表
a1 = np.append(a, i)  向a中添加i并返回结果给a1


## 一、创建数组

**1.arange**
```
a = numpy.arange(0, 16)
# 生成0-16的数组
b = numpy.arange(0, 16).reshape(4, 4)
# 生成一个4x4的数组,数据为a的数据
a.shape = (2, 2, 2, 2)
# 修改a的维度为(2,2,2,2)
a.shape = (2,-1,2,2)
# -1表示自动计算该维度
a.resize = (4, 4)
# 修改a的维度为(4,4)
```
**2、array和asarray**
```
a = numpy.array([1,2,3,4])
b = numpy.array([1,2,3,4], dtype=numpy.float32)
c = numpy.array([[1, 2], [3, 4]])
d = numpy.array(numpy.arange(1,11))
e = numpy.array([numpy.arange(1,5), numpy.arange(11, 15)])
```
asarray用法同array,不过asarray接受的参数是numpy数组时,并不会拷贝一份,array则会拷贝,所以看实际需求吧。

**3、linspace和logspace**
1)numpy.linspace(start, stop, num=50, endpoint=True, retstep=False, dtype=None)
功能:生成一个num个数的等差数列(数组),起始值为start,终止值为stop
endpoint:是否包含stop
retstep:为True时生成(ndarray, 间距)的元组,间距也就是数学上的公差
2)numpy.logspace(start, stop, num=50, endpoint=True, base=10.0, dtype=None)
功能:生成一个num个数的等比数列(数组)。起始值为base ** start,终止值为base ** stop。
示例:[llspace.py](https://gitee.com/kanadeblisst/CSDN/blob/master/llspace.py)

**4、empty、ones和zeros**
numpy.empty(shape, dtype = float, order = 'C')
功能: 生成一个维度为shape的空数组,不过因为是C语言写的,未被赋值的变量会是垃圾值。
numpy.zeros(shape, dtype = float, order = 'C')
功能: 生成一个维度为shape,值全为0的数组。
numpy.ones(shape, dtype = None, order = 'C')
功能: 生成一个维度为shape,值全为1的数组

**拓展:高级索引**
1)a[一维行索引列表或数组, 一维列索引列表或数组]
例如:

```
a = np.array([[1,  2],  [3,  4],  [5,  6]]) 
b = a[[0, 1, 2],  [0, 1, 0]] 
# 相对于b是由a[0, 0]、a[1, 1]、a[2, 0]组成的新数组,即[1 4 5]
```

2)a[多维行索引列表或数组, 多维列索引列表或数组]
例如:
```
a = np.array([[  0,  1,  2],[  3,  4,  5],[  6,  7,  8],[  9,  10,  11]]) 
b = a[np.array([0, 0, 3 3]), np.array([0, 2, 0, 2])]
会得到[0 2 9 11]
b = a[np.array([[0, 0], [3 3]]), np.array([[0, 2], [0, 2]])]
```

则会得到[[0 2] [9 11]],数据并没有变,只是结果的维度变化了。
3)布尔索引

```
b = [False, True, True]
a = numpy.array([1, 2, 3])
c = a[b]
```
你猜结果是啥

4)花式索引
a为一维数组,索引也为一维数组
```
a = numpy.arange(15)
b = a[range(5)]  # [0 1 2 3 4]
c = a[[-1,-2,-3,-4]]  # [14 13 12 11]
```
那么当a为二维数组,而索引只给一个一维数组,会得到什么?
```
a = numpy.arange(15).reshape(5, 3)
b = a[[-3,-1,-2]]
```

再高级一点,请看:
```
a = numpy.arange(15).reshape(5, 3)
b = a[numpy.ix_([1,3,3],[2,0,1])]
c = a[[1,3,3]][:,[2,0,1]]
```

这个索引的意思是先取a[[1,3,3]]得到a的第一行和两个第三行的数组,然后分别对每一行取[2,0,1]这个索引。
numpy.ix_函数将[1,3,3],[2,0,1]打包成一个这样([[1] [3] [3]], [[2 0 1]])的元组。也就是它的作用只是让你代码显得容易理解,否则写一个a[([[1] [3] [3]], [[2 0 1]])]谁知道结果是什么。当然你非要这样写也行,和写numpy.ix_一样。写成c的形式也比较容易理解。

个人理解: 如果可以不用花式索引,最好别用。因为花式索引并不是像切片和索引一样的视图,而是复制了一份新的数据。

## 二、数组操作

**1、基本操作(数组维度完全相同)**
```
a = numpy.arange(1, 11)
b = numpy.arange(11,21)
c = a + b
d = b - a
e = a * b # 和矩阵的操作不同,数组间的乘法只是对应元素相乘。
f = b / a
g = b // a
h = a > 5
j = a[a>5]   # 布尔索引的应用
k = a @ b  # 矩阵乘法,同A.dot(B)
```

**2、numpy广播(数组维度不同,但有限制)**
专业解释:广播的原则,如果两个数组的后缘维度(trailing dimension,即从末尾开始算起的维度)的轴长度相符,或其中的一方的长度为1,则认为它们是广播兼容的。广播会在缺失和(或)长度为1的维度上进行。

大概意思是:维度为(4,3,2)的数组是可以和维度为(3,2)的数组进行操作的,当然和(3,1)和(1,2)也是可以的。

```
a = numpy.arange(1, 25).reshape(4,3,2)
b = numpy.arange(1, 7).reshape(3,2)
print('a: ', a)
print('b: ', b)
print(a + b)
```




#

##

相关帖子

欢迎来到这里!

我们正在构建一个小众社区,大家在这里相互信任,以平等 • 自由 • 奔放的价值观进行分享交流。最终,希望大家能够找到与自己志同道合的伙伴,共同成长。

注册 关于
请输入回帖内容 ...

推荐标签 标签

  • Netty

    Netty 是一个基于 NIO 的客户端-服务器编程框架,使用 Netty 可以让你快速、简单地开发出一个可维护、高性能的网络应用,例如实现了某种协议的客户、服务端应用。

    49 引用 • 33 回帖 • 30 关注
  • PWL

    组织简介

    用爱发电 (Programming With Love) 是一个以开源精神为核心的民间开源爱好者技术组织,“用爱发电”象征开源与贡献精神,加入组织,代表你将遵守组织的“个人开源爱好者”的各项条款。申请加入:用爱发电组织邀请帖
    用爱发电组织官网:https://programmingwithlove.stackoverflow.wiki/

    用爱发电组织的核心驱动力:

    • 遵守开源守则,体现开源&贡献精神:以分享为目的,拒绝非法牟利。
    • 自我保护:使用适当的 License 保护自己的原创作品。
    • 尊重他人:不以各种理由、各种漏洞进行未经允许的抄袭、散播、洩露;以礼相待,尊重所有对社区做出贡献的开发者;通过他人的分享习得知识,要留下足迹,表示感谢。
    • 热爱编程、热爱学习:加入组织,热爱编程是首当其要的。我们欢迎热爱讨论、分享、提问的朋友,也同样欢迎默默成就的朋友。
    • 倾听:正确并恳切对待、处理问题与建议,及时修复开源项目的 Bug ,及时与反馈者沟通。不抬杠、不无视、不辱骂。
    • 平视:不诋毁、轻视、嘲讽其他开发者,主动提出建议、施以帮助,以和谐为本。只要他人肯努力,你也可能会被昔日小看的人所超越,所以请保持谦虚。
    • 乐观且活跃:你的努力决定了你的高度。不要放弃,多年后回头俯瞰,才会发现自己已经成就往日所仰望的水平。积极地将项目开源,帮助他人学习、改进,自己也会获得相应的提升、成就与成就感。
    1 引用 • 487 回帖
  • OneDrive
    2 引用 • 3 关注
  • Excel
    31 引用 • 28 回帖
  • PHP

    PHP(Hypertext Preprocessor)是一种开源脚本语言。语法吸收了 C 语言、 Java 和 Perl 的特点,主要适用于 Web 开发领域,据说是世界上最好的编程语言。

    179 引用 • 407 回帖 • 485 关注
  • Mobi.css

    Mobi.css is a lightweight, flexible CSS framework that focus on mobile.

    1 引用 • 6 回帖 • 753 关注
  • Android

    Android 是一种以 Linux 为基础的开放源码操作系统,主要使用于便携设备。2005 年由 Google 收购注资,并拉拢多家制造商组成开放手机联盟开发改良,逐渐扩展到到平板电脑及其他领域上。

    334 引用 • 323 回帖
  • GitBook

    GitBook 使您的团队可以轻松编写和维护高质量的文档。 分享知识,提高团队的工作效率,让用户满意。

    3 引用 • 8 回帖 • 1 关注
  • 学习

    “梦想从学习开始,事业从实践起步” —— 习近平

    170 引用 • 513 回帖
  • 微服务

    微服务架构是一种架构模式,它提倡将单一应用划分成一组小的服务。服务之间互相协调,互相配合,为用户提供最终价值。每个服务运行在独立的进程中。服务于服务之间才用轻量级的通信机制互相沟通。每个服务都围绕着具体业务构建,能够被独立的部署。

    96 引用 • 155 回帖 • 2 关注
  • Sublime

    Sublime Text 是一款可以用来写代码、写文章的文本编辑器。支持代码高亮、自动完成,还支持通过插件进行扩展。

    10 引用 • 5 回帖 • 2 关注
  • WordPress

    WordPress 是一个使用 PHP 语言开发的博客平台,用户可以在支持 PHP 和 MySQL 数据库的服务器上架设自己的博客。也可以把 WordPress 当作一个内容管理系统(CMS)来使用。WordPress 是一个免费的开源项目,在 GNU 通用公共许可证(GPLv2)下授权发布。

    66 引用 • 114 回帖 • 207 关注
  • 周末

    星期六到星期天晚,实行五天工作制后,指每周的最后两天。再过几年可能就是三天了。

    14 引用 • 297 回帖 • 1 关注
  • 一些有用的避坑指南。

    69 引用 • 93 回帖 • 2 关注
  • B3log

    B3log 是一个开源组织,名字来源于“Bulletin Board Blog”缩写,目标是将独立博客与论坛结合,形成一种新的网络社区体验,详细请看 B3log 构思。目前 B3log 已经开源了多款产品:SymSoloVditor思源笔记

    1063 引用 • 3455 回帖 • 177 关注
  • Facebook

    Facebook 是一个联系朋友的社交工具。大家可以通过它和朋友、同事、同学以及周围的人保持互动交流,分享无限上传的图片,发布链接和视频,更可以增进对朋友的了解。

    4 引用 • 15 回帖 • 437 关注
  • LaTeX

    LaTeX(音译“拉泰赫”)是一种基于 ΤΕΧ 的排版系统,由美国计算机学家莱斯利·兰伯特(Leslie Lamport)在 20 世纪 80 年代初期开发,利用这种格式,即使使用者没有排版和程序设计的知识也可以充分发挥由 TeX 所提供的强大功能,能在几天,甚至几小时内生成很多具有书籍质量的印刷品。对于生成复杂表格和数学公式,这一点表现得尤为突出。因此它非常适用于生成高印刷质量的科技和数学类文档。

    12 引用 • 54 回帖 • 30 关注
  • SQLite

    SQLite 是一个进程内的库,实现了自给自足的、无服务器的、零配置的、事务性的 SQL 数据库引擎。SQLite 是全世界使用最为广泛的数据库引擎。

    5 引用 • 7 回帖
  • Git

    Git 是 Linux Torvalds 为了帮助管理 Linux 内核开发而开发的一个开放源码的版本控制软件。

    211 引用 • 358 回帖
  • 印象笔记
    3 引用 • 16 回帖
  • WiFiDog

    WiFiDog 是一套开源的无线热点认证管理工具,主要功能包括:位置相关的内容递送;用户认证和授权;集中式网络监控。

    1 引用 • 7 回帖 • 600 关注
  • 创造

    你创造的作品可能会帮助到很多人,如果是开源项目的话就更赞了!

    179 引用 • 996 回帖
  • 友情链接

    确认过眼神后的灵魂连接,站在链在!

    24 引用 • 373 回帖
  • HBase

    HBase 是一个分布式的、面向列的开源数据库,该技术来源于 Fay Chang 所撰写的 Google 论文 “Bigtable:一个结构化数据的分布式存储系统”。就像 Bigtable 利用了 Google 文件系统所提供的分布式数据存储一样,HBase 在 Hadoop 之上提供了类似于 Bigtable 的能力。

    17 引用 • 6 回帖 • 72 关注
  • 尊园地产

    昆明尊园房地产经纪有限公司,即:Kunming Zunyuan Property Agency Company Limited(简称“尊园地产”)于 2007 年 6 月开始筹备,2007 年 8 月 18 日正式成立,注册资本 200 万元,公司性质为股份经纪有限公司,主营业务为:代租、代售、代办产权过户、办理银行按揭、担保、抵押、评估等。

    1 引用 • 22 回帖 • 780 关注
  • 开源中国

    开源中国是目前中国最大的开源技术社区。传播开源的理念,推广开源项目,为 IT 开发者提供了一个发现、使用、并交流开源技术的平台。目前开源中国社区已收录超过两万款开源软件。

    7 引用 • 86 回帖
  • 链书

    链书(Chainbook)是 B3log 开源社区提供的区块链纸质书交易平台,通过 B3T 实现共享激励与价值链。可将你的闲置书籍上架到链书,我们共同构建这个全新的交易平台,让闲置书籍继续发挥它的价值。

    链书社

    链书目前已经下线,也许以后还有计划重制上线。

    14 引用 • 257 回帖