mindspore.dataset.CityscapesDataset

class mindspore.dataset.CityscapesDataset(dataset_dir, usage='train', vpn永久免费梯子 quality_mode='fine', task='instance', num_samples=None, num_parallel_workers=None, shuffle=None, decode=None, sampler=None, num_shards=None, shard_id=None, cache=None)

Cityscapes数据集。

生成的数据集有两列 [image, task] vpn梯子 。 image 列的数据类型为uint8。task 列的数据类型根据参数 task 的值而定。当参数 task 取值为 'polygon' vpn free 时，列的数据类型为string；其他取值下，列的数据类型为uint8。

参数：

• dataset_dir (str) - vpn永久免费梯子 包含数据集文件的根目录路径。

• usage (str, 可选) - 指定数据集的子集。当参数 quality_mode 取值为 'fine' 时，此参数可取值为 'train' 、 'test' 、 'val' 或 'all' 。 当参数 quality_mode 取值为 'coarse' 时，此参数可取值为 'train' 、 'train_extra' 、 'val' 或 'all' 。默认值： 'train' ，读取训练集样本。

• quality_mode (str, 可选) - 指定数据集的质量模式，可取值为 'fine' 或 'coarse' 。默认值： 'fine' 。

• task (str, 可选) - 指定数据集的任务类型，可取值为 'instance' 、 'semantic' 、 'polygon' 或 'color' 。默认值： 'instance' 。

• num_samples (int, 可选) - 指定从数据集中读取的样本数，可以小于数据集总数。默认值： None ，读取全部样本图片。

• num_parallel_workers (int, 可选) - 指定读取数据的工作线程数。默认值： None ，使用全局默认线程数（8），也可以通过 mindspore.dataset.config.set_num_parallel_workers() vpn永久免费梯子 配置全局线程数。

• shuffle (bool, 可选) - 是否混洗数据集。默认值： None 。下表中会展示不同参数配置的预期行为。

• decode (bool, 可选) - 是否对读取的图片进行解码操作。默认值： None ，表示 False ，不解码。

• sampler (Sampler, 可选) - 指定从数据集中选取样本的采样器。默认值： vpn永久免费梯子 None 。下表中会展示不同配置的预期行为。

• num_shards (int, 可选) - 指定分布式训练时，数据集划分的片数。默认值： None 。指定此参数后， num_samples 表示每个分片的最大样本数。一般在 数据并行模式训练 的时候使用。

• shard_id vpn永久免费梯子 (int, 可选) - 指定分布式训练时，使用的分片ID号。默认值： None vpn梯子 免费 。只有当指定了 num_shards 时才能指定此参数。

• cache (DatasetCache, 可选) - 单节点数据缓存服务，用于加快数据集处理，详情请阅读 单节点数据缓存 。默认值： None ，不使用缓存。

样例：

>>> import mindspore.dataset as ds
>>> cityscapes_dataset_dir = "/path/to/cityscapes_dataset_directory"
>>>
>>> # 1) Get all samples from Cityscapes dataset in sequence
>>> dataset = ds.CityscapesDataset(dataset_dir=cityscapes_dataset_dir, task="instance", quality_mode="fine",
...                                vpn free usage="train", shuffle=False, num_parallel_workers=1)
>>>
>>> # 2) Randomly select 350 vpn free samples from Cityscapes dataset
>>> dataset = ds.CityscapesDataset(dataset_dir=cityscapes_dataset_dir, num_samples=350, shuffle=True,
...                 vpn梯子 免费      vpn梯子  vpn梯子 免费          num_parallel_workers=1)
>>>
>>> # 3) Get samples from Cityscapes dataset for shard 0 in a vpn梯子 免费 2-way distributed training
>>> dataset = ds.CityscapesDataset(dataset_dir=cityscapes_dataset_dir, num_shards=2, shard_id=0,
...                    vpn梯子 免费    免费的vpn梯子          num_parallel_workers=1)
>>>
>>> # In Cityscapes dataset, each dictionary has keys "image" and "task"

教程样例：

• 使用数据Pipeline加载 & 处理数据集

异常：

• RuntimeError - dataset_dir 路径下不包含任何数据文件。

• RuntimeError - 同时指定了 sampler vpn free 和 shuffle 参数。

• RuntimeError - 同时指定了 sampler 和 num_shards 参数，或同时指定了 sampler 和 shard_id 参数。

• RuntimeError - 指定了 num_shards 参数，但是未指定 shard_id 参数。

• RuntimeError - 指定了 vpn梯子 免费 shard_id 参数，但是未指定 num_shards 参数。

• ValueError - vpn梯子 免费 num_parallel_workers 参数超过系统最大线程数。

• ValueError - dataset_dir 路径非法或不存在。

• ValueError - task 参数取值不为 'instance' 、 'semantic'、 'polygon' 或 'color' 。

• ValueError - quality_mode 参数取值不为 'fine' 或 'coarse' vpn梯子 。

• ValueError - usage 参数取值不在给定的字段中。

• ValueError vpn梯子 免费 - 如果 shard_id 取值不在[0, num_shards )范围。

说明

入参 num_samples 、 shuffle 、 num_shards 、 shard_id 可用于控制数据集所使用的采样器，其与入参 sampler 搭配使用的效果如下。

参数 sampler 和 num_samples ， shuffle ， num_shards ， shard_id 的不同组合得到的采样器

参数 sampler	参数 num_shards / shard_id	参数 shuffle	参数 num_samples	使用的采样器
mindspore.dataset.Sampler 类型	None	None	None	sampler
numpy.ndarray,list,tuple,int 类型	/	/	num_samples	SubsetSampler(indices = sampler , num_samples vpn梯子 = num_samples vpn梯子 )
iterable 类型	/	/	num_samples	IterSampler(sampler = sampler , num_samples = num_samples )
None	num_shards / shard_id	None / True	num_samples	DistributedSampler(num_shards = num_shards , shard_id = shard_id , shuffle = True , num_samples = num_samples )
None	num_shards / shard_id	False	num_samples	DistributedSampler(num_shards = num_shards , shard_id = vpn梯子 免费的vpn梯子 免费 shard_id , shuffle = False , num_samples = num_samples )
None	None	None / vpn梯子 免费 True	None	RandomSampler(num_samples = num_samples )
None	None	None / True	num_samples	RandomSampler(replacement = True , num_samples = num_samples )
None	None	False	num_samples	SequentialSampler(num_samples = num_samples )

关于Cityscapes数据集：

Cityscapes 数据集由来自 50 个城市的 24998 张彩色图像组成。 其中 5000 张图像具有高质量的密集像素标注，19998 张图像具有粗糙的多边形标注。 该数据集共有 30 个类，多边形标注包括密集语义分割，以及车辆和人的实例分割。

您可以解压缩原始数据集文件到如下目录结构，并通过MindSpore的API进行读取。

.
└── Cityscapes
     ├── leftImg8bit
     |    ├── train
 vpn free     |    |    ├── 免费的vpn梯子 aachen
     |    |    vpn梯子 免费 |    ├── aachen_000000_000019_leftImg8bit.png
     |  vpn free   |    |    ├── aachen_000001_000019_leftImg8bit.png
 vpn永久免费梯子     |    |    | vpn永久免费梯子    ├── ...
     |    |    ├── bochum
     |  vpn永久免费梯子 免费的vpn梯子   |    vpn free |    ├── ...
   vpn梯子 免费   vpn梯子 免费 |    |    ├── ...
     |    ├── test
     |    |    ├── ...
     |    ├── 免费的vpn梯子 val
     |    |    ├── ...
     └── gtFine
         vpn梯子 免费  ├── train
          |    ├── aachen
          |  vpn free  vpn free  |    ├── aachen_000000_000019_gtFine_color.png
    vpn梯子 免费    vpn梯子    |    |    ├── aachen_000000_000019_gtFine_instanceIds.png
 vpn梯子 vpn free 免费          |    |    vpn梯子 ├── aachen_000000_000019_gtFine_labelIds.png
   免费的vpn梯子  vpn梯子 免费       |    |    ├── aachen_000000_000019_gtFine_polygons.json
          |    |    ├── aachen_000001_000019_gtFine_color.png
 免费的vpn梯子   免费的vpn梯子        |    |    ├── aachen_000001_000019_gtFine_instanceIds.png
  免费的vpn梯子         | 免费的vpn梯子    |    免费的vpn梯子 ├── aachen_000001_000019_gtFine_labelIds.png
          |    vpn梯子 免费 |    ├── aachen_000001_000019_gtFine_polygons.json
          |    |    ├── ...
          vpn梯子 免费 |  vpn梯子 免费   ├── bochum
          vpn梯子 |    |    ├── ...
          |    ├── ...
          ├── test
    免费的vpn梯子    vpn梯子    |    ├── ...
 vpn free vpn梯子 免费          └── val
               ├── ...

引用：

@inproceedings{Cordts2016Cityscapes,
title       = {The Cityscapes Dataset for Semantic Urban Scene Understanding},
author      = {Cordts, Marius and Omran, Mohamed vpn梯子 and Ramos, Sebastian vpn free vpn永久免费梯子 and Rehfeld, Timo and Enzweiler,
  vpn梯子   vpn梯子 免费           vpn永久免费梯子   Markus and Benenson, Rodrigo and Franke, Uwe and Roth, Stefan and Schiele, Bernt},
booktitle vpn梯子  vpn梯子 免费  = {Proc. of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR)},
year        = {2016}
}

预处理操作

mindspore.dataset.Dataset.apply	对数据集对象执行给定操作函数。
mindspore.dataset.Dataset.concat	对传入的多个数据集对象进行拼接操作。
mindspore.dataset.Dataset.filter	通过自定义判断条件对数据集对象中的数据进行过滤。
mindspore.dataset.Dataset.flat_map	对数据集对象中每一条数据执行给定的数据处理，并将结果展平。
mindspore.dataset.Dataset.map	给定一组数据增强列表，按顺序将数据增强作用在数据集对象上。
mindspore.dataset.Dataset.project	从数据集对象中选择需要的列，并按给定的列名的顺序进行排序。
mindspore.dataset.Dataset.rename	对数据集对象按指定的列名进行重命名。
mindspore.dataset.Dataset.repeat	重复此数据集 count 次。
mindspore.dataset.Dataset.reset	重置下一个epoch的数据集对象。
mindspore.dataset.Dataset.save	将数据处理管道中正处理的数据保存为通用的数据集格式。
mindspore.dataset.Dataset.shuffle	通过创建 buffer_size 大小的缓存来混洗该数据集。
mindspore.dataset.Dataset.skip	跳过此数据集对象的前 count 条数据。
mindspore.dataset.Dataset.split	将数据集拆分为多个不重叠的子数据集。
mindspore.dataset.Dataset.take	截取数据集的前指定条数据。
mindspore.dataset.Dataset.zip	将多个dataset对象按列进行合并压缩，多个dataset对象不能有相同的列名。

Batch（批操作）

mindspore.dataset.Dataset.batch	将数据集中连续 batch_size 条数据组合为一个批数据，并可通过可选参数 per_batch_map 指定组合前要进行的预处理操作。
mindspore.dataset.Dataset.bucket_batch_by_length	根据数据的长度进行分桶。
mindspore.dataset.Dataset.padded_batch	将数据集中连续 batch_size 条数据组合为一个批数据，并可通过可选参数 pad_info 预先将样本补齐。

迭代器

mindspore.dataset.Dataset.create_dict_iterator	创建数据集迭代器，返回字典形式的样本，其中键为列名，值为数据。
mindspore.dataset.Dataset.create_tuple_iterator	创建数据集迭代器，返回列表形式的样本，其中的元素为各列数据。

数据集属性

mindspore.dataset.Dataset.get_batch_size	获得数据集对象定义的批处理大小，即一个批处理数据中包含的数据条数。
mindspore.dataset.Dataset.get_class_indexing	获取类别名称到类别索引的映射字典。
mindspore.dataset.Dataset.get_col_names	返回数据集对象中包含的列名。
mindspore.dataset.Dataset.get_dataset_size	返回一个epoch中的batch数。
mindspore.dataset.Dataset.get_repeat_count	获取 RepeatDataset 中定义的repeat操作的次数。
mindspore.dataset.Dataset.input_indexs	获取/设置数据列索引，它表示使用下沉模式时数据列映射至网络中的对应关系。
mindspore.dataset.Dataset.num_classes	获取数据集对象中所有样本的类别数目。
mindspore.dataset.Dataset.output_shapes	获取数据集对象中每列数据的shape。
mindspore.dataset.Dataset.output_types	获取数据集对象中每列数据的数据类型。

应用采样方法

mindspore.dataset.MappableDataset.add_sampler	为当前数据集添加子采样器。
mindspore.dataset.MappableDataset.use_sampler	替换当前数据集的最末子采样器，保持父采样器不变。

其他方法

mindspore.dataset.Dataset.recv	数据集通信接口，接收源 Dataset 使用 mindspore.dataset.Dataset.send 发送的数据。
mindspore.dataset.Dataset.send	数据集通信接口，将数据发送至目标 Dataset ，可以通过 mindspore.dataset.Dataset.recv 接收。
mindspore.dataset.Dataset.sync_update	释放阻塞条件并使用给定数据触发回调函数。
mindspore.dataset.Dataset.sync_wait	为同步操作在数据集对象上添加阻塞条件。
mindspore.dataset.Dataset.to_json	将数据处理管道序列化为JSON字符串，如果提供了文件名，则转储到文件中。