PyTorch 数据集类 `Dataset`:详细解释代码
这段代码定义了一个名为 Dataset 的类,该类继承自 _TorchDataset,并具有以下功能:
Dataset类有一个data属性,用于存储输入数据。Dataset类有一个可选的transform属性,用于对输入数据进行转换。Dataset类实现了__len__方法,返回数据集的长度。Dataset类实现了_transform方法,用于从self.data中获取单个数据项,并根据transform属性对数据进行转换。Dataset类实现了__getitem__方法,用于根据索引获取数据项。如果索引是一个切片或序列,将返回一个Subset对象,否则将返回一个经过转换的数据项。
总结起来,这段代码定义了一个通用的数据集类,可以用于加载和转换输入数据,以生成用于模型的数据集。可以根据索引获取数据项,并支持切片和序列索引。如果传入的索引是一个切片或序列,将返回一个 Subset 对象,否则将返回一个经过转换的数据项。
代码示例:
class Dataset(_TorchDataset):
'''
A generic dataset with a length property and an optional callable data transform
when fetching a data sample.
If passing slicing indices, will return a PyTorch Subset, for example: `data: Subset = dataset[1:4]`,
for more details, please check: https://pytorch.org/docs/stable/data.html#torch.utils.data.Subset
For example, typical input data can be a list of dictionaries::
[{ { {
'img': 'image1.nii.gz', 'img': 'image2.nii.gz', 'img': 'image3.nii.gz',
'seg': 'label1.nii.gz', 'seg': 'label2.nii.gz', 'seg': 'label3.nii.gz',
'extra': 123 'extra': 456 'extra': 789
}, }, }]
'''
def __init__(self, data: Sequence, transform: Optional[Callable] = None) -> None:
'''
Args:
data: input data to load and transform to generate dataset for model.
transform: a callable data transform on input data.
'''
self.data = data
self.transform = transform
def __len__(self) -> int:
return len(self.data)
def _transform(self, index: int):
'''
Fetch single data item from `self.data`.
'''
data_i = self.data[index]
return apply_transform(self.transform, data_i) if self.transform is not None else data_i
def __getitem__(self, index: Union[int, slice, Sequence[int]]):
'''
Returns a `Subset` if `index` is a slice or Sequence, a data item otherwise.
'''
if isinstance(index, slice):
# dataset[:42]
start, stop, step = index.indices(len(self))
indices = range(start, stop, step)
return Subset(dataset=self, indices=indices)
if isinstance(index, collections.abc.Sequence):
# dataset[[1, 3, 4]]
return Subset(dataset=self, indices=index)
return self._transform(index)
原文地址: https://www.cveoy.top/t/topic/fEPj 著作权归作者所有。请勿转载和采集!