Python Elasticsearch 批量操作:快速存储海量数据
存储大量数据时,使用批量操作是最快的方法。在 Python 中,可以使用 Elasticsearch 的 bulk API 实现批量操作。以下是一个示例代码:
from elasticsearch import Elasticsearch
from elasticsearch.helpers import bulk
es = Elasticsearch()
# 将数据存储在列表中
data = [{'name': 'John', 'age': 30}, {'name': 'Jane', 'age': 25}, {'name': 'Bob', 'age': 40}]
# 构建批量操作的请求列表
actions = [{'_index': 'my_index', '_type': 'my_type', '_source': d} for d in data]
# 使用bulk API执行批量操作
success, _ = bulk(es, actions, index='my_index', raise_on_error=True)
print('Indexed %d documents' % success)
通过将数据存储在列表中,并使用批量操作API,可以大大提高数据存储的速度。
原文地址: https://www.cveoy.top/t/topic/otDH 著作权归作者所有。请勿转载和采集!