human 这是什么; AI 我不知道请描述一下具体情况或提供更多的上下文信息。; 使用dart语言判断是否超过4000个token一个英文单词是一个toekn一个中文是25个token如果超出则根据分号先截断最前面的。给出相应的dart代码

String input = '这是什么'; int tokenCount = input.replaceAll(RegExp(r'[^\x00-\xff]'), ' ').split(' ').length; if (tokenCount > 4000) { List tokens = input.split(';'); String result = ''; for (int i = 0; i < tokens.length; i++) { result += tokens[i]; if (result.replaceAll(RegExp(r'[^\x00-\xff]'), ' ').split(' ').length > 4000) { result = result.substring(0, result.lastIndexOf(';') + 1); break; } } print(result); } else { print('不超过4000个token'); }