human 这是什么; AI 我不知道请描述一下具体情况或提供更多的上下文信息。; 使用dart语言判断是否超过4000个token一个英文单词是一个toekn一个中文是25个token如果超出则根据;从头截断给出相应的dart代码

String truncateText(String text) {
  int tokenCount = 0;
  int index = 0;

  while (tokenCount < 4000 && index < text.length) {
    if (text[index].isChinese()) {
      tokenCount += 2.5;
    } else {
      tokenCount++;
    }
    index++;
  }
  
  return text.substring(0, index);
}

extension StringExtension on String {
  bool isChinese() {
    return RegExp(r'[\u4e00-\u9fa5]').hasMatch(this);
  }
}

String text = '这是一段很长的文本，可能超过了4000个token，需要截断。This is a long text that may exceed 4000 tokens and needs to be truncated.';
String truncatedText = truncateText(text);
print(truncatedText);