typo
This commit is contained in:
@@ -29,6 +29,6 @@ def tokenize(lang, str):
|
|||||||
token += x
|
token += x
|
||||||
|
|
||||||
if token:
|
if token:
|
||||||
tokens.append(x)
|
tokens.append(token)
|
||||||
|
|
||||||
return tokens
|
return tokens
|
||||||
|
|||||||
Reference in New Issue
Block a user