Token (de) - Revision history

NBlöcher: Marked as {{ref}}

2014-08-02T18:48:07Z

Marked as {{ref}}

Skrylov: /* Herkunft */

2007-08-12T08:53:38Z

Herkunft

WikiLingua at 11:33, 12 July 2007

2007-07-12T11:33:18Z

NaumSven: /* Kommentar */

2007-07-08T07:46:01Z

Kommentar

NaumSven: /* Beispiele */

2007-07-08T07:44:55Z

Beispiele

NaumSven at 07:44, 8 July 2007

2007-07-08T07:44:20Z

NaumSven at 07:42, 8 July 2007

2007-07-08T07:42:23Z

NaumSven at 07:34, 8 July 2007

2007-07-08T07:34:25Z

NaumSven: /* Definition */

2007-07-08T07:32:56Z

Definition

NaumSven: /* Herkunft */

2007-07-08T07:23:22Z

Herkunft

@@ Line 30: / Line 30: @@
 ===Andere Sprachen===
 *russisch [[знак-экземпляр]] = [[экземпляр]]
-{{wb}}
+{{wb}}{{ref}}
 [[Category:Computational Linguistics]]

@@ Line 28: / Line 28: @@
 englisch ''token'' - Zeichen, Merkmal, Spielstein
 {{wb}}
 [[Category:Computational Linguistics]]

← Older revision		Revision as of 11:33, 12 July 2007
Line 29:		Line 29:

	{{wb}}		{{wb}}
		+	[[Category:Computational Linguistics]]

@@ Line 5: / Line 5: @@
 In den nicht-segmentierten Schriftsystemen (wie beispielsweise im Japanischen oder Chinesischen verwendet), existieren weder Leerraumzeichen noch Interpunktion. Für diese Sprachen trifft die oben genannte Definition eines Tokens nicht zu.
-Zu (b): Jede linguistische Einheit (Phonem, Graphem, Wort, Phrase, Satz, etc.) kann in einer komplexeren Einheit mehrfach vorkommen Die zugrunde liegenden Einheiten werden als ''Types'', ihre Realisierungen als ''Token'' bezeichnet.
+Zu (b): Jede linguistische Einheit (Phonem, Graphem, Wort, Phrase, Satz, etc.) kann in einer komplexeren Einheit mehrfach vorkommen Die zugrunde liegenden Einheiten werden als [[Type|''Types'']], ihre Realisierungen als ''Token'' bezeichnet.
 ===Beispiele===

@@ Line 23: / Line 23: @@
 ''.''<br/>''
-(b) Das Zeichen /e/ kommt in dem Satz (a) 6 mal vor.
+(b) Das Zeichen /e/ (Type) kommt in dem Satz (a) 6 mal (Token) vor.
 ===Herkunft===

@@ Line 1: / Line 1: @@
-Der Begriff '''token''' bezeichnet (a) die kleinsten textuellen Einheiten (Wortformen und Interpunktionszeichen) und (b) die konkrete Realisierung von (beliebig komplexen) Einheiten.
+Der Begriff '''Token''' bezeichnet (a) die kleinsten textuellen Einheiten (Wortformen und Interpunktionszeichen) und (b) die konkrete Realisierung von (beliebig komplexen) Einheiten.
 ===Kommentar===
 Zu (a): In den segmentierten Schriftsystemen, welche zum Beispiel aus lateinischen, kyrillischen oder griechischen Zeichen bestehen, ist ein '''Token''' eine Einheit alphanumerischer Zeichen, dessen Anfang und Ende durch ein Leerraumzeichen (''white space'') oder durch eine Interpunktion gekennzeichnet ist. Einzelne Token sind üblicherweise Worte, Wortformen oder Interpunktionen. Ein Text wird mit Hilfe eines [[Tokenizer|Tokenizers]] in seine einzelnen Token zerlegt. Diesen Vorgang bezeichnet man als [[Tokenisierung]].
 In den nicht-segmentierten Schriftsystemen (wie beispielsweise im Japanischen oder Chinesischen verwendet), existieren weder Leerraumzeichen noch Interpunktion. Für diese Sprachen trifft die oben genannte Definition eines Tokens nicht zu.
-Token können in Beziehung zu [[Type-Token-Relation|Types]] gesetzt werden, wobei ein Token jedes konkrete Vorkommen eines Zeichens bezeichnen, ein Type jedoch gleichlautende Token zu einer Klasse zusammenfügt.
+Zu (b): Jede linguistische Einheit (Phonem, Graphem, Wort, Phrase, Satz, etc.) kann in einer komplexeren Einheit mehrfach vorkommen: So kommt das Zeichen /e/ in diesem Satz 5 mal vor. Die zugrunde liegenden Einheiten werden als ''Types'', ihre Realisierungen als ''Token'' bezeichnet.
 ===Beispiele===

← Older revision		Revision as of 07:23, 8 July 2007
Line 23:		Line 23:

	==Herkunft==		==Herkunft==
−	~~engl.~~ ''token'' - Zeichen, Merkmal, Spielstein	+	englisch ''token'' - Zeichen, Merkmal, Spielstein
		+
		+	{{wb}}