http://glottopedia.org/index.php?action=history&feed=atom&title=Tokenisierung 2026-04-23T15:25:04Z Revision history for this page on the wiki MediaWiki 1.34.2 http://glottopedia.org/index.php?title=Tokenisierung&diff=16189&oldid=prev 2014-08-02T18:48:54Z

<p>Marked as {{ref}}</p> <table class="diff diff-contentalign-left" data-mw="interface"> <col class="diff-marker" /> <col class="diff-content" /> <col class="diff-marker" /> <col class="diff-content" /> <tr class="diff-title" lang="en"> <td colspan="2" style="background-color: #fff; color: #222; text-align: center;">← Older revision</td> <td colspan="2" style="background-color: #fff; color: #222; text-align: center;">Revision as of 18:48, 2 August 2014</td> </tr><tr><td colspan="2" class="diff-lineno" id="mw-diff-left-l8" >Line 8:</td> <td colspan="2" class="diff-lineno">Line 8:</td></tr> <tr><td class='diff-marker'> </td><td style="background-color: #f8f9fa; color: #222; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>englisch ''token'' - Zeichen, Merkmal, Spielstein</div></td><td class='diff-marker'> </td><td style="background-color: #f8f9fa; color: #222; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>englisch ''token'' - Zeichen, Merkmal, Spielstein</div></td></tr> <tr><td class='diff-marker'> </td><td style="background-color: #f8f9fa; color: #222; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"></td><td class='diff-marker'> </td><td style="background-color: #f8f9fa; color: #222; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"></td></tr> <tr><td class='diff-marker'>−</td><td style="color: #222; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #ffe49c; vertical-align: top; white-space: pre-wrap;"><div>{{wb}}</div></td><td class='diff-marker'>+</td><td style="color: #222; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div>{{wb<ins class="diffchange diffchange-inline">}}{{ref</ins>}}</div></td></tr> <tr><td class='diff-marker'> </td><td style="background-color: #f8f9fa; color: #222; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>[[Category:Computational Linguistics]]</div></td><td class='diff-marker'> </td><td style="background-color: #f8f9fa; color: #222; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>[[Category:Computational Linguistics]]</div></td></tr> </table>

NBlöcher http://glottopedia.org/index.php?title=Tokenisierung&diff=2307&oldid=prev 2007-07-12T11:33:51Z

<p></p> <table class="diff diff-contentalign-left" data-mw="interface"> <col class="diff-marker" /> <col class="diff-content" /> <col class="diff-marker" /> <col class="diff-content" /> <tr class="diff-title" lang="en"> <td colspan="2" style="background-color: #fff; color: #222; text-align: center;">← Older revision</td> <td colspan="2" style="background-color: #fff; color: #222; text-align: center;">Revision as of 11:33, 12 July 2007</td> </tr><tr><td colspan="2" class="diff-lineno" id="mw-diff-left-l9" >Line 9:</td> <td colspan="2" class="diff-lineno">Line 9:</td></tr> <tr><td class='diff-marker'> </td><td style="background-color: #f8f9fa; color: #222; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"></td><td class='diff-marker'> </td><td style="background-color: #f8f9fa; color: #222; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"></td></tr> <tr><td class='diff-marker'> </td><td style="background-color: #f8f9fa; color: #222; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>{{wb}}</div></td><td class='diff-marker'> </td><td style="background-color: #f8f9fa; color: #222; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>{{wb}}</div></td></tr> <tr><td colspan="2"> </td><td class='diff-marker'>+</td><td style="color: #222; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div><ins style="font-weight: bold; text-decoration: none;">[[Category:Computational Linguistics]]</ins></div></td></tr> </table>

WikiLingua http://glottopedia.org/index.php?title=Tokenisierung&diff=1726&oldid=prev 2007-07-08T07:22:13Z

<p></p> <table class="diff diff-contentalign-left" data-mw="interface"> <col class="diff-marker" /> <col class="diff-content" /> <col class="diff-marker" /> <col class="diff-content" /> <tr class="diff-title" lang="en"> <td colspan="2" style="background-color: #fff; color: #222; text-align: center;">← Older revision</td> <td colspan="2" style="background-color: #fff; color: #222; text-align: center;">Revision as of 07:22, 8 July 2007</td> </tr><tr><td colspan="2" class="diff-lineno" id="mw-diff-left-l1" >Line 1:</td> <td colspan="2" class="diff-lineno">Line 1:</td></tr> <tr><td class='diff-marker'>−</td><td style="color: #222; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #ffe49c; vertical-align: top; white-space: pre-wrap;"><div><del class="diffchange diffchange-inline">==Definition==</del></div></td><td class='diff-marker'>+</td><td style="color: #222; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div>Die <ins class="diffchange diffchange-inline">'''</ins>Tokenisierung<ins class="diffchange diffchange-inline">''' </ins>beschreibt den Vorgang der Vorverarbeitung eines elektronisch vorliegenden Textes. Bevor ein Dokument analysiert und verarbeitet werden kann, wird dieses in linguistische Einheiten (Sätze, Phrasen, Wörter, Absätze) - sogenannte [[Token]] - segmentiert. Dieses Segmentierungsverfahren, welches ''jedes'' Wort eines Textes erfasst, wird Tokenisierung genannt.</div></td></tr> <tr><td class='diff-marker'>−</td><td style="color: #222; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #ffe49c; vertical-align: top; white-space: pre-wrap;"><div>Die Tokenisierung beschreibt den Vorgang der Vorverarbeitung eines elektronisch vorliegenden Textes. Bevor ein Dokument analysiert und verarbeitet werden kann, wird dieses in linguistische Einheiten (Sätze, Phrasen, Wörter, Absätze) - sogenannte [[Token]] - segmentiert. Dieses Segmentierungsverfahren, welches ''jedes'' Wort eines Textes erfasst, wird Tokenisierung genannt.</div></td><td colspan="2"> </td></tr> <tr><td class='diff-marker'> </td><td style="background-color: #f8f9fa; color: #222; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"></td><td class='diff-marker'> </td><td style="background-color: #f8f9fa; color: #222; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"></td></tr> <tr><td class='diff-marker'> </td><td style="background-color: #f8f9fa; color: #222; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>==Kommentare==</div></td><td class='diff-marker'> </td><td style="background-color: #f8f9fa; color: #222; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>==Kommentare==</div></td></tr> <tr><td colspan="2" class="diff-lineno" id="mw-diff-left-l7" >Line 7:</td> <td colspan="2" class="diff-lineno">Line 6:</td></tr> <tr><td class='diff-marker'> </td><td style="background-color: #f8f9fa; color: #222; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"></td><td class='diff-marker'> </td><td style="background-color: #f8f9fa; color: #222; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"></td></tr> <tr><td class='diff-marker'> </td><td style="background-color: #f8f9fa; color: #222; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>==Herkunft==</div></td><td class='diff-marker'> </td><td style="background-color: #f8f9fa; color: #222; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>==Herkunft==</div></td></tr> <tr><td class='diff-marker'>−</td><td style="color: #222; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #ffe49c; vertical-align: top; white-space: pre-wrap;"><div><del class="diffchange diffchange-inline">engl. </del>''token'' - Zeichen, Merkmal, Spielstein</div></td><td class='diff-marker'>+</td><td style="color: #222; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div><ins class="diffchange diffchange-inline">englisch </ins>''token'' - Zeichen, Merkmal, Spielstein</div></td></tr> <tr><td colspan="2"> </td><td class='diff-marker'>+</td><td style="color: #222; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div> </div></td></tr> <tr><td colspan="2"> </td><td class='diff-marker'>+</td><td style="color: #222; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div><ins class="diffchange diffchange-inline">{{wb}}</ins></div></td></tr> </table>

NaumSven http://glottopedia.org/index.php?title=Tokenisierung&diff=1301&oldid=prev 2007-07-04T17:38:51Z

<p>New page: ==Definition== Die Tokenisierung beschreibt den Vorgang der Vorverarbeitung eines elektronisch vorliegenden Textes. Bevor ein Dokument analysiert und verarbeitet werden kann, wird dieses i...</p> <p><b>New page</b></p><div>==Definition==<br /> Die Tokenisierung beschreibt den Vorgang der Vorverarbeitung eines elektronisch vorliegenden Textes. Bevor ein Dokument analysiert und verarbeitet werden kann, wird dieses in linguistische Einheiten (Sätze, Phrasen, Wörter, Absätze) - sogenannte [[Token]] - segmentiert. Dieses Segmentierungsverfahren, welches ''jedes'' Wort eines Textes erfasst, wird Tokenisierung genannt.<br /> <br /> ==Kommentare==<br /> [[Image:period_amphiboly.jpg|framed|right|Ambiguität des Punktes am Beispiel der Schreibweise von Zahlen in verschiedenen Sprachen]]<br /> Probleme bei der Tokenisierung treten insbesondere dann auf, wenn Satzzeichen verschiedene oder gleichzeitig mehrere Funktionen übernehmen können. Während Fragezeichen (?) oder Ausrufezeichen (!) meistens ein Satzende markieren, kann ein Punkt sowohl ein Satzende, eine Abkürzung, ein Trennzeichen innerhalb einer Zahl oder mehreres gleichzeitig darstellen, wobei ein Punkt innerhalb einer Zahl (z.B. 13.200) oder Abkürzung in der Regel für die Tokenisierung unproblematisch ist, da nach dem Punkt in dem Fall kein Leerzeichen folgt, wie es für ein Satzende charakeristisch ist. Hinzu kommen Unterschiede zwischen verschiedenen Sprachen. Während in Deutschland die Trennung der Dezimalstellen durch ein Komma vorgenommen wird, so benutzt man in den USA zu diesem Zweck einen Punkt. Umgekehrt wird in der deutschen Sprache ein Punkt zur Trennung einer größeren Zahl mit mehr als drei Ziffern herangezogen, in den USA hingegen kommt das Komma zum Einsatz. Im Französischen stellt das Komma das Dezimaltrennzeichen dar, größere Zahlen werden mit Hilfe eines Leerraumzeichens unterteilt. Würde man also einen Text in die linguistische Einheit &quot;Satz&quot; unterteilen wollen, so führt das Separieren an jedem gefundenen Punkt (.) zwangsläufig zu einem Fehler.<br /> <br /> ==Herkunft==<br /> engl. ''token'' - Zeichen, Merkmal, Spielstein</div>

WikiLingua