compling/language_model.html at master · attapol/compling · GitHub

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
<!DOCTYPE html>
<html lang="en">

  <head>

    <meta charset="utf-8">
    <meta name="viewport" content="width=device-width, initial-scale=1, shrink-to-fit=no">
    <meta name="description" content="">
    <meta name="author" content="">

    <title>Language Modeling</title>

    <!-- Bootstrap core CSS -->
    <link href="bootstrap/css/bootstrap.min.css" rel="stylesheet">
    <link href="custom/custom.css" rel="stylesheet">

  </head>

  <body>

    <!-- Navigation -->
    <nav aria-label="breadcrumb">
      <ol class="breadcrumb">
        <li class="breadcrumb-item"><a href="index.html">Home</a></li>
        <li class="breadcrumb-item active" aria-current="page">Language Modeling</li>
      </ol>
    </nav>


    <!-- Page Content -->
    <div class="container">

      <div class="row mt-5">

        <div class="col-md-7">
          <h1>Language Modeling</h1>
          <p>โมดูลนี้พูดเรื่องการใช้บริบททางภาษาในการตรวจแก้ภาษาที่อาจจะบิดเบือนไปเพราะเสียงของคำฟังคล้ายกัน หรือเขียนผิดไวยากรณ์ หรือสะกดผิด
          </p>
          <div class="embed-responsive embed-responsive-16by9">
            <iframe class="embed-responsive-item" src="https://www.youtube.com/embed/szDRAqtAoWI" frameborder="0" allow="accelerometer; autoplay; encrypted-media; gyroscope; picture-in-picture" allowfullscreen></iframe>
          </div>

        </div>
        <div class="col-md-3">
          <p>Video List: </p>
          <ol>
          	<li><a href = https://youtu.be/szDRAqtAoWI> Language Model ใช้ทำอะไร</a></li>
			<li><a href = https://youtu.be/QyY2loMlZeY> N-gram Language Model</a></li>
			<li><a href = https://youtu.be/3Oe4wYoaDE8> Training N-gram Language Model</a></li>
			<li><a href = https://youtu.be/OrZbYm-XouQ> ตัวอย่างการฝึก N-gram Language Model</a></li>
			<li><a href = https://youtu.be/yanNNDTz40Y> การประเมินความสามารถของ LM</a></li>
			<li><a href = https://youtu.be/p6et92WPEVg> Implementing LM </a></li>
			<li><a href = https://youtu.be/EW7LI8cBZ2o> Smoothing LM</a></li>
			<li><a href = https://youtu.be/feuo_fMyTCg> Interpolation และ Backoff</a></li>
			<li><a href = https://youtu.be/NW1FwKKWLyY> Kneser-Ney LM</a></li>
          </ol>
          <p>เนื้อหาสำหรับอ่านและอ้างอิง</p>
          <ul>
            <li><a target="_blank" href="https://web.stanford.edu/~jurafsky/slp3/3.pdf">Chapter 3 ของหนังสือ Martin & Jurafsky</a> </a></li>
            <li><a target="_blank" href="slides/lm.pdf">Slides จาก video</a> | <a target="_blank" href="slides/lm_jurafsky_2017.pdf">Slides จาก Jurafsky</a></li>
          </ul>
          </div>
        </div>


      <div class="row mt-5">
        <div class="col-md-7">
        <h2>N-Gram Language Model </h2>
        <p>Technical detail ของการสร้าง Language Model เพื่อนำไปใช้ใน Applications อื่นๆ เช่น
          text generator, grammar checker, spell checker, speech recognition, machine translation </p>
        <p>จำเป็นต้องมีความรู้ความเข้าใจเรื่อง probability และ conditional probability </p>
        </div>
      </div>
    	<div class="row mt-2">
          <div class="col-md-5">
            <div class="embed-responsive embed-responsive-16by9">
              <iframe class="embed-responsive-item" src="https://www.youtube.com/embed/QyY2loMlZeY" frameborder="0" allow="accelerometer; autoplay; encrypted-media; gyroscope; picture-in-picture" allowfullscreen></iframe>
            </div>
          </div>
          <div class="col-md-5">
            <div class="embed-responsive embed-responsive-16by9">
              <iframe class="embed-responsive-item" src="https://www.youtube.com/embed/3Oe4wYoaDE8" frameborder="0" allow="accelerometer; autoplay; encrypted-media; gyroscope; picture-in-picture" allowfullscreen></iframe>
            </div>
          </div>
      </div>
      <div class="row mt-4">
        <div class="col-md-5">
          <div class="embed-responsive embed-responsive-16by9">
            <iframe class="embed-responsive-item" src="https://www.youtube.com/embed/OrZbYm-XouQ" frameborder="0" allow="accelerometer; autoplay; encrypted-media; gyroscope; picture-in-picture" allowfullscreen></iframe>
          </div>
        </div>
  	    <div class="col-md-5">
          <div class="embed-responsive embed-responsive-16by9">
            <iframe class="embed-responsive-item" src="https://www.youtube.com/embed/yanNNDTz40Y" frameborder="0" allow="accelerometer; autoplay; encrypted-media; gyroscope; picture-in-picture" allowfullscreen></iframe>
          </div>
        </div>
      </div>
      <div class="row mt-5">
        <div class="col-md-7">
        <h2>Advanced Topics</h2>
        <p>การฝึก language model มีปัญหาจุกจิกทั้งด้านการ implement (การเขียนโปรแกรมเพื่อนำเอาโมเดลไปใช้จริง) และทางด้านการเลือกโมเดล เพราะต้องรับมือกับข้อมูลขนาดใหญ่ และภาษาทุกภาษามักมีความหลากหลายสูง</p>
        <p>จำเป็นต้องมีความรู้ความเข้าใจเรื่อง data structure ที่ใช้บ่อยใน computer science</p>

        </div>
      </div>
      <div class="row mt-2">

          <div class="col-md-5">
            <div class="embed-responsive embed-responsive-16by9">
              <iframe class="embed-responsive-item" src="https://www.youtube.com/embed/p6et92WPEVg" frameborder="0" allow="accelerometer; autoplay; encrypted-media; gyroscope; picture-in-picture" allowfullscreen></iframe>
            </div>
          </div>
    	    <div class="col-md-5">
            <div class="embed-responsive embed-responsive-16by9">
              <iframe class="embed-responsive-item" src="https://www.youtube.com/embed/EW7LI8cBZ2o" frameborder="0" allow="accelerometer; autoplay; encrypted-media; gyroscope; picture-in-picture" allowfullscreen></iframe>
            </div>
          </div>
        </div>

        <div class="row mt-2">

          <div class="col-md-5">
            <div class="embed-responsive embed-responsive-16by9">
              <iframe class="embed-responsive-item" src="https://www.youtube.com/embed/feuo_fMyTCg" frameborder="0" allow="accelerometer; autoplay; encrypted-media; gyroscope; picture-in-picture" allowfullscreen></iframe>
            </div>
          </div>
          <div class="col-md-5">
            <div class="embed-responsive embed-responsive-16by9">
              <iframe class="embed-responsive-item" src="https://www.youtube.com/embed/NW1FwKKWLyY" frameborder="0" allow="accelerometer; autoplay; encrypted-media; gyroscope; picture-in-picture" allowfullscreen></iframe>
            </div>
          </div>
	</div>


    <footer class="page-footer font-small">
      <div class="container">
        <div class="row">
             <div class="col-md-12 py-3">
                  <div class="flex-center">
                    <hr/>
                  </div>
            </div>
        </div>
        <div class="footer-copyright text-right py-3 mb-5">© 2020 Copyright: Attapol Thamrongrattanarit</div>
      </div>
    </footer>

    <!-- Bootstrap core JavaScript -->
    <script src="jquery/jquery.min.js"></script>
    <script src="bootstrap/js/bootstrap.bundle.min.js"></script>

  </body>

</html>